★ 3
小型Transformer代码表示学习的合成语义监督实证研究
该研究探讨了在小型Transformer编码器中，使用合成生成的自然语言描述进行对比预训练，以替代人工文档字符串或执行轨迹等监督信号。实验表明，在多个代码检索、分类和生成任务上，该方法优于同规模预训练基线，微调后甚至能匹配或超越大两个数量级的零样本模型。研究为代码表示学习提供了一种可扩展且有效的替…
arXiv cs.AI59 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该研究探讨了在小型Transformer编码器中，使用合成生成的自然语言描述进行对比预训练，以替代人工文档字符串或执行轨迹等监督信号。实验表明，在多个代码检索、分类和生成任务上，该方法优于同规模预训练基线，微调后甚至能匹配或超越大两个数量级的零样本模型。研究为代码表示学习提供了一种可扩展且有效的替…