#程序化模型

研究揭示 Transformer Programs 准确率掩盖的错误答案

论文考察可提取为 Python 代码的 Transformer Programs，在九个算法任务上对比 token 准确率与完整输出序列准确率，发现采样测试会漏掉失败案例。通过程序检查改进训练数据后，多个任务的序列准确率提升，计数任务在补充大数样本后通过有界域穷举评估。