各方报道 1 篇
arXiv cs.LG·10-28 12:00★ 3
研究提出 Control Map 框架，评估测试时模型更新
原文 论文指出仅用更新次数或频率评估测试时更新会掩盖「更新了什么、在哪、何时、以何顺序」的差异，提出 Control Map 框架记录每次评分答案前的已提交更新。实验显示：760M 参数模型上 24 种相同更新次数的调度准确率在 19.7%-34.2% 间波动；ROME 在 13 个操作点均保留编辑但全部违反局部性。作者主张评测应分别报告获取、保持与局部性。
论文指出仅用更新次数或频率评估测试时更新会掩盖「更新了什么、在哪、何时、以何顺序」的差异，提出 Control Map 框架记录每次评分答案前的已提交更新。实验显示：760M 参数模型上 24 种相同更新次数的调度准确率在 19.7%-34.2% 间波动；ROME 在 13 个操作点均保留编辑但全部违反局部性。作者主张评测应分别报告获取、保持与局部性。