★ 2
arXiv 论文提出组件级框架评估上下文学习概念恢复
该研究指出上下文学习（ICL）预测准确并不代表模型真正掌握了底层概念。作者提出组件级概念恢复框架，将概念拆解为定义性组件并做受控结构干预，在四个指令微调 LLM 与三种组合形式上测试。结果显示模型常高准确率却整体概念恢复差，联合监督恢复与隐式预测可显著改善且能力可迁移。
arXiv cs.LG13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该研究指出上下文学习（ICL）预测准确并不代表模型真正掌握了底层概念。作者提出组件级概念恢复框架，将概念拆解为定义性组件并做受控结构干预，在四个指令微调 LLM 与三种组合形式上测试。结果显示模型常高准确率却整体概念恢复差，联合监督恢复与隐式预测可显著改善且能力可迁移。