★ 2
研究揭示 LLM 局部定义缺失下的稳定错误
论文研究当文本对常见词给出特殊定义时，语言模型若未读到定义会沿用通常含义而答错。测试覆盖合成词表、商业合同、Reddit 社区词表与去中心化交易所文档。结果显示模型常重复同一错误答案，且重复答案与自述置信度都无法可靠暴露错误；真实合同中源定义仅能修正约一半错误。
arXiv NLP6 小时前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究当文本对常见词给出特殊定义时，语言模型若未读到定义会沿用通常含义而答错。测试覆盖合成词表、商业合同、Reddit 社区词表与去中心化交易所文档。结果显示模型常重复同一错误答案，且重复答案与自述置信度都无法可靠暴露错误；真实合同中源定义仅能修正约一半错误。
论文研究能否把模型能力「调低」到目标分数，并提出 IRT 校准的 CapLadder 基准（1985 道题，覆盖数学、代码、推理与工具调用）。弱教师 LoRA 调节可精准命中目标分数，但多选题错误会集中到单一选项 token，暴露不自然偏差。结论是精确分数控制不等于可迁移、可信的能力削弱。