#工作记忆

共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

论文提出 Jacobian Lens 数学理论,解释 Anthropic 可解释性工具

针对 Anthropic 提出的 Jacobian lens 可解释性工具,论文给出其数学理论,证明该工具优先识别跨层放大、跨位置稳定的相干特征方向。研究在贝叶斯滤波器与玩具 Transformer 上验证,并提出可强调不同时间尺度的 ω-J-lens 系列。

arXiv cs.LG7 天前
★ 3

研究:语言模型的上下文绑定容量上限

论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定,对 12 个 3B 以下模型绘制连续回忆曲线,并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α,α 约为 0.82。研究还分析了干扰如何降低测得容量,并将该测量与工作记忆和指令遵循联系起来。

arXiv cs.LG35 天前

这个主题的相关资产

相关公司Anthropic1

相关标签

工作记忆 最新资讯与动态(3 篇) - 智讯 AI News