★ 3
论文提出 Jacobian Lens 数学理论,解释 Anthropic 可解释性工具
针对 Anthropic 提出的 Jacobian lens 可解释性工具,论文给出其数学理论,证明该工具优先识别跨层放大、跨位置稳定的相干特征方向。研究在贝叶斯滤波器与玩具 Transformer 上验证,并提出可强调不同时间尺度的 ω-J-lens 系列。
arXiv cs.LG7 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
针对 Anthropic 提出的 Jacobian lens 可解释性工具,论文给出其数学理论,证明该工具优先识别跨层放大、跨位置稳定的相干特征方向。研究在贝叶斯滤波器与玩具 Transformer 上验证,并提出可强调不同时间尺度的 ω-J-lens 系列。
论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定,对 12 个 3B 以下模型绘制连续回忆曲线,并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α,α 约为 0.82。研究还分析了干扰如何降低测得容量,并将该测量与工作记忆和指令遵循联系起来。
WorkBuddy正式进驻企业微信,用户可直接在企微内调用AI同事,无需再充当文件传输助手。该产品主打自带工作记忆,可承接跨会话的上下文与任务。