★ 3
研究：语言模型的上下文绑定容量上限
论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定，对 12 个 3B 以下模型绘制连续回忆曲线，并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α，α 约为 0.82。研究还分析了干扰如何降低测得容量，并将该测量与工作记忆和指令遵循联系起来。
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定，对 12 个 3B 以下模型绘制连续回忆曲线，并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α，α 约为 0.82。研究还分析了干扰如何降低测得容量，并将该测量与工作记忆和指令遵循联系起来。