★ 3
arXiv 论文：CIG-SFT 条件信息增益后训练框架
论文指出模型兼容性不等于学习价值，提出信息论框架 CIG-SFT，估计每个示范 token 携带的任务条件信息，并转化为 KL 正则化的 SFT 目标。在数学推理与代码生成基准上，CIG-SFT 优于标准 SFT 与近期自适应微调方法，泛化提升尤为明显。
arXiv NLP21 天前
#信息论
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：重新审视奖励优化的缩放定律
论文研究 AI 对齐中针对奖励模型优化的缩放规律，厘清性能如何随偏好训练数据量与 KL 散度预算共同变化。作者提出信息论模型，证明性能大致按 Θ(√min{log(M), K}) 缩放并给出紧致可达的构造过程。用 70B 金标准奖励模型生成反馈、0.6B 至 4B 代理模型训练的实证显示，该定律拟…
arXiv cs.LG32 天前
★ 3
gzip 能否充当语言模型
一篇讨论 gzip 压缩算法是否可视为语言模型的文章在 HN 引发热议，获得 348 分与 130 条评论。该话题涉及压缩与预测的等价性，触及信息论与大模型原理的交叉。
Hacker News41 天前
★ 3
MCR² 在分布外泛化上的理论局限
论文指出最大编码率降低（MCR²）目标在分布偏移下可能完全失效：仅依赖不稳定环境特征的表示可达到全局编码最优，却在相关性反转后预测彻底失败。即使引入不变风险最小化（IRM）与风险外推（REx）的不变性原则也无法消除该问题，说明共享编码最优性并不保证稳定预测。
arXiv cs.LG42 天前
★ 3
研究揭示自回归预测中数据与记忆的谱缩放规律
研究揭示自回归预测中数据量与学习记忆量由同一预测能量谱支配，并证明了一个极小极大定律，说明数据决定分辨率、记忆决定最优比特分配达到的水平。实验验证了数据-记忆坍缩与耦合指数，并考察了六种预训练模型规模下的权重量化。
arXiv cs.LG48 天前
★ 2
DDF 框架用信息论与博弈论量化企业数据边际价值
论文提出 Data Differentiator Framework（DDF），结合互信息冗余惩罚、成本归一化的显著性门控边际效用与企业治理输入，评估候选数据资产是否值得采购。在信用卡欺诈基准上仅真正差异化的资产通过显著性门控并获得采购建议，推荐在多数战略权重配置下稳定。
arXiv cs.LG11 天前
★ 2
用神经时序点过程建模语言信息事件到达时间
研究提出用神经时序点过程（TPP）建模文本序列中关键信息承载事件的到达时间，输入事件间隔历史与 LLM 上下文语义表示，预测新词与高惊异度 token 两类事件的未来到达时间。结果显示 LLM 产生新词的速率显著高于人类，而高惊异度 token 无此差异。
arXiv NLP19 天前
★ 2
知识追踪基准的信息论评估框架
论文指出 AUC、准确率等聚合指标掩盖了知识追踪（KT）模型的误差来源，也无法判断基准是否接近饱和。作者提出基于信息论的评估框架，用上下文树加权（CTW）构建不确定性坐标，将预测映射到不同熵带以评估局部性能增益。实验显示现代 KT 模型的提升高度不均匀，主要集中在高熵区域。
arXiv cs.LG26 天前
★ 2
部分可观测模仿的最小循环行为记忆
论文研究在部分可观测下复现指定专家所需的最少循环记忆，用兼容关系刻画该最小记忆。作者提出单载体测量协议，分离行为充分性、超额码率与观测携带的信息。实验显示在操作任务中学习码率接近零比特与两比特需求，而学习该表示仍然困难，事件无关的未来行为监督可将最长视野像素设置从 0/8 提升到 6/8 充分种子。
arXiv cs.LG40 天前
★ 2
多模态时序预测中文本信息价值的基准评测
论文构建了一个可控合成的时序信号基准，标注分为语义正确、错误和无关三类，从而首次为信息论指标提供真值。研究系统评测了KSG、MINE、InfoNCE、CCA、PID和V-information六种互信息估计器，发现它们都能识别正确标注最具信息量，并可用于审计混合文本语料、无需训练即选出最优标注。作…
arXiv cs.AI51 天前