★ 3
研究：去除信息量无法证明开放权重模型抗篡改
论文指出，仅凭发布时的互信息无法普遍证明开放权重模型对微调攻击的抵抗力。保函数重参数化不改变信息量却改变梯度下降几何，因此不变性证书受最快可达参数化限制。作者构造出两个信息量均为零但一步梯度即可恢复的实例，说明认证还需约束攻击动态。
arXiv cs.LG25 天前
#互信息
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
对比式世界模型：无需像素重建的潜在动力学学习
论文提出 Contrastive World Models，用类似 Deep InfoMax 的互信息下界替代 Dreamer 中的像素重建目标，让状态表示只保留对未来预测有用的信息。在视觉干扰或自然视频背景下，该方法显著优于 Dreamer 与动量预测基线，且因去掉像素解码器而训练更高效。这为提…
arXiv cs.LG41 天前
★ 3
研究探讨量子模型是否遵循类似LLM的缩放定律
论文研究在里德堡原子阵列量子比特测量数据上训练的 RydbergGPT 的神经缩放律。发现在临界点附近，损失随训练数据量呈带损失下限修正的幂律；远离临界点时幂律描述显著变差。通过熵归一化互信息两点函数比较，发现近临界统计与自然语言最接近，支持「多尺度依赖促成稳定神经缩放」的假设。
arXiv cs.LG42 天前
★ 2
强化学习中的策略复杂度与有限理性
论文提出 MI-SARSA，一种在策略时序差分算法，通过互信息正则化引入学习到的边际动作先验，使状态信息仅在收益足够时才被使用。该模型同时预测反应时间，区别于多数只预测选择或回报的强化学习模型，并揭示了鲁棒性与容量之间的权衡。
arXiv cs.LG38 天前
★ 2
多模态时序预测中文本信息价值的基准评测
论文构建了一个可控合成的时序信号基准，标注分为语义正确、错误和无关三类，从而首次为信息论指标提供真值。研究系统评测了KSG、MINE、InfoNCE、CCA、PID和V-information六种互信息估计器，发现它们都能识别正确标注最具信息量，并可用于审计混合文本语料、无需训练即选出最优标注。作…
arXiv cs.AI51 天前
这个主题的相关资产
相关公司OpenAI1