★ 3
论文分析语言模型能否继承 Solomonoff 归纳
论文运用算法信息论、通用预测与贝叶斯一致性结果，分析语言模型能否逼近 Solomonoff 归纳。结论指出任何可计算模型都无法在统一意义上实现该目标，只能逐环境成立；并讨论上下文学习作为摊销贝叶斯推断等可继承性质。
arXiv cs.LG19 天前
#算法信息论
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
可微复杂度控制器加速Grokking
研究引入经认证的可微算法复杂度估计器K_CDM，将算法信息动力学引入学习过程，实现对grokking现象的控制。该控制器可在Levin描述长度意义下加速grokking，复杂度门控比训练损失门控节省27%干预，并揭示其独特贡献在于触发与释放的时机而非归因。
arXiv cs.LG48 天前
★ 2
论文用算法信息论定义并生成组合结构
论文用算法信息论形式化「组合结构」概念：当各部分合在一起揭示出单独建模时无法捕捉的共享结构时，组合结构便出现。作者进一步反转该框架，在字符串与图像上直接优化生成具有层级复用与部分-整体组织的对象，并讨论其对神经网络深度与组合式数据课程设计的启示。
arXiv cs.AI17 天前
这个主题的相关资产
相关公司xAI1