★ 3
gzip 能否充当语言模型
一篇讨论 gzip 压缩算法是否可视为语言模型的文章在 HN 引发热议，获得 348 分与 130 条评论。该话题涉及压缩与预测的等价性，触及信息论与大模型原理的交叉。
Hacker News41 天前
#压缩
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
超越模仿审稿人：评估LLM用于投稿前同行评审
本文研究作者面向的LLM系统，在投稿前生成原子关注点并压缩为简短报告，以模拟同行评审。基于ICLR 2026的3398篇论文，独立采样覆盖44.9%的历史问题，去重与补充后覆盖率提升至78.7%。然而，压缩过程损失严重，隐藏的Top-32 Oracle保留了79.3%的加权覆盖率，而仅基于论文的选…
arXiv cs.AI54 天前
★ 3
基于损伤感知的Transformer剪枝方法
研究将语言和视觉Transformer的结构化剪枝建模为损伤感知的多臂老虎机问题，在固定评估预算下选择功能单元。配对损伤减少批次间差异，平滑有界奖励驱动UCB或分数Beta汤普森采样。实验覆盖多种模型，与随机、幅度等基线相比，老虎机方法通常减少性能下降，但效果并非仅由更大预算解释。
arXiv cs.AI54 天前
★ 3
研究提出HSDN依赖感知思维链压缩，用于金融推理
本文提出层次语义蒸馏网络（HSDN），用于压缩思维链推理过程，同时保持答案准确性和逻辑连贯性。HSDN结合语义分割、依赖图构建、双编码器重要性评分、约束段选择和局部边界重写。在AFAC2025基准上，HSDN实现了91.0%的准确率和68.4%的压缩率，优于强压缩基线。
arXiv cs.AI61 天前
★ 2
贝叶斯充分压缩不够：通信如何帮助多智能体系统
论文研究多智能体LLM系统中，发送方拥有宽上下文、执行方仅有局部视野时，短消息何时优于原始上下文。作者提出「接收方相对有界协调」框架，将消息效用表示为接收方收益减去协议税，并指出即便贝叶斯充分压缩也可能因执行方无法利用其表层形式而失效。实验显示同一Qwen协议在ContextBench提升准确率，…
arXiv cs.LG27 天前
★ 2
Token边界的压缩代价与预测
论文量化预分词边界带来的压缩代价，通过最短路径与词表预算选择从两侧界定最小token数，并用独立整数检查器验证。在英文维基百科上，边界使最优token数增加28.3%至36.8%，BPE高于受限下界2.1%但高于无限制下界10.9%。研究还引入边界许可机制，发现许可10%词表预算即可恢复大部分to…
arXiv cs.AI33 天前
★ 2
基于压缩的机器学习方法综述与框架
研究系统梳理了压缩与机器学习的相互转化路径，包括归一化压缩距离、最小描述长度与熵编码。作者提出并验证了基于压缩的ML设计框架，发现其在恶意软件检测上显著优于常规基线，不同设计选择可带来最高0.62的准确率提升。
arXiv cs.LG42 天前