★ 3
研究测试语言模型树结构表达式序列化瓶颈
论文提出往返协议，研究LLM在思维链或自由文本交互中序列化树结构信息时的信息损失。实验覆盖16个模型的所有配对，发现信道有损且不对称，生成与提取模型互换可致准确率变化达60.4个百分点，最佳配对达92.9%。至少73.6%的失败源于生成端，难度由树结构而非模型家族决定，且该信道可通过约3600条微…
arXiv cs.AI42 天前
#信息瓶颈
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文：信息瓶颈编码器应学到什么，分离表征学习与码率控制
论文研究信息瓶颈（IB）中表征学习与码率控制能否解耦。作者证明在高斯数据下 IB 解可分解为与 β 无关的方向矩阵 W 和标量增益，并将该结论推广到非高斯情形，用充分性亏空 ε_F 刻画分离误差。在 MNIST、SVHN、CIFAR-10、STL-10 上，冻结 CNN 表征加每预算一个压缩器-解…
arXiv cs.LG5 天前
★ 2
信息瓶颈分析：速率约束下的多任务最优表示
论文将「何种预训练目标在信息预算下产生最佳下游表示」形式化为多任务信息瓶颈问题，在高斯输入与任务下刻画最优表示。结果显示低速率下弱任务对齐的专家模型可胜过重建型通才模型，但高速率下反转；CelebA 与 dSprites 实验表明压缩会改变最佳预训练目标。
arXiv cs.LG10 天前
★ 2
深度神经网络中的逐层输入可恢复性研究
论文研究卷积神经网络中每层输出能在多大程度上恢复该层输入，采用基于重建的探针在采样输入块上评估，使方法可扩展至宽特征图的深层 CNN。在九个 ImageNet CNN 上，可恢复性总体随深度下降，但更一致地由该层压缩程度预测。研究还引入单属性随机对照，发现复制预训练奇异向量通常提升可恢复性，而复制…
arXiv cs.LG19 天前
★ 2
VLA 潜在接口的层级选择之谜
论文研究视觉-语言-动作（VLA）策略中，冻结主干网络应向动作头暴露哪些层的问题。在三个预训练模型与 LIBERO、CALVIN 两个操作基准上，54 种配置中有 47 种多层融合方案不如最佳单层策略。作者提出以 InfoNCE 分数作为层质量代理，选层所需 GPU 算力比穷举策略扫描少 9-33…
arXiv cs.AI33 天前
★ 2
可靠性感知跨样本增强的鲁棒多模态情感分析
论文提出可靠性感知跨样本增强（RCE）框架，应对多模态情感分析中噪声与模态缺失问题。RCE 引入自适应变分信息瓶颈建模模态不确定性并压缩冗余噪声，同时从大候选池检索高置信、语义一致的邻居来校准当前表征。实验显示 RCE 在完整、含噪与缺失模态设置下均优于现有最优方法。
arXiv cs.LG35 天前
★ 2
监督嵌入实现症状网络部分信息分解
研究提出基于嵌入的部分信息分解（ePID），将非焦点症状压缩为低基数离散嵌入，实现可扩展的双源PID，输出唯一、冗余与协同信息分量。在PHQ-9与IRI等真实数据集上，监督ACIB嵌入恢复参考分解最准确（协同恢复r=0.92），并揭示不同量表呈现相反的冗余/协同特征。
arXiv cs.LG48 天前