★ 3
PolymathicAI 开源 LIP 协议，让大模型直连专家表示
论文提出潜在互联协议（LIP），训练连接器把蛋白质与小分子专家的表示直接映射进大模型内部状态，无需联合训练。作者将6个专家模型接入Gemma 3（4B/12B）与Kimi K2.6并冻结全部预训练权重，实现零样本跨域任务迁移，代码与预训练连接器已在GitHub开源。
arXiv cs.LG10 天前
#表示学习
共 50 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文证明完美重建无法验证 VAE 码本一致性
论文证明标准训练报告无法揭示 VAE 潜在空间写入与读取码是否一致，并构造两个完美重建、ELBO 与码直方图完全相同的 VAE，其一致性分别为 1 和 0。研究进一步给出 ELBO 项对一致性偏移的界限，并提出 Certify-or-Measure 协议。
arXiv cs.LG19 天前
★ 3
PreSO 提出特权表示隔离的在线自蒸馏方法
论文提出 PreSO（Privileged Representation Isolation for On-Policy Self-Distillation），用于将 RLVR 的稀疏结果信号转化为密集的 token 级监督。方法在源头用紧凑提示限制解特定细节，在目标端从跨问题共享的低秩子空间投影…
arXiv cs.LG19 天前
★ 3
ReCast：面向 LLM 智能体系统的归因导向步骤表示学习
论文针对 LLM 智能体系统失败归因问题，提出 ReCast 步骤表示学习方法，将冻结 LLM 的隐藏状态转化为归因导向的步骤表示，并构建 ReCast-2K 训练数据集。该方法在四个基准上取得最佳 Hit@1，在 Who&When 的 Algorithm 与 Handcrafted 上分别超越最…
arXiv cs.AI24 天前
★ 3
PAIR：打通视觉-语言-动作模型的感知与行动
论文提出 PAIR 框架，在视觉-语言-动作（VLA）模型中学习共享的感知-行动表示。训练时用掩码动作自编码器编码专家动作块，桥接模块提取任务相关特征并生成 Bridge Tokens 注入动作 token。在 LIBERO-Plus 上 VLA-Adapter 成功率从 59.1% 提升至 64…
arXiv cs.AI25 天前
★ 3
Latent-MOPD：表示级多教师在线策略蒸馏
论文提出Latent-MOPD，据称是首个面向LLM的表示级多教师在线策略蒸馏方法，同时利用专家的预测分布与计算这些预测所用的隐藏状态，无需额外教师训练。方法按师生关系选择后层目标、用共享投影桥接不同隐藏宽度、按领域分组更新，并让监督从隐藏状态逐步过渡到token预测。在同族与跨族教师设置下，该方…
arXiv cs.LG28 天前
★ 3
研究提出语义可恢复性衡量自监督学习任务保留度
论文通过语义可恢复性研究同实例自监督学习保留哪些下游任务信息，证明可恢复性精确决定方向性CDNV并控制少样本最近质心分类。对典型双视图自监督目标的分析给出语义可恢复性的闭式谱刻画，并在合成与真实数据集上验证了预测关系。
arXiv cs.LG32 天前
★ 3
研究质疑柏拉图表示假说：局部与全局比较混淆结构尺度
论文质疑柏拉图表示假说的既有解读，指出以往局部-全局比较混淆了结构尺度与比较对象：关系结构（哪些样本相关）与度量几何（距离、相似度等定量关系）。作者构建 2×2 受控框架，引入 H0 骨架重叠作为互 k 近邻的全局对应物。结果显示视觉-语言模型中关系结构在校准后于两个尺度都稳健收敛，而距离一致性显…
arXiv cs.LG39 天前
★ 3
研究称线性表示假说需引入群作用定义等价性
论文指出线性表示假说常被讨论却未明确表示等价性，而不同等价概念保留不同结构，导致看似研究同一表示的度量、探针与干预实际对应不同假说。作者用群作用形式化该假说，明确表示对象、生成过程与最终断言的性质，并据此审计常见表示量与近期可解释性分析。
arXiv cs.LG39 天前
★ 3
对比式世界模型：无需像素重建的潜在动力学学习
论文提出 Contrastive World Models，用类似 Deep InfoMax 的互信息下界替代 Dreamer 中的像素重建目标，让状态表示只保留对未来预测有用的信息。在视觉干扰或自然视频背景下，该方法显著优于 Dreamer 与动量预测基线，且因去掉像素解码器而训练更高效。这为提…
arXiv cs.LG41 天前
★ 3
MCR² 在分布外泛化上的理论局限
论文指出最大编码率降低（MCR²）目标在分布偏移下可能完全失效：仅依赖不稳定环境特征的表示可达到全局编码最优，却在相关性反转后预测彻底失败。即使引入不变风险最小化（IRM）与风险外推（REx）的不变性原则也无法消除该问题，说明共享编码最优性并不保证稳定预测。
arXiv cs.LG42 天前
★ 3
PMPS：潜空间思维链的结构化过程监督
潜在推理用连续空间嵌入替代冗长的显式思维链token以提升效率，但缺乏对潜在嵌入的直接过程监督，易导致表示坍缩与信息分布不均。论文提出原型中介过程监督（PMPS），引入可学习推理原型作为语义锚点，通过原型分配实现不等长表示间的多对多软对齐，并配合渐进序列对齐模块。实验显示输出token长度压缩至显…
arXiv cs.AI53 天前
★ 2
ACTS-WM：自监督潜在动作世界模型提升时间序列建模
论文提出 ACTS-WM，一种面向时间序列的自监督潜在动作条件世界模型框架。它无需显式动作标注即可从序列变化中推断潜在动作，并结合 JEPA 编码器与动作条件世界模型预测目标表示。在 22 个数据集、4 类任务上验证，性能优于预训练 JEPA 编码器。
arXiv cs.LG3 天前
★ 2
论文重思长尾数据下监督对比学习的表示几何
论文建立理论框架，分析长尾分布下监督对比学习目标能否在最优处形成正单纯形几何，发现代表性目标因依赖每类样本数而失败。作者提出结构平衡与完全平衡对比目标，可证明在最优处形成正单纯形，并在长尾识别与迁移学习上提升性能。
arXiv cs.LG7 天前
★ 2
REP-PD-TEG：低秩约束 MDP 的表示学习新方法
论文研究连续状态空间低秩约束马尔可夫决策过程（CMDP）的表示学习，提出 REP-PD-TEG 与 REP-PD-H-TEG 两种算法，分别处理软累积违规与硬累积违规。作者给出遗憾界与违规保证，是首个对低秩连续状态 CMDP 具备理论保证的表示学习方法。
arXiv cs.LG10 天前
★ 2
NEST：面向多尺度聚类的嵌套嵌入表示
受 Matryoshka 表示学习启发，论文提出无监督框架 NEST，在单一嵌入中编码由粗到细的嵌套聚类结构，随维度增加实现更细粒度区分。实验表明学习到的嵌入距离比输入更贴合层级距离，并在视觉、文本与单细胞数据上验证了多尺度组织能力。
arXiv cs.LG10 天前
★ 2
信息瓶颈分析：速率约束下的多任务最优表示
论文将「何种预训练目标在信息预算下产生最佳下游表示」形式化为多任务信息瓶颈问题，在高斯输入与任务下刻画最优表示。结果显示低速率下弱任务对齐的专家模型可胜过重建型通才模型，但高速率下反转；CelebA 与 dSprites 实验表明压缩会改变最佳预训练目标。
arXiv cs.LG10 天前
★ 2
研究：知识追踪模型预测准不等于参数可恢复
该论文研究知识追踪（KT）模型通过下一响应预测训练后，能否准确恢复题目参数。作者对比2PL、GPCM、NRM解码器与LSTM、Transformer、DKVMN编码器，发现区分度和选项斜率恢复需更宽的题目表示，并提出分离序列表示宽度与参数键宽度的SK(64,8)结构，在TIMSS与EdNet上提升…
arXiv cs.LG10 天前
★ 2
TimeFT：从频域视角重构时间序列分词
论文指出当前时间序列分词策略会引入频谱失真，使表示偏离趋势、周期等真实模式，并从频域推导失真发生的边界条件。作者提出无参数分词器 TimeFT，通过频域划分、频移与奈奎斯特采样实现近无失真分词，在预测、分类与异常检测任务上稳定提升性能。
arXiv cs.LG11 天前
★ 2
研究：用变量角色解读大模型代码表示与稀疏自编码器
论文基于 Sajaniemi 变量角色分类法，构建覆盖五种语言、12.6 万份代码文件的语料，考察大模型能恢复哪些角色区分、稀疏自编码器如何保留这些区分。结果显示残差探针优于单个 SAE 特征，但生成干预常以牺牲正确性为代价改变角色标注，且未显示明确优势。
arXiv NLP13 天前
★ 2
图拉普拉斯平滑先验为多模态恒星嵌入诱导傅里叶几何
论文提出图拉普拉斯平滑先验，使表示在物理参数空间上平滑变化，在连续极限下选出拉普拉斯本征函数，从而诱导出与平移对称相关的类傅里叶几何。在覆盖六个天文巡天的多模态恒星表示上验证，并提升下游线性探针性能与标签效率。
arXiv cs.LG13 天前
★ 2
研究：模型规模提升线性可恢复性而非原生几何一致性
论文区分「原生余弦几何」与「线性可恢复性」两种表示相似性，用 Legacy Survey 与 HSC 匹配嵌入在五个模型家族上验证。结果显示 Ridge 对齐强化了模型规模与跨数据集邻域对应的关系，且稀疏自编码器特征并不优于稠密嵌入对齐，说明规模提升的是线性可恢复性而非共享度量几何的收敛。
arXiv cs.LG14 天前
★ 2
LOTUS 提出预测锚定预训练，时序语言模型性能提升
研究者提出「预测锚定」（forecast grounding）预训练原则，要求语言对齐的时序表示在下游任务适配前仍能预测未来演化。基于该原则实现的 LOTUS 将时序通道切分为不重叠 patch 映射进 LLM 嵌入空间，并预测下一个 patch，同时引入时序-频谱 patch 表示以兼顾变化与周…
arXiv cs.LG18 天前
★ 2
方差指纹：通过增强设计实现内容因子的分量级识别
论文研究能否通过设计数据增强使自监督学习中的内容因子可识别。方法让内容因子在增强视图中波动但保持均值，并记录增强强度，利用因子对强度响应的差异区分各分量。在条件高斯模型下证明可识别至置换、缩放与平移，合成与 dSprites 实验验证了因子恢复与坐标对齐的改善。
arXiv cs.LG19 天前
★ 2
有损压缩文本自编码器研究
论文探索文本压缩潜在表示学习，提出在时间轴上进行残差降采样与升采样的自编码器架构，并配以残差低维离散瓶颈。在网页文本数据上压缩表示达到 2.24 比特/字节，与无损压缩算法相当，同时保持良好重建与下游问答、语义相似度任务表现。
arXiv NLP24 天前
★ 2
PXtal框架实现粉末X射线衍射与晶体结构对齐
研究提出 PXtal 框架，在信息不对称条件下学习对齐粉末 X 射线衍射（PXRD）与晶体结构表示。该方法使用非平衡最优传输（UOT）调整跨模态耦合，在六个测试集上优于基线，尤其在 PXRD 图案相似但晶体不同的情况下提升最大。
arXiv cs.LG24 天前
★ 2
邻域平滑用于神经网络校准
论文提出图平滑作为训练时校准的通用原则，鼓励表示空间中相邻样本具有相似的预测分布，并推导了邻域预测散度与局部置信度变化及校准误差传播之间的界限。所提图正则化器在标准校准基准上提升预测质量，且与温度缩放等事后校准互补。
arXiv cs.LG25 天前
★ 2
DTRC：离线视觉控制的有向时间表示
论文提出 DTRC，在冻结的 LeWorldModel 特征上学习与时间可达性对齐的潜在几何，用于离线视觉控制。它构建有向时间准度量，将距离变化作为目标相对时间进度信号，在十个视觉控制任务上取得优于规划与直接策略基线的表现。
arXiv cs.LG25 天前
★ 2
常曲率切片Gromov-Wasserstein对齐方法
论文提出常曲率切片Gromov-Wasserstein（CCSGW），用于对齐异质常曲率空间上的分布。首次引入球面空间基于测地线的一维投影，将切片GW扩展到常曲率空间，实现不同曲率流形间的高效比较。理论分析表明CCSGW控制异质空间的内在几何差异，在图异常检测、节点分类与多模态学习任务上取得一致提…
arXiv cs.LG26 天前
★ 2
双曲表示学习的隐式偏差理论分析
论文研究双曲空间中固定类原型多分类任务的黎曼梯度流隐式偏差，提出基于Busemann函数的分解框架。证明半径漂移系数符号决定轨迹趋向理想边界还是回归内部，且边界方向收敛到Busemann风险的临界点。为双曲表示学习中的边界饱和与近边界聚类现象提供严格渐近解释。
arXiv cs.LG26 天前