★ 4
何恺明团队新作：看猫片学会 ARC 挑战
何恺明团队提出新方法，仅用 ImageNet 图像训练 encoder，即可在 ARC 抽象推理挑战上取得进展。该工作探索了视觉预训练表征向抽象推理任务迁移的可能性，引发学界关注。
量子位31 天前
#表征学习
共 25 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
UserRepGen-4B：用用户表征提升 AI 助手模拟保真度
论文指出用户表征是用户模拟器中被低估的瓶颈，并提出对话重建任务来评估表征质量：先生成表征、以其条件化模拟器、再对比原始与模拟对话中的用户行为。作者提出「后见蒸馏」在线训练方法，产出 4B 参数的表征生成器 UserRepGen-4B。在 7 个数据集 700 段对话上，其模拟保真度超过 GPT-5…
arXiv NLP13 天前
★ 3
arXiv 论文：LLM 写代码使用可复用可组合抽象表征
论文发现 LLM 生成代码时，其中间层激活捕捉了跨编程语言与实现策略共享的可复用、可组合抽象表征。通过激活引导，函数、编程语言与实现策略可被独立操控并灵活组合，即使提示中不含语言与函数信息。研究还发现单语言函数微调可迁移到其他语言，并在合成环境中复现了该抽象结构的形成。
arXiv cs.LG17 天前
★ 3
MATCHA：跨模型激活对齐学习方法
arXiv 论文提出 MATCHA，学习源模型到目标模型的激活对齐，将映射分解为可提取检查的层映射矩阵与层共享特征映射，二者从提示词联合学习。在 7 个模型 42 对组合上更忠实重建目标激活，并支持将转向向量与探针从一个模型迁移到另一个。
arXiv cs.LG24 天前
★ 3
Market-1T 数据集发布，推动金融市场世界模型
论文发布 Market-1T 数据集，包含 2008 至 2025 年美国股票近一万亿条 1Hz 观测数据，并系统比较 18 种编码器训练策略。研究为 DINO-WM、V-JEPA 2、LeWM 等世界模型提供金融表征训练与评估基础。
arXiv cs.LG24 天前
★ 3
潜在递归 LLM 系统的表征监督训练
论文指出 LLM 在连续空间推理时，仅用最终答案交叉熵监督会导致思维坍缩、保留无关信息等四类失败。作者提出 REST 训练目标，将有效思维表征的因果性、最小性、可分离性与稳定性转化为可微损失叠加到交叉熵上。在数学、科学、医学、代码生成等 7 个基准上，REST 相比纯交叉熵训练最高提升 7.5 个…
arXiv cs.AI32 天前
★ 3
Transformer 中的世界建模机制研究
论文以在曼哈顿随机游走上训练的 TaxiGPT 为例，通过机制分析与因果干预证明模型实际学到了路口、街道表征、位置追踪与目标罗盘导航能力。其失败源于叠加路口特征间的干扰，而 affordance packing 可缓解该问题。研究提出机制指标比较模型，并主张从「是否有世界模型」转向机制化研究世界建…
arXiv cs.AI41 天前
★ 2
LOTUS：低秩多线性分解检测大模型幻觉
该论文提出 LOTUS（低秩阶统计 Tucker 子空间学习）框架，通过多线性低秩分解从大模型隐藏状态中提取紧凑表征，用于幻觉检测。方法先用统计描述子汇总变长 token 表征，再以低秩分解捕捉跨层结构，训练轻量分类器。实验在多个大模型与问答基准上优于现有最优基线，并降低对标注数据的依赖。
arXiv NLP4 天前
★ 2
arXiv 论文：信息瓶颈编码器应学到什么，分离表征学习与码率控制
论文研究信息瓶颈（IB）中表征学习与码率控制能否解耦。作者证明在高斯数据下 IB 解可分解为与 β 无关的方向矩阵 W 和标量增益，并将该结论推广到非高斯情形，用充分性亏空 ε_F 刻画分离误差。在 MNIST、SVHN、CIFAR-10、STL-10 上，冻结 CNN 表征加每预算一个压缩器-解…
arXiv cs.LG4 天前
★ 2
PRISM 框架用稀疏 MoE 路由改进城市多视图表征学习
arXiv 论文指出城市多视图数据存在模态效用区域差异与梯度失衡两大结构性问题，提出自调整框架 PRISM。它用稀疏 MoE 路由学习区域专属视图分配，并用类 PID 调节机制缓解梯度冲突。在三个大规模城市数据集上表现优于强基线且训练更稳定。
arXiv cs.LG6 天前
★ 2
FlexUMM 提出统一多模态模型灵活表征学习框架并开源代码
论文指出统一多模态模型中理解与生成能力会产生表征冲突，现有模型结构过于固定。作者提出 FlexUMM，动态决定何时保留共享计算、何时路由专用容量、何时停止处理，可作为模型无关插件接入现有 UMM。该框架同时提升准确率与推理效率，代码已在 GitHub 开源。
arXiv cs.AI12 天前
★ 2
原型正则化 PR 优化扩散模型潜空间类别几何，ImageNet gFID 降至 2.28
论文研究无分类器引导（CFG）下潜空间中类别条件的排布方式，提出原型正则化（PR）作为噪声后验目标的轻量替代，对空间池化后的潜变量施加余弦原型分类器。在受控训练预算下把 LDM 在 ImageNet 上的引导 gFID 从 3.31 降到 2.28，优于 DINOv3 对齐的 VA-VAE（2.4…
arXiv cs.LG13 天前
★ 2
论文提出开放世界 AI 的三项核心要求
论文对比封闭世界与开放世界对 AI 的不同要求，指出开放世界需要机器具备通用性、从少量样本中学习未预设任务。作者将任务建模为共享潜在因子并分解训练目标，推导出三项要求：推理时学习、丰富表征，以及将输入输出对齐到匹配低维组的预测性解耦。在最高 8B 的语言模型上验证，满足要求的模型随相关任务数据积累…
arXiv cs.AI16 天前
★ 2
CCS：激活引导的对比协方差子空间方法
论文提出 Contrastive Covariance Steering（CCS），一种免训练方法，通过对比方差目标将激活引导向量投影到低维子空间，去除与目标概念纠缠的混杂因素。在三个大模型、四个引导领域的 12 个设定中 CCS 全面超越基线，在 AxBench 与 Emotion 上相对提升 …
arXiv cs.LG18 天前
★ 2
HiPPT 用多尺度文本对齐学习可穿戴 PPG 表征
论文提出 HiPPT，按证据尺度匹配监督来源，构建含 400 万条腕戴记录、20.2 万用户的 PPG-Text 语料，结合记录级形态对齐与跨记录上下文对齐。在血压、血管硬度、生理属性与跨数据集心率估计等六项任务上取得最佳线性探测结果，并支持零样本画像。
arXiv cs.AI18 天前
★ 2
VLA 潜在接口的层级选择之谜
论文研究视觉-语言-动作（VLA）策略中，冻结主干网络应向动作头暴露哪些层的问题。在三个预训练模型与 LIBERO、CALVIN 两个操作基准上，54 种配置中有 47 种多层融合方案不如最佳单层策略。作者提出以 InfoNCE 分数作为层质量代理，选层所需 GPU 算力比穷举策略扫描少 9-33…
arXiv cs.AI32 天前
★ 2
JEPA 预训练对时间序列预测是否有效？
一篇 arXiv 论文对联合嵌入预测架构（JEPA）在时间序列预测中的预训练效果进行了迄今最大规模的跨架构评估，覆盖 9 种骨干网络与 11 个基准。结果显示 JEPA 预训练的收益高度依赖下游骨干：部分架构稳定提升，另一些则稳定退化，且该现象在时序与时空预测任务中均成立。作者提醒实践中选择骨干网…
arXiv cs.LG33 天前
★ 2
交互智能体的因果保持：接口分解与选择性适应
论文提出「因果保持」概念，研究冻结的学习状态能否回答与训练无关的机制探测映射。作者给出贝叶斯决策风险下界与后验覆盖定理，并实现 Causal Core 框架。实验显示冻结 Qwen 探针在延迟变化时准确率从 0.958 跌至 0.583，而门控机制状态达 1.000，表明因果保持与任务充分性、源域…
arXiv cs.LG34 天前
★ 2
可靠性感知跨样本增强的鲁棒多模态情感分析
论文提出可靠性感知跨样本增强（RCE）框架，应对多模态情感分析中噪声与模态缺失问题。RCE 引入自适应变分信息瓶颈建模模态不确定性并压缩冗余噪声，同时从大候选池检索高置信、语义一致的邻居来校准当前表征。实验显示 RCE 在完整、含噪与缺失模态设置下均优于现有最优方法。
arXiv cs.LG34 天前
★ 2
分阶段深度训练：面向PINN的表征课程
论文提出「表征课程」训练范式，让表征被显式学习、独立于预测器迁移并逐步精炼，具体实现为分阶段深度训练（SDT）：先用临时物理信息头训练浅层前缀，丢弃该头后冻结前缀并加深网络。在PINNacle的20个默认正问题、三种骨干网络上，SDT在59个等预算组合中的40个至少提升5%，PirateNet风格…
arXiv cs.LG34 天前
★ 2
医学表征预训练助力药物重定位筛选
研究提出统一预训练框架，显式整合医疗编码的层级子词聚合、部分掩码与交叉引用机制，在痴呆发病与住院等临床事件预测任务上超越现有方法。作者以阿尔茨海默病为案例开展计算机药物重定位研究，无需文献等外部知识即数据驱动地重新发现已知候选药物，并提出任务自适应表征方法缓解历史处方信息过度编码问题。该工作建立了…
arXiv cs.LG44 天前
★ 2
MANAS-2：面向脑电基础模型的约束重建
针对低信噪比脑电波形上掩码重建未必产生有用表征的问题，作者提出脑电基础模型MANAS-2，结合原始-频带混合掩码自编码器与物理启发的约束重建正则项ConRec。在七个脑电数据集上，ConRec将六频带功率恢复的R²从0.860提升至0.906，且效果与架构无关。MANAS-2在多数下游知识迁移任务…
arXiv cs.AI47 天前
★ 2
矩阵记忆的因果秩定律：任务代数决定表征秩
论文在群组合任务测试床上提供因果证据，表明梯度下降招募的秩恰好等于任务代数所要求的秩。在五个有限群上，招募秩等于群的最小忠实实表示维度 d_min，Spearman 相关系数达 0.9747。研究将秩定律从标量容量约束扩展为表示论层面的规律。
arXiv cs.LG48 天前
★ 2
表征学习目标恢复不同潜在结构
研究比较不同表征学习目标在心理测量数据上恢复潜在结构的能力。对比目标提高教师-儿童检索，但保留行为表型较差；多任务目标部分恢复但降低检索，表明目标选择影响结构恢复。
arXiv cs.AI60 天前
★ 1
SPD 流形上函数数据的几何特征学习
论文提出 MatFAE，一种用于学习对称正定（SPD）矩阵黎曼流形上轨迹的函数神经网络。MatFAE 通过内在层将流形值函数映射到欧氏向量函数，再由函数层投影到有限维欧氏空间，可编码轨迹动态并具可解释性。作者在多个 fMRI 数据集上验证其能从高维 SPD 轨迹中高效学习有信息量的表征。
arXiv cs.LG34 天前