★ 3
UniGuard：0.6B 多视图护栏模型跨接口安全泛化，F1 提升 45 分
论文提出 UniGuard 训练框架，从同一安全案例的多种语义对齐视图学习接口不变的安全表征，并将 1000 个公开案例转为提示、回复、多轮对话、智能体轨迹等视图构建 UniGuard-FT 数据集。0.6B 的 UniGuard-0.6B 在 ATBench、PolicyGuardBench、D…
arXiv NLP10 天前
#对比学习
共 23 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ReCast：面向 LLM 智能体系统的归因导向步骤表示学习
论文针对 LLM 智能体系统失败归因问题，提出 ReCast 步骤表示学习方法，将冻结 LLM 的隐藏状态转化为归因导向的步骤表示，并构建 ReCast-2K 训练数据集。该方法在四个基准上取得最佳 Hit@1，在 Who&When 的 Algorithm 与 Handcrafted 上分别超越最…
arXiv cs.AI24 天前
★ 3
Ovis-Embedding：推进通用全模态嵌入
论文提出Ovis-Embedding全模态嵌入模型族，基于共享多模态骨干将文本、图像、视频、音频编码到统一表示空间。三项关键进展包括原生全模态初始化、数据中心化训练与嵌入专用优化。该模型族在MMEB-v3、MMEB-v2、MVEB、MAEB、RTEB上均达到最先进水平。
arXiv cs.AI40 天前
★ 3
对比式世界模型：无需像素重建的潜在动力学学习
论文提出 Contrastive World Models，用类似 Deep InfoMax 的互信息下界替代 Dreamer 中的像素重建目标，让状态表示只保留对未来预测有用的信息。在视觉干扰或自然视频背景下，该方法显著优于 Dreamer 与动量预测基线，且因去掉像素解码器而训练更高效。这为提…
arXiv cs.LG41 天前
★ 3
论文提出自蒸馏中区分正确性与行为的方法
研究发现在线自蒸馏中特权信息不仅改变教师模型的知识，也改变其行为，导致正确性信号与行为偏移纠缠。作者对比吸引式与排斥式自蒸馏，发现两者引发相反的行为变化，而将正确解教师与错误解教师结合的对比式自蒸馏可让行为偏移相互抵消。该目标在多种模型上提升推理性能并保持稳定的回答长度。
arXiv cs.LG42 天前
★ 3
对比建模对齐多模态上下文学习推理路径
现有多模态上下文学习方法多依赖对示例的表面模仿，难以让MLLM对齐复杂任务所需的推理路径。论文提出新框架，将每个示例重构为同一输入下次优响应与更优响应的显式对比，并附揭示改进方式的推理路径，同时引入响应条件检索机制与轻量对齐控制器。在三类多模态任务上持续提升MLLM表现，视觉问答（VQA）增益尤为…
arXiv cs.AI53 天前
★ 3
小型Transformer代码表示学习的合成语义监督实证研究
该研究探讨了在小型Transformer编码器中，使用合成生成的自然语言描述进行对比预训练，以替代人工文档字符串或执行轨迹等监督信号。实验表明，在多个代码检索、分类和生成任务上，该方法优于同规模预训练基线，微调后甚至能匹配或超越大两个数量级的零样本模型。研究为代码表示学习提供了一种可扩展且有效的替…
arXiv cs.AI59 天前
★ 3
Prior-Guided Tuning 用自然语言先验改进低资源 LLM 训练
提出Prior-Guided Tuning视角，将自然语言先验作为辅助学习信号用于低资源大模型训练。引入Contrastive Prior Steering方法，在AmbiMath、Jigsaw等基准上显著提升性能，验证了该方法的有效性。
arXiv cs.AI60 天前
★ 3
MolEmb：多模态大语言模型作为分子嵌入模型
MolEmb框架利用多模态LLM，通过双向对比目标对齐分子图谱与文本描述，生成上下文相关的分子嵌入。在分子性质预测和跨模态检索上表现优异，并引入MolCAR基准评估上下文感知检索。
arXiv cs.AI68 天前
★ 2
论文重思长尾数据下监督对比学习的表示几何
论文建立理论框架，分析长尾分布下监督对比学习目标能否在最优处形成正单纯形几何，发现代表性目标因依赖每类样本数而失败。作者提出结构平衡与完全平衡对比目标，可证明在最优处形成正单纯形，并在长尾识别与迁移学习上提升性能。
arXiv cs.LG7 天前
★ 2
arXiv 论文：EEG 与文本语义对齐解码想象语音
研究者提出一种多模态对比学习框架，将 EEG 试次与冻结预训练文本编码器的语言表示在嵌入空间中对齐，用于想象语音解码。该方法在 Chisco 数据集 39 类意图上取得与闭集分类器相当的精度，并支持相似度检索与可靠性排序。
arXiv cs.LG17 天前
★ 2
PAT：人格驱动增强与迁移学习框架用于社交媒体抑郁检测
研究者提出 PAT 框架，通过人格理论驱动的 LLM 数据增强与细粒度对比学习优化帖子级编码器，解决症状语义筛选噪声与用户级监督信号粗糙两大问题。第二阶段将编码器参数迁移至用户级任务，实现多粒度可解释性，实验显著优于现有方法。
arXiv NLP19 天前
★ 2
MetaEncoder：双编码器多模态决策接口研究
论文提出 MetaEncoder，将预训练 Muse-Glimmer 30B 解码器微调为指令遵循的决策编码器，采用双编码器架构与单向对比学习对齐请求与候选选项。方法覆盖小规模闭集（<256）与百万级开放集检索场景，在 11 个基准套件、190 项任务上评测，在推理密集型任务上仍存在局限。
arXiv NLP24 天前
★ 2
文本真能引导神经 PDE 代理模型吗？
论文用 OperatorCLIP 研究文本条件神经代理模型的归因问题，对比无条件 FNO、常量句 FiLM 控制与对比对齐的任务描述。在 Darcy2D、ShallowWater2D 与三维可压缩 Navier-Stokes 上三种子实验显示，常量条件在 2D 任务上平均误差更低，提示文本条件带来…
arXiv cs.LG32 天前
★ 2
MoCoP v2：深度学习形态学轮廓改进分子对比预训练
研究扩展了分子-形态学对比预训练（MoCoP），改用基于深度学习的细胞图像编码管线提取更丰富的形态学轮廓，并与分子嵌入做对比对齐。新嵌入在QSAR预测、毒性预测上表现更优，形态学检索性能随训练数据量呈对数线性增长。该方法在ADME与活性基准上也具竞争力。
arXiv cs.LG35 天前
★ 2
HCOE：生物医学语言模型的双曲临床本体嵌入
论文提出 HCOE，将冻结的 BioBERT 嵌入映射到庞加莱球，结合父子侧本体引导对比学习与由粗到细的本体路径聚合，实现层级感知的临床概念表示。基于 ICD/CCS 与 ATC 药物层级，HCOE 在临床关系预测与层级迁移上表现最佳。在 MIMIC-IV 上于死亡率、再入院、用药推荐与罕见药物预…
arXiv cs.AI35 天前
★ 2
ACE自监督模型从手机定位挖掘活动模式
研究提出活动链编码器（ACE），一种自监督模型，融合预训练城市嵌入与停留时间、时长，用Transformer建模停留序列，通过掩码活动建模与身份引导对比学习训练，无需活动目的标签。在伦敦手机定位数据上识别出六类工作日活动模式群组，并结合人口普查数据解释其人口学关联。该工作为从无标注移动数据中推导行…
arXiv cs.LG41 天前
★ 2
LE4Mob：通用位置嵌入框架
论文提出 LE4Mob，一种归纳式、距离感知且源自地理信息的位置嵌入框架，扩展了语言—位置对比预训练并引入距离感知正则。该方法可为未见地点生成嵌入并跨任务迁移，在下一位置预测与通勤流生成任务上优于强基线。
arXiv cs.LG41 天前
★ 2
质心引导对比损失提升欺诈招聘检测
论文提出质心引导对比损失（CGCL），将分类与密集聚类统一，通过质心驱动的 top-k 推拉机制重塑隐空间表示。该方法在公开基准 EMSCAD 上取得 SOTA，兼顾决策边界准确性与聚类紧致度。代码已开源。
arXiv cs.AI42 天前
★ 2
LoRA 增强对比学习用于声呐目标识别
研究将 DINOv3 ViT 适配到合成孔径声呐自动目标识别，采用三阶段参数高效框架：LoRA 微调、难负样本挖掘与监督对比学习。结果显示 LoRA 是主要增益来源，AUPRC 从 0.300 提升至 0.679，仅训练 0.26% 权重；后两阶段相对对照无显著提升，说明单一高效适配阶段已足够。
arXiv cs.AI42 天前
★ 2
基于过程语言建模的认知诊断框架
论文提出过程感知语言认知诊断框架PLCD，用语言结构作为认知先验，结合答题记录校准学生状态。该框架利用大模型构建概念图式与认知过程图，并通过DA-MoE专家与过程级对比学习将文本证据映射到统一认知空间。实验显示其在预测学生表现和认知迁移上优于传统基线，提升冷启动鲁棒性。
arXiv cs.AI49 天前
★ 2
表征学习目标恢复不同潜在结构
研究比较不同表征学习目标在心理测量数据上恢复潜在结构的能力。对比目标提高教师-儿童检索，但保留行为表型较差；多任务目标部分恢复但降低检索，表明目标选择影响结构恢复。
arXiv cs.AI61 天前
★ 1
CLUE：无监督事件类型归纳与标注的对比学习框架
论文提出 CLUE 框架，用于事件类型归纳、命名与标注，以减少人工事件本体构建的成本与偏差。其贡献包括设计同时表达动词中心视角与语义视角的联合嵌入表示，使用对比损失引导聚类进行事件类型归纳，以及事件命名与精炼。实验验证了方法有效性，代码已开源。
arXiv NLP21 天前