LEMON:基于注意力图的等变学习实现新大模型零样本行为监控
研究将跨模型注意力图的不匹配刻画为代数对称性,基于几何深度学习构建在线图神经网络监控器 LEMON,逐 token 处理注意力图并以极低开销输出异常分数。在 16 个大模型和六个数据集上,零样本跨模型场景下幻觉与越狱监控均优于所有基线,最高提升 14 个 ROC-AUC 点。
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究将跨模型注意力图的不匹配刻画为代数对称性,基于几何深度学习构建在线图神经网络监控器 LEMON,逐 token 处理注意力图并以极低开销输出异常分数。在 16 个大模型和六个数据集上,零样本跨模型场景下幻觉与越狱监控均优于所有基线,最高提升 14 个 ROC-AUC 点。
论文针对空中视觉语言导航(VLN)中用户指令简短、与训练用详细轨迹指令不匹配的「指令鸿沟」问题,提出轨迹接地指令翻译器 TGIT。在冻结的 OpenFly 导航器上,TGIT 将弱指令成功率从 11.33% 提升至 37.93%,零样本迁移到真实人类指令达 32.51%,并在 CityNav 与 …
研究提出 RUSPAN,把评分标准描述当作语义标签表示,将题目、学生答案与候选评分等级序列化为单条序列,一次前向即完成列表式打分。其 RUSPAN-RIM 变体用评分标准独立掩码阻止标准跨度互相注意,提升零样本迁移能力。在英德葡六个短答评分基准上优于判别式与生成式基线。
研究提出工业运动学轨迹模型 IKTM,用速度与航向变化等运动学序列表示工业车辆运动,不依赖绝对坐标、路网 token 或语义分区。IKTM 采用带概率混合头的自回归因果 Transformer,并加入显式时长条件信号。在单站点训练、三个未见站点零样本评估中,其转向率分布与留出遥测数据吻合,终止由时…
研究提出开源拓扑感知射频电路建模方法 TARGet,在子电路与整体拓扑两个层面建模,用 S 参数表示子电路行为并显式引入电路拓扑信息。其融合架构结合图神经网络与子电路连接感知网络,在多种射频拓扑上实现低于 1% 的预测误差,训练数据需求较 SOTA 减少最多 35.5 倍。在留出匹配网络评估中实现…