★ 3
18600 次实验揭示深度学习性能分布与尾部风险差异
研究对图像分类与时间序列预测架构开展 186 组实验、每组 100 个随机种子共 18,600 次运行，量化性能分布的离散度、对称性与尾部风险。结果显示性能分布常非高斯，时间序列模型的欠佳离群点约为图像分类的三倍，平均性能无法预测鲁棒性。作者建议模型选择应评估分布而非仅看均值。
arXiv cs.LG2 天前
#鲁棒性
共 41 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：LLM 多实例处理存在顺序偏差，准确率相差 90 个百分点
一篇 arXiv 论文提出多实例处理（MIP）任务，要求大模型对一组独立输入逐条打标签并统计出现最多的标签，正确答案本应与输入顺序无关。作者用 15 个模型、5 个数据集和 7 种顺序模式测试，发现最好与最差顺序下准确率相差约 90 个百分点，多数标签实例排在开头时表现最好。推理轨迹与梯度归因显示…
arXiv cs.AI10 天前
★ 3
arXiv 提出抗噪强制对齐方法，词边界误差降 19%
论文指出强制对齐器在自发、嘈杂真实语音上性能下降，填充词、笑声与不流畅会破坏词边界。作者用上采样 WavLM 特征替代 MFCC 重构 GMM-HMM 对齐器，并加入非词汇发声单元与判别投影，在 Buckeye 与 FluencyBank 上词边界 MAE 分别比最强基线低 19% 和 17%。
arXiv cs.LG13 天前
★ 3
arXiv：开放权重 LLM 非规范输入四态安全评估
研究提出对抗性表面形式鲁棒性数据集 ASRD，含 7 类表面形式共 2,100 条提示，评估 5 个开放权重模型共 10,500 条回复。四态评估规则将回复分为有害顺从、安全回复、理解失败与不确定；表情符号与不可见 Unicode 几乎不导致理解失败，而 leetspeak 与编码包装使理解失败率…
arXiv NLP24 天前
★ 3
研究：语言模型激活值存在纠错吸引盆
论文假设语言模型对激活扰动的鲁棒性源于前向传播中的被动动力学，即约束机制将激活导向产生连贯输出的「良好」区域。通过探测激活空间几何，作者发现激活落在多个不同吸引盆地中，可几何区分自然激活与分布相似的合成激活。自适应调节引导强度以跨盆地传输激活，可显著提升跨语言引导效果，为解释与控制语言模型提供新路…
arXiv cs.AI26 天前
★ 3
研究：邮件Agent因表达方式变化而检索与执行失败
论文研究邮件助手在请求内容不变、但表达风格或英语变体改变时的鲁棒性，构建了五个沟通风格轴与四种方言条件的变体。在RAG流程与两个工具型代理上评估发现，间接请求会降低全部三项基准表现，正式请求则拖累两个代理基准。分析表明冗长请求主要损害词法检索器，而间接与方言变体即便检索到相关邮件仍有害，代理主要表…
arXiv cs.AI27 天前
★ 3
快速模型与缓慢证据：System-1 决策模型配对评估
论文对开源权重模型 Laya 与托管模型 Jev 两类 System-1 决策模型进行配对评估，覆盖 11 个智能体决策点、7283 个基础案例及 6640 个鲁棒性变体。Jev 在 9 个决策点上显著更准，而两者在零样本模型路由上均未超过随机水平。研究还审计了自身流程，发现三处分析错误与一处设计…
arXiv cs.AI27 天前
★ 3
研究：角色分工 QA 中理由传递究竟带来什么
论文提出消息干预诊断，固定证据与候选答案，仅改变从推理者传给验证者的理由。在 MuSiQue 等 400 个样本上，忠实理由几乎不提升答案准确率，但被污染的理由会强烈改变支持判断（10-22%，显式检查提示下升至 34-55%）。人类审计显示模型会过度信任被污染的理由。
arXiv cs.AI30 天前
★ 3
LLM临床分诊建议基准：与医生专家对比
研究构建了包含6000多个临床场景、7000条医生标注与22.5万条模型回复的基准，在保持临床情境不变的文本扰动下比较LLM与执业医师的分诊建议。结果显示LLM在基线时更易推荐不必要医疗，且在输入扰动下倾向加剧，对性别与语气变化比人类更敏感。作者呼吁以专家医生行为为基准开展面向部署的评估。
arXiv cs.AI31 天前
★ 3
TalkMesh：小语言模型网状网络学习通信时机与内容
论文提出 TalkMesh，一个由小语言模型智能体组成的去中心化网状网络，学习何时以及传递何种信息。智能体用置信度头评估提案，最自信者广播提示，低置信者据此修正，并以 gossip 共识近似置信度加权投票。三个智能体即可达到 32 次多数投票的准确率，且在部分智能体合谋攻击下具备一定防御能力。
arXiv cs.LG34 天前
★ 3
HARDEN：进化搜索生成更难评测用例
论文提出 HARDEN，通过约束进化搜索在保持期望输出不变的前提下，将现有评测用例改写为更难的变体，同时保证语义、真实性与可执行性。在 FinQA、PubMedQA、ContractNLI 及三种 Qwen3.5 规模上，平均降低准确率 22.7%，最高达 49.9%。
arXiv cs.AI34 天前
★ 3
研究揭示对抗信号如何在多智能体交易系统中扩散
研究考察基于LLM的多智能体交易系统对黑盒输入攻击的脆弱性，攻击仅通过合规社交媒体信息流注入。作者提出GMATS框架与传染度量，追踪对抗内容在分析师与协调层间的信念偏移。实验显示简单输入攻击即可显著降低夏普比率，而合理设计的多智能体拓扑与协调提示可缓冲冲击、提升鲁棒性。
arXiv cs.AI44 天前
★ 3
SAM-on-the-Curve：面向鲁棒权重插值的锐度感知模式连通
论文指出低损失模式连通性只约束一维轨迹而忽略邻域，提出锐度模式连通（SMC），对极小极大泛函应用一阶锐度感知近似，使整条曲线邻域保持平坦。在CIFAR-10-C严重模糊损坏下比标准MC最高提升6.09%绝对精度，并产生负损失壁垒。
arXiv cs.LG45 天前
★ 3
BENCHCOMPASS：支付领域大模型评测基准
论文推出 BENCHCOMPASS，一个支付领域基准，通过类型化证据包构建场景化任务，并加入攻击变体与专家审核。评测覆盖 16 个模型变体，揭示三类失败模式：支付规则知识缺失、证据推理不完整、无法拒绝看似合理但无效的流程。基准尚未饱和，最强前沿模型在攻击输入下仅 81.7%，32B 开源模型仅 4…
arXiv cs.AI45 天前
★ 3
LLM 数学应用题的四阶段分解与机制脆弱性
大模型解小学应用题准确率很高，但插入一句无关子句就可能崩溃。研究给出机制性解释：模型内部计算分解为模式抽象、运算规划、操作数绑定与计算四阶段顺序流水线，各阶段在可识别的层带产生不同中间表示。利用同一框架诊断干扰失败，可将损坏定位到运算规划这一单一阶段，其由一组注意力头实现，因果作用经双向验证。
arXiv cs.AI45 天前
★ 3
HarnessBandit：多Harness智能体强化学习的可学习性-可迁移性调度
针对语言模型智能体在不同harness（系统提示、工具模式、控制循环）下表现不均的问题，论文提出HarnessBandit在线调度器，每个优化步选择一个harness。它在GRPO更新后观测可学习性（批次平均绝对优势）与可迁移性（梯度草图余弦相似度），融合后带访问奖励与探索下限采样。在Qwen3.…
arXiv cs.LG47 天前
★ 3
Fed-Equilibrium 框架平衡临床联邦学习公平与效率
联邦学习在多中心临床网络中面临「知识主导」问题，即数据量大的中心压制少数社区节点，将其独特临床模式视为异常。作者提出 Fed-Equilibrium 框架，通过两阶段梯度控制级联实现从简单防御到拓扑均衡的范式升级：第一阶段用余弦相似度漏斗过滤恶意噪声，第二阶段通过识别最优帕累托拐点主动调节贡献。在…
arXiv cs.LG48 天前
★ 3
关系过正则化：基于图神经网络的AI文本检测新方法
该研究提出关系过正则化（ROR）概念，利用句子间转换方差偏差检测AI生成文本。提出的CSFG图框架编码位置、顺序、语义和转换偏差信号，在二元检测中达到97.14%的准确率，优于最强基线11.14个百分点，且对未见LLM具有鲁棒性。
arXiv cs.AI65 天前
★ 3
可解释AI鲁棒性与保真度审计的形式化方法框架
该研究构建审计协议，测量事后解释器的鲁棒性和保真度，并组合为信任分数。在马达加斯加多部门数据集上的实验表明，AUC超过0.99的模型可能产生数值退化或无信息的解释，且过拟合时保真度分数失去区分力，凸显审计XAI输出的必要性。
arXiv cs.AI67 天前
★ 2
MCRP 提出：抗改写 LLM 生成文本检测新方法
针对 LLM 输出常被改写、润色、扩写后削弱检测线索的问题，论文提出 MCRP 冻结 LLM 探测框架，通过引入、移除或替换语义匹配条件，比较 token 损失与注意力耦合，再训练轻量随机森林分类器。在改写、润色、扩写场景下达到 93.97% F1 与 96.24% ROC-AUC，分别领先最强基…
arXiv NLP2 天前
★ 2
MERP：潜在瓶颈框架实现鲁棒多模态多标签情绪识别
论文提出多模态情绪识别感知器 MERP，将联合序列映射到固定大小潜在库，使推理与原始输入长度解耦，并通过正负类原型、噪声门控特征增强与置信度感知融合提升鲁棒性。在 20% 测试时模态随机缺失下，CMU-MOSEI 与 M3ED 的 micro-F1 分别达 0.563 和 0.780，均超过最强基…
arXiv cs.AI10 天前
★ 2
MinMax Attack：安全多智能体强化学习脆弱性分析
论文研究针对安全多智能体强化学习（SMARL）的推理时观测攻击，提出 MinMax Attack 框架，联合选择被攻陷智能体的对抗目标动作并考虑良性智能体的协同抵抗。实验显示该攻击在保持任务奖励的同时显著提高安全代价，兼具有效性与隐蔽性。
arXiv cs.AI11 天前
★ 2
MAMath-Bench 发布：评测多智能体多模态数学推理过程
研究团队推出 MAMath-Bench，含 1003 道题、覆盖 11 个数学类别与文本/图像/音频多模态，并带细粒度里程碑标注，从答案正确性、推理过程可靠性与抗扰动鲁棒性三维度评测多智能体系统。结论显示多智能体协作并不稳定提升最终答案准确率，虽能扩大中间推理覆盖但带来冗余，且系统对细微结构扰动仍…
arXiv cs.AI11 天前
★ 2
研究揭示像素语言模型下游适配瓶颈与鲁棒性权衡
论文系统考察像素语言模型在微调行为、排版鲁棒性与零样本跨语言迁移上的表现。结果显示像素模型需要更长训练与更多标注数据，适配更不可靠，但成功适配后在排版噪声下精度损失更小，跨语言基准上目标语言准确率更高。核心权衡在于：以渲染替代分词降低了对损坏与陌生输入的敏感性，却把瓶颈转移到下游适配。
arXiv NLP12 天前
★ 2
表格数据上的类型化决策模型
论文研究类型化决策模型（返回每个答案概率而非生成文本的语言模型）在表格数据上的表现，比较四种决策模型与三种大语言模型。决策模型以更低成本达到与 LLM 相当的性能，且对问题表述更稳健。但所有模型对表格组织方式都不稳健，至少三分之一的决策在重写下会改变。
arXiv NLP17 天前
★ 2
重心锚定权重搜索：无需梯度训练的模型合并新方法
论文提出 Barycentric Anchored Search，一种后处理权重空间方法，仅用两个微调检查点即可提升视觉模型在分布偏移下的鲁棒性，无需额外梯度训练或增加推理成本。方法受 Nelder-Mead 等无导数优化启发，在 CLIP ViT-B/32 上于 ImageNet-A/R/Ske…
arXiv cs.LG18 天前
★ 2
MADS：多智能体对话模拟提升对话智能体鲁棒性
研究人员提出 MADS（多智能体对话模拟），一种合成数据生成流水线，可注入对抗性对话并生成结构化、多样化的对话轨迹，覆盖真实场景中的失败路径。基于 MADS 构建了 MADS-Bench 基准，涵盖六个领域、55 种人格和 1095 段对话，其中约 66% 包含易失败场景。研究采用监督微调（SFT…
arXiv NLP20 天前
★ 2
perturber：语义保持文本扰动无状态服务发布
研究者发布 perturber，一个无状态服务与 Python 库，每次调用只施加一种语义保持扰动，内置 68 种扰动、覆盖 11 个家族。该工具旨在解决 LLM 评测中干净基准高估鲁棒性的问题，让扰动可复现、可组合，并附带实时 playground 与可内省目录。
arXiv NLP20 天前
★ 2
TypedBench 发布：评估类型化决策模型的校准与成本
研究者提出 TypedBench，一个面向 System One 类型化决策模型（如 Jev）的评测基准，覆盖策略遵循、措辞敏感性与概率质量。评测显示托管模型虽遵循策略但对措辞敏感且系统性欠自信，在非对称成本下其概率反而不如直接取最高答案；开源解码器路由精确但随选项增多变慢。该工作强调类型化决策模…
arXiv cs.AI23 天前
★ 2
时间序列预测基准需场景化压力测试
论文指出当前时间序列预测评测过于狭窄：标准基准只看留出误差，鲁棒性研究多把失败简化为高斯噪声或随机掩码，掩盖了真实部署中的失效模式。作者主张采用场景化压力测试，每个测试实例应包含历史输入、未来目标、语义场景、显式失效算子与可度量难度。随着 TSF 基础模型兴起，这一评测缺口更加紧迫。
arXiv cs.AI27 天前