★ 3
BENCHCOMPASS：支付领域大模型评测基准
论文推出 BENCHCOMPASS，一个支付领域基准，通过类型化证据包构建场景化任务，并加入攻击变体与专家审核。评测覆盖 16 个模型变体，揭示三类失败模式：支付规则知识缺失、证据推理不完整、无法拒绝看似合理但无效的流程。基准尚未饱和，最强前沿模型在攻击输入下仅 81.7%，32B 开源模型仅 4…
arXiv cs.AI46 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文推出 BENCHCOMPASS，一个支付领域基准，通过类型化证据包构建场景化任务，并加入攻击变体与专家审核。评测覆盖 16 个模型变体，揭示三类失败模式：支付规则知识缺失、证据推理不完整、无法拒绝看似合理但无效的流程。基准尚未饱和，最强前沿模型在攻击输入下仅 81.7%，32B 开源模型仅 4…