★ 3
IndicBankBench：印度零售银行助手安全可靠性评测
研究团队发布 IndicBankBench，含 799 个印度零售银行场景用例，覆盖五大业务域与二十个评估轴，分安全、工具调用、回复充分性、建议质量四阶段评测。十一个模型严格 pass^3 仅 43.7%–58.2%，而至少一次成功率高达 60%–74%，说明后者会高估银行场景的可靠行为。团队开源…
arXiv cs.AI38 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究团队发布 IndicBankBench，含 799 个印度零售银行场景用例，覆盖五大业务域与二十个评估轴，分安全、工具调用、回复充分性、建议质量四阶段评测。十一个模型严格 pass^3 仅 43.7%–58.2%，而至少一次成功率高达 60%–74%，说明后者会高估银行场景的可靠行为。团队开源…
论文提出 KEX-bench，用于评估编码智能体对真实操作系统内核生成漏洞利用原语的能力，涵盖 40 个 Linux 与 Windows CVE 的 45 个任务。在无参考 PoC 时最强配置仅解决 5% 的 Windows 任务和 56% 的 Linux 任务，有参考 PoC 时提升至 68.9…