★ 3
PersonaChatBench 用多样化模拟用户评测聊天助手
论文提出 PersonaChatBench 评测框架，将同一任务与多个由人设卡驱动的模拟用户配对，考察助手在不同用户条件下的表现变化。研究评测了 20 个语言模型、覆盖六个领域，分别衡量任务结果、人设需求满足度与模拟器保真度。结果显示任务表现强并不必然带来需求满足，模型优势在不同领域间也不一致。
arXiv NLP13 小时前
#LLM评测
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究绘制14767篇LLM评测论文的设计变迁
一篇arXiv论文系统梳理了2022年1月至2026年8月间14767篇LLM评测资源论文，分析评测目标、材料与打分机制的变化。研究发现评测日益强调行动、交互与专业应用，且LLM参与打分持续增长。作者提出疑问：评测扩张究竟带来更独立的证据，还是复制了参与模型的偏好与盲点。
arXiv cs.AI45 天前
★ 3
SemVerBench：LLM 版本约束解析语义理解基准
研究推出SemVerBench，评测LLM编码智能体对^1.2.3、>=2.0等版本约束语义的理解。Cargo的插入符语义（1.2意为>=1.3.0）几乎困住所有模型，接近60%出错；PEP 440前缀匹配普遍可行，但零填充与后发布边界情形下GPT-5.1全错（0/26），Claude保持97-1…
arXiv cs.AI51 天前
★ 2
perturber：语义保持文本扰动无状态服务发布
研究者发布 perturber，一个无状态服务与 Python 库，每次调用只施加一种语义保持扰动，内置 68 种扰动、覆盖 11 个家族。该工具旨在解决 LLM 评测中干净基准高估鲁棒性的问题，让扰动可复现、可组合，并附带实时 playground 与可内省目录。
arXiv NLP21 天前
★ 1
Model Atlas：对比LLM基准测试的工具
Philipp Dubach发布Model Atlas工具，用于对比不同LLM基准测试的能力权重。该工具在Hacker News上被分享，讨论热度较低。
Hacker News – LLM17 天前
★ 1
Show HN：猜LLM游戏，读回答猜哪个模型写的
开发者发布一款名为「Guess the LLM」的网页游戏，让各前沿实验室的模型回答同一问题，用户阅读答案后猜测出自哪个模型，也可自选模型对比。开发者自称只能猜对5/10。
Hacker News – LLM17 天前
这个主题的相关资产
相关公司Anthropic1