★ 4
arXiv 评测 GPT-6 Astra、Claude Opus 5.5 等预测 ML 实验效果
论文构建 288 条 LLM 提出的 ML 实验想法数据集，让 GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3、GLM-5.3 预测训练结果。结果显示最佳模型 Claude Opus 5.5 仅解释一半方差（R²=0.49），所有模型系统性…
arXiv cs.LG13 天前
#大模型评测
共 23 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：GPT-6.1 Sol 与 Claude Opus 5.5 概率判断最符合全概率定律
一篇 arXiv 论文测试七个前沿语言模型在零样本条件下，其概率判断是否满足全概率定律与后门调整等因果一致性要求。结果显示 GPT-6.1 Sol 与 Claude Opus 5.5 最一致（平均绝对残差约 0.08 与 0.12 log-odds），而 Claude Haiku 5.5、Gemi…
arXiv NLP6 天前
★ 3
研究：LLM 多实例处理存在顺序偏差，准确率相差 90 个百分点
一篇 arXiv 论文提出多实例处理（MIP）任务，要求大模型对一组独立输入逐条打标签并统计出现最多的标签，正确答案本应与输入顺序无关。作者用 15 个模型、5 个数据集和 7 种顺序模式测试，发现最好与最差顺序下准确率相差约 90 个百分点，多数标签实例排在开头时表现最好。推理轨迹与梯度归因显示…
arXiv cs.AI10 天前
★ 3
研究揭示大模型位置偏见：推理模型几乎免疫
一篇 arXiv 论文系统研究了大语言模型的位置偏见，覆盖十亿到万亿参数规模、五种语言的多选题与多文档任务。结果显示小模型和非英语语言偏见明显，扩大模型规模与使用思维链提示可显著缓解，而具备长推理能力的思考模型几乎不受位置偏见影响。
arXiv NLP13 天前
★ 3
arXiv 论文：推理轨迹与证据冲突时，答案配置决定模型是否遵循证据
该 arXiv 论文研究推理轨迹在答案生成时的双重作用：既能提升准确率，也会与当前证据竞争。作者在 gpt-oss、Gemma4、Qwen3 三个模型家族上，用 HotpotQA 和 MuSiQue 数据集对比「延续模型自身思考」与「单独答案调用」两种配置，发现单独调用使证据遵循率提升 29.9 …
arXiv cs.AI16 天前
★ 3
CoBe 基准发布：评测对话式反事实文本编辑能力
研究者提出 CoBe 基准，用于测试模型在对话式自然提示下对给定文本场景进行反事实编辑的零样本能力。CoBe 包含 2000 道覆盖医疗、科学与工程、商业及日常场景的问题，前沿模型平均得分仅 58.05%。结果显示模型常退化为关联式生成而非保留原场景的因果结构，且性能不随模型规模或输出长度稳定提升…
arXiv NLP20 天前
★ 3
DistressBench 发布：评估大模型自杀自残危机支持能力
研究者发布 DistressBench，包含 718 段由临床医生撰写用户话轮的英文对话，覆盖 23 个自杀与自残（SSH）子类别，并用七维度加权评分标准评估模型提供的危机支持。25 个前沿模型中最优者满足 88.4% 的加权标准，中位模型为 71.4%，而临床医生参考回答为 98.7%。在模型识…
arXiv NLP20 天前
★ 3
MathVis 基准发布：GPT-6-Astra 等模型图解数学推理通过率仅三成
论文推出 MathVis 基准，含512个数学可视化任务，要求模型生成 TikZ/SVG 图形辅助推理。GPT-6-Astra、Claude Fable 5、Gemini 3.1 Pro Preview 的 pass@1 分别为31.25%、26.56%、22.85%。研究发现模型输出偏向形式语言…
arXiv cs.AI20 天前
★ 3
InsClaimBench 评测大模型保险理赔裁决
研究发布 InsClaimBench，一个覆盖决策链的端到端保险理赔裁决基准，基于真实理赔材料与结构化保险规则，含车险、财产险、健康险 3780 个案例、86656 条原子规则判断。评测六个 LLM 发现可靠性沿决策链逐步衰减：赔付决策准确率 74%–80%，但决策与金额联合准确率降至 47%–7…
arXiv NLP24 天前
★ 3
RELATE 框架评测大模型情感支持的关系导向
研究提出「关系导向」概念，区分把 AI 当作持续支持来源的「内向型」语言与鼓励现实人际连接的「外向脚手架」语言，并发布 RELATE 评测框架。实验对 7 个 LLM 生成 1596 段对话、69194 句助手回复进行句级打分，发现第六轮回复的内向型比例高于第一轮，且对犹豫型用户的外向脚手架语言明…
arXiv NLP24 天前
★ 3
HN 讨论：前沿模型物理能力究竟如何
一项讨论评估了当前前沿大模型在物理学问题上的能力表现，在Hacker News获得41分与14条评论。该话题关乎大模型在科学推理与专业领域中的真实水平，对判断AI能否胜任科研辅助具有参考意义。
Hacker News46 天前
★ 3
B 站 AI 无限竞技场上线，GPT-6 居首期榜单榜首
9 月 16 日，B 站「AI 无限竞技场」正式上线，首期大模型测评榜单同步公布，全球百大 AI 模型同场竞技，GPT-6 高居榜首。该平台以社区化评测方式对主流大模型进行横向对比，为中文用户提供参考。
量子位46 天前
★ 3
DAS2：模拟不投入学生以评估 LLM 辅导系统
论文提出 DAS2 框架，模拟参与、投机取巧、原地打转、走神与混合五种学习参与状态，用于部署前评估 AI 辅导系统。基于 ASSISTments09 数据，两名标注者一致性达 84%，与规则标签匹配率 81%。以目标状态为条件可将模拟与真实会话的正确率差距从 0.54 降至 0.20。对 Clau…
arXiv cs.LG48 天前
★ 2
研究：自我奖励式道德论证让大模型更果断却更易被左右
研究者用自我评判的强化学习训练大模型进行道德论证，奖励论证质量。在 MoralChoice、ELEPHANT、MORABLES 基准上，模型变得更果断且对选项顺序不敏感，但谄媚与重新框定问题仍损害判断有效性。作者结论是：一致性不等于有效性，顺序不变性可被优化而不提升道德判断。
arXiv NLP9 天前
★ 2
IronBee 发布 LLM 代码审查基准：21 个模型 7980 次评审
IronBee 发布 LLM 代码审查基准测试，覆盖 21 个模型、共 7980 次代码评审，旨在评估大模型在代码审查任务中的真实表现。
Hacker News – LLM12 天前
★ 2
研究称大模型写诗存在「创意模式坍缩」
研究对 15 种诗歌形式、248 个主题标签、16 个开源模型生成超 110 万首诗，构建迄今最大 LLM 诗歌语料库。发现大模型虽具备丰富诗歌词汇与押韵能力，却严重依赖少量词汇、开头短语和韵脚，呈现「懒惰诗人」式的词汇同质化，且押韵词汇量与模型规模相关。
arXiv NLP12 天前
★ 2
GardenBench 发布：11 套测试每日评测大模型能力
研究者提出 GardenBench，包含 11 个测试套件，用轻量查询每日评测大模型在通用任务上的表现，并记录成本与耗时。该基准通过实时仪表盘公开结果，可捕捉模型上线后变更或新版本发布带来的性能波动与退化。
arXiv cs.AI12 天前
★ 2
BeliefScope：区分大模型证据修正与用户压力转向
研究者提出 BeliefScope，一个黑盒受控框架，用于区分大模型改变判断是源于真实相关证据，还是源于不包含新事实的用户方向性压力。该框架交叉组合证据与压力因素，通过概率报告、类别判断和行动建议等渠道测量响应变化，并在 Qwen/Llama 共 36 个模型家族及 Gemma3-12B 上验证。…
arXiv NLP23 天前
★ 2
3JSBench：评估大模型生成3D对象的基准
研究者发布3JSBench，一个专门评测大语言模型生成3D对象能力的基准测试。该基准旨在量化LLM在三维内容生成任务上的表现，为多模态与3D生成研究提供统一评测标准。
Hacker News – LLM24 天前
★ 2
HieraticBench：AI 能读懂古埃及手写体吗
开发者推出 HieraticBench 基准，用 268 项古埃及僧侣体文献测试大模型识别与翻译能力。结果显示模型在真实文献上识别率可达 95%，但解读单个符号最高仅约 13%，且无法翻译未公开的密封句子。
Hacker News – AI26 天前
★ 2
探测式评测管线重塑大模型评价体系
QCon上海分享提出以“读而非写”为核心思路，构建全自动、可进化的大模型探测式评测管线，试图突破传统静态基准的局限。该方案强调评测的自动化与持续演进能力，为大模型能力评估提供新范式。
InfoQ AI49 天前
★ 1
研究：r/AmITheAsshole 中群体内偏好影响社会评判与共情表达
研究者分析 Reddit r/AmITheAsshole 社区 12.6 万条评论，考察评论者与发帖者性别或年龄相同是否影响其评判与共情表达。结果显示同群体时评论者更倾向给出「不是混蛋」判决，且大模型测得的文本理解度更高；年长评论者行为与年轻者不同。
arXiv NLP10 天前
★ 1
Show HN：测试能否分辨 AI 真实与伪造的30天记忆
Hacker News 上出现一个互动测试，让用户判断 AI 呈现的30天记忆是真实积累还是编造，热度 6 分、暂无评论。话题指向大模型长期记忆的真实性与可信度评估。
Hacker News13 天前