★ 4
论文：语言不足以支撑定量推理，需大型定量模型
论文指出，语言是人类描述的产物，而描述是对定量记录的有损编码，且损失不可逆，任何规模的下游模型都无法从描述中恢复未编码的信息。作者认为风险定价、资本配置、患者分诊等关键场景还要求可复现性、从输出回溯到源记录的谱系以及校准的不确定性，这些是语言基底无法提供的。据此提出「大定量模型」（LQM）这一独立…
arXiv cs.AI49 天前
#可复现性
共 42 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
模型退役威胁生物医学AI研究可复现性
研究分析2022至2026年生物医学文献，发现42%的论文使用的大语言模型在发表时已退役或将在两年内退役，中位间隔仅538天。商业闭源模型的频繁弃用导致大量研究面临计算不可复现风险，呼吁将模型弃用视为核心报告和保存问题。
arXiv cs.AI56 天前
★ 3
研究提出模型衍生测量值的校正与比较新规则
arXiv 论文指出由模型计算出的难度分、基准领先幅度等数值会随随机种子与提示变化。作者证明教科书式信度校正的均方误差为无穷大，并提出仅在两项信度通过显著性检验时才校正、再除以上置信界的规则。研究还显示提示设置可反转模型排名，ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 的差距在…
arXiv cs.LG3 天前
★ 3
研究受控评估五个 EEG 基础模型：随机初始化常追平预训练
论文在统一协议下评估五个公开 EEG 基础模型与一个自研 JEPA 风格模型，加入未训练编码器、频谱特征与验证集选层三项对照。结果显示随机初始化在睡眠与情绪任务上追平或超过半数模型的预训练效果，且无模型能胜过五频段对数功率基线。
arXiv cs.LG7 天前
★ 3
研究揭示编码智能体基准的「规范-测试」鸿沟
论文指出编码智能体基准常用自然语言描述任务、却用上游项目测试评分，通过测试需要描述中未给出的常量名、模块路径等信息，称为规范-测试鸿沟。作者构建五语言静态审计工具（精确率 89.2%、召回 92.9%），在 SWE-Milestone 上发现 98 个里程碑中 25 个存在此类依赖，含依赖单元失败…
arXiv NLP10 天前
★ 3
ARATest：用属性测试核查 AI 智能体的科研主张
论文提出 ARATest，一个基于属性的测试库，把论文中的经验主张抽象为可执行的性质骨架并绑定证据。测试采用三值语义给出成立、违反或不确定三种判定，每次违反都附带可重放证据。在 33 份智能体科研产物的 243 条主张中，54 条完成忠实声明，其中 8 条被违反，两处违反暴露了作者确认的已发表论文…
arXiv cs.AI10 天前
★ 3
研究质疑 GraphLLM 节点分类增益：简单基线仅差 2.3 个百分点
该 arXiv 论文复现三项近期研究的分割设置，用仅依赖验证集调参的 Correct & Smooth 与 MLP 基线对比 GraphLLM 报告的最佳结果，中位差距仅 2.3 与 2.8 个百分点。作者同时指出测试集调参、测试池节点标签泄漏、基线数字未披露复用、Cora 加载器文本标签错位等评…
arXiv cs.LG11 天前
★ 3
论文：生成模型记忆审计缺零分布致误判
论文指出当前生成模型记忆审计普遍直接比对相似度阈值而缺乏零分布，导致结论可能出错。作者提出两种零假设：整体模型层面用置换检验，单图层面用匹配对照校准。在MemBench上以5%错误发现率认证61张图中的36张，并推荐交集欧拉特征谱的小尺度质量作为统计量。
arXiv cs.LG31 天前
★ 3
Terminal-Bench 任务难度真伪之辨
论文基于 Terminal-Bench 3 / Frontier-Bench 0.1 的冻结生产记录（1081 个 PR、639 个计分任务、28801 次试验、约 10.6 万美元智能体开销），审视全失败任务究竟证明了什么。在 125 个无诚实通过的任务中，仅 78 个通过有效性筛查成为认证未解…
arXiv cs.LG39 天前
★ 3
CleanScore：带负对照与敏感度边界的黑盒基准审计
论文提出 CleanScore，仅凭模型打分输出即可审计基准分数中技能与题目暴露的占比，通过公开题、两个独立改写题及私有负对照库给出优势区间而非简单结论。对五个开源模型在 GSM8K 与 ARC-Challenge 上的注册审计未发现暴露一致优势，表面形式膨胀低于 5 分。但阳性对照显示，植入泄漏…
arXiv cs.LG41 天前
★ 3
将研究论文重塑为可交互且可靠的AI智能体
Nature刊文提出把科研论文转化为可交互、可验证的AI智能体，使读者能直接运行论文中的方法与实验。该思路有望提升研究可复现性，并改变学术成果的传播与使用方式。
Hacker News – AI45 天前
★ 3
重新审视健康AI方法学进展的评估方式
研究在统一评估框架下重实现12种新旧算法，并在MIMIC-IV与NWICU两个临床数据集上对比专家设计的临床任务与随机生成任务。结果显示聚合式两两比较在不同任务族与数据集间迁移性强，但临床任务存在更强的任务-方法交互。值得注意的是，新算法并未稳定优于旧方法，梯度提升树配合现代稀疏表示仍极具竞争力。
arXiv cs.LG46 天前
★ 3
AutoTuneBench：LLM 服务引擎自动调优的可信度量
论文指出 LLM 智能体调优 GPU 内核与服务引擎的闭环测量不可信，归纳出稻草人基线、绝对时间不可迁移、任务饱和、基础设施缺陷四类失败模式。作者提出 AutoTuneBench 基准与测量协议，通过代码冻结、数据库校验、反作弊与预注册读数使可信度架构化。诚实测量大幅改写结论：最佳内核相对朴素基线…
arXiv cs.AI46 天前
★ 3
TuiML：面向AI智能体的机器学习库
研究者推出TuiML，一个为AI智能体原生设计的自包含机器学习库，覆盖监督、无监督、时序、数据处理、调参与评估任务。每个组件通过机器可读元数据与参数模式自我描述，智能体可搜索、检查、组合并注册工作流，所有调用均被验证、设种子与追踪，会话可导出为可运行notebook。
arXiv cs.AI46 天前
★ 3
从16万次训练中汲取策略学习经验
论文对离线强化与模仿学习开展大规模实证研究，跨114个数据集训练超过16万个策略。结果显示没有算法全面占优，超参数调优常重排算法排名，基准组成可产生矛盾结论。作者据此开发数据集条件推荐器，并发布JumpStart资源套件，包含全部策略、分数、超参数、基线、代码与可扩展网站，旨在提升离线策略学习研究…
arXiv cs.LG48 天前
★ 3
LabAgent：用AI智能体定制科研实验室
针对实验室人员流动导致方法难以复现的问题，研究者提出 LabAgent，一个面向实验室持续工作的复现与发现框架。它通过两种机制确保技能可执行可验证，并记录纠错方法与经验，从而避免重复错误。在药物性质预测、生物医学问题分析、蛋白质变体效应预测和统计遗传学等任务中，LabAgent 均优于商业通用智能…
arXiv cs.AI48 天前
★ 3
复现并评估开源权重模型中潜意识学习泛化性
本文复现潜意识学习研究——蒸馏中教师模型通过语义无关数据传递行为偏好特征。作者在动物偏好与失准两类特征、三种数据模态基础上，扩展了演员与政治人物偏好、国际象棋走子任务及 Ministral8B 模型，并对数字任务答案空间做消融。复现支持原论文结论，但扩展实验表明该现象并非普遍：传递强度随特征与任务…
arXiv cs.AI49 天前
★ 3
影响力数据扰动能否实现机器遗忘：三种角色受控研究
论文系统评估深度扰动学习（DPL）在机器遗忘中的三种角色，发现其公开实现存在图像方向计算与标签扰动两处正确性问题。修正后DPL在CIFAR-10/ResNet-18上未通过直接删除判据，效用效果跨种子不一致，且计入方向计算时间后不如简单热启动基线。作者发布角色匹配评估协议与审计清单。
arXiv cs.AI49 天前
★ 3
研究用私有测试集隔离智能体编程中的框架效应
论文通过私有、抗污染的256项任务套件，对比同一模型在不同智能体框架下的表现，检验厂商原生框架是否更优。结果显示Claude Opus 4.8与GPT-5.5在原生与中立框架间均无显著平均优势，且Opus在不同任务分层上呈现相反趋势。研究还发现中立框架每解决一题成本更高，并修正了此前因遥测缺陷导致…
arXiv cs.AI49 天前
★ 3
Benchmark Radar：AI基准与评估的活数据库搜索引擎
论文推出Benchmark Radar，一个面向AI基准检索与发现的活数据库与搜索引擎，覆盖LLM评估、智能体与工具使用、编码、推理、安全及领域评估。系统结合每日发现与可搜索目录、模型卡提及与分数历史，保留来源与引用。目录含1283条来源记录与12916条数值观测，并发布网页仪表盘、排行榜与CLI。
arXiv cs.AI51 天前
★ 3
AI智能体定义综述：标准、指标与基准汇编
AI领域智能体一词缺乏统一定义，导致评估、比较与复现困难。论文围绕环境交互、学习适应、自主性、目标导向行为与时间一致性五个维度组织综述，梳理各维度的指标、基准与评估框架。同时推出公开数字资源Agent Compendium，为跨系统比较智能体能力提供共同结构。
arXiv cs.AI51 天前
★ 3
研究：神经符号AI文献仅6.5%可复现
研究提出六阶段审计框架，并应用于神经符号AI子领域。审计发现仅6.5%的研究可从已发表工件复现，大量复现被缺失的非代码工件或代码库阻塞。建议强制要求完整、版本化且永久存档的工件包。
arXiv cs.AI66 天前
★ 2
研究者用 AI 复核 Saez 与 Zucman 的不平等研究
一项项目用 AI 对经济学家 Emmanuel Saez 与 Gabriel Zucman 的财富不平等研究进行审查与复现。该尝试检验 AI 辅助学术复核的可行性。结果涉及对原始数据处理与结论稳健性的讨论。
Hacker News – AI2 天前
★ 2
研究提出可复现评测框架，用于生产智能体的提示压缩
一篇 arXiv 论文提出面向生产对话智能体的离线可复现评测框架，可在后端数据变化后按需重新生成基准。作者将该框架作为 GEPA 提示优化的适应度函数，并加入正确性门控防止奖励作弊。在商户侧生产智能体上，正确性门控压缩使提示面缩小 3.5%-7.6% 且不损害留出任务正确率。
arXiv cs.AI7 天前
★ 2
作者参与式智能体复现审计：36 篇机器学习会议论文实测
研究提出作者参与的协作式复现审计流程，把作者声明作为 AI 智能体调查与评估的显式输入，通过结构化清单与 GitHub 两阶段工作流连接智能体检查与作者澄清。系统部署于 36 篇会议论文、133 个实验图表，经人工复核提出 20 个问题并全部关闭。
arXiv cs.AI13 天前
★ 2
研究者推动 AI 基准测试走向科学化
《Quanta Magazine》报道一位研究者致力于让 AI 基准测试成为严谨科学而非「玄学」，聚焦评测方法的可复现性与可靠性问题。该话题在 Hacker News 上关注度较低。
Hacker News – AI14 天前
★ 2
可复现对偶赌博机算法研究：首次实现次线性遗憾
该论文研究可复现对偶赌博机问题，要求两次共享内部随机性的执行在每轮以至少 1-ρ 概率选择相同的有序臂对。作者基于 Beat-the-Mean 方法，首次设计出具有次线性遗憾的可复现算法，并在松弛随机传递性和强随机传递性下分别给出遗憾界。实验在合成偏好和语言模型偏好上验证了可复现性与次线性遗憾。
arXiv cs.LG17 天前
★ 2
GitHub 开源 awesome-ai-research-tools 科研 AI 工具清单
开发者 Mahmoud Sajjadi 在 GitHub 发布 awesome-ai-research-tools，按文献发现、LaTeX 写作、可复现性与自主研究智能体三个层级整理 AI 科研工具。清单涵盖 Consensus、Elicit、Semantic Scholar、Overleaf、W…
Hacker News – AI17 天前
★ 2
Viridian 复现 LLM 评判位置偏差：证据不足
Viridian 发布技术说明，尝试复现成对 LLM 评判中的响应顺序敏感性。在 GPT-5.6 Sol 评判配置下，20 组对比中仅 1 组出现第二位置偏好，5% 的切换率置信区间过宽，无法证实存在系统性位置偏差，也无法证明模型完全位置稳健。
Hacker News – LLM25 天前
★ 2
教育领域 AI 研究报告框架 RAISE
英国教育研究协会（BERA）发布 RAISE 框架，用于规范教育领域 AI 研究的报告方式，提升研究可信度与可复现性。属于学术规范层面的倡议，影响范围有限。
Hacker News – AI27 天前