★ 4
Khanmigo 两年校内 AI 辅导实验
一项为期两年的学校实验研究了 Khanmigo AI 辅导工具对学生学习的影响，结果发表在 EdWorkingPapers 上。该研究为 AI 在教育场景中的实际效果提供了实证数据，引发关于 AI 辅导能否替代或补充传统教学的讨论。
Hacker News – AI27 天前
#实证研究
共 11 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文实证：智能体接入Jev提速决策未必提升任务成功率
arXiv论文研究高效决策模型Jev接入智能体工作流后的效率转移问题，在ALFWorld与AndroidWorld两类场景、五个智能体、4500次任务执行中评估。结果显示Jev显著降低决策成本与延迟，但任务成功率在移动端智能体明显下降，辅助推理与额外交互吸收了节省，单次成功成本甚至上升。
arXiv cs.AI21 天前
★ 3
研究：AI 辅导 GRE 效果媲美真人
一项 arXiv 研究显示，AI 辅导在 GRE 学习增益上与人类家教效果相当。该结果为大模型在教育场景的规模化应用提供了实证支持。不过研究范围限于 GRE 备考，外推需谨慎。
Hacker News – AI38 天前
★ 3
相似 AI 评审共同出错率超独立预期 7.7 倍
一个名为 Covenant 的开源项目通过实证发现，两个相似的 AI 评审模型同时出错的频率比独立假设预测的高出 7.7 倍。这表明 AI 评审之间存在显著相关性，削弱了「多模型投票」提升可靠性的假设。项目同时公开了其可复现的检查流程与自我纠错记录。
Hacker News – AI42 天前
★ 3
AI 暴露专业毕业生就业受冲击研究
美国人口普查局工作论文分析 AI 暴露程度较高的专业毕业生的劳动力市场表现，发现其就业与薪资受到明显冲击。研究为 AI 对白领初级岗位的替代效应提供了实证证据。
Hacker News – AI47 天前
★ 2
智能体技能下游效用实证研究：87 项任务分析
论文对 87 项 SkillsBench 任务开展实证研究，定义下游效用为同模型同框架下相对无技能基线的通过率差异。研究发现同一技能在 36.78% 任务上帮助部分配置却损害另一些配置，推荐流程可能成为执行负担，相关性排序会忽略更有用的候选。按所需操作支持重排序可将首选通过率提升 4.35-5.8…
arXiv cs.AI25 天前
★ 2
生成式AI学习影响的实验证据
一篇arXiv论文通过实验研究生成式AI对学习效果的影响。研究为AI教育应用提供了实证依据，有助于理解AI辅助学习是提升还是削弱学习成效。
Hacker News – AI31 天前
★ 2
各代AI编程工具的生产力效应研究
一篇SSRN论文系统比较不同代际AI编程工具对开发者生产力的影响，量化其效率提升幅度与差异。研究为评估AI编码助手的实际经济价值提供了实证依据。
Hacker News – AI45 天前
★ 2
研究：AI 同事加入会议可显著提升准确率
一篇 SSRN 论文研究将 AI 协作者引入人类会议后的效果，发现 AI 参与能显著提升团队决策与信息记录的准确率。研究为 AI 在协作场景中的角色定位提供了实证支持。这暗示未来会议工具将更深度集成 AI 智能体。
Hacker News – AI45 天前
★ 2
AI驱动实用英语教材的结构与实现研究
该论文提出由AI驱动的实用英语教材五层架构，包括知识映射、学习者画像等。在186名本科生中测试八周，相比静态数字教材，单元完成准确率提升，口语分数提高，教师批改时间减少。
arXiv cs.AI59 天前
★ 1
工作、福祉与选择：AI未来的实证启示
一篇发表于arXiv的论文探讨工作、福祉与个人选择如何为AI未来发展提供实证经验。该研究从社会科学角度审视AI对劳动与人类福祉的影响，为AI政策与设计提供参考。属学术研究类投稿，讨论热度较低。
Hacker News – AI39 天前