★ 3
研究称 LLM 事件预测瓶颈在接口设计
论文提出 DescribeEvent 基准,涵盖七个数据集、六个领域约 15 万个事件,为每个事件提供自然语言描述并分离事件语义与预测空间。实验表明能力较强的 LLM 借助描述和符号标签可显著提升事件预测表现,超过无描述版本和非 LLM 基线,说明问题在于接口而非知识不可及。
arXiv NLP18 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 DescribeEvent 基准,涵盖七个数据集、六个领域约 15 万个事件,为每个事件提供自然语言描述并分离事件语义与预测空间。实验表明能力较强的 LLM 借助描述和符号标签可显著提升事件预测表现,超过无描述版本和非 LLM 基线,说明问题在于接口而非知识不可及。
知名工程师 Dan Luu 发表长文,讨论智能体编码(agentic coding)的测试流程、LLM 基准评测方法及其他相关笔记。文章在 Hacker News 引发讨论,聚焦如何评估 AI 编码智能体的真实能力。