★ 2
Mistrial 开源工具：重跑 LLM 评审检测判定翻转
开发者发布开源工具 Mistrial，可对同一批评测用例多次重跑 LLM 评审，跨不同评审模型与评分标准措辞，输出自一致性、翻转案例、kappa/alpha 一致性等可靠性报告。作者指出单次评测只是噪声过程的一次采样，并用 GPT-5.4-nano 等实例展示同一答案判定反复变化。
Hacker News – LLM6 天前
#AI 工程
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究：确定性 LLM 推理未能让流水线变确定性
ctgt.ai 发布研究文章，指出即使采用确定性 LLM 推理（deterministic inference），整个数据处理流水线仍无法保证确定性输出。文章分析了推理层之外的系统因素如何引入不确定性，对构建可靠 AI 系统具有参考意义。
Hacker News – LLM11 天前
★ 2
Benchy：面向任务型 AI 基准的通用语言
论文提出 Benchy，一种用于 AI 程序评测的语义语言与执行引擎。基准被形式化为程序、评分函数与数据集的组合，与受测 AI 系统解耦；基准以规范 YAML 编写，经确定性编译为规范 JSON 中间表示后执行。该设计通过统一运行时契约隔离集成细节，避免工程实现污染基准语义。
arXiv cs.AI35 天前
★ 2
OpenSpec：轻量可配置的 AI 规范框架
OpenSpec 是一个轻量且可配置的 AI 规范框架，在 Hacker News 上获得 94 分热度与 37 条评论。该工具旨在为 AI 开发提供结构化的规范定义方式，具体功能与定位在讨论中引发关注。
Hacker News46 天前