18600 次实验揭示深度学习性能分布与尾部风险差异
研究对图像分类与时间序列预测架构开展 186 组实验、每组 100 个随机种子共 18,600 次运行,量化性能分布的离散度、对称性与尾部风险。结果显示性能分布常非高斯,时间序列模型的欠佳离群点约为图像分类的三倍,平均性能无法预测鲁棒性。作者建议模型选择应评估分布而非仅看均值。
共 8 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究对图像分类与时间序列预测架构开展 186 组实验、每组 100 个随机种子共 18,600 次运行,量化性能分布的离散度、对称性与尾部风险。结果显示性能分布常非高斯,时间序列模型的欠佳离群点约为图像分类的三倍,平均性能无法预测鲁棒性。作者建议模型选择应评估分布而非仅看均值。
论文介绍数字助手 Lighthouse,用于探索美国民权时期尤其是南卡罗来纳州的历史资料。系统以内容可信与降低生成答案潜在伤害为设计原则,采用神经符号方法结合大语言模型与规则符号求解。系统接入逾 1.8 万份一手资料,并用客观题与专家聚合的主观题数据集进行评估。
文章主张在部署 AI 智能体时应采用「不信任、持续验证」的原则,强调对其行为进行实时校验与审计。这呼应了智能体自主性提升带来的安全与可控性担忧。
Hacker News 分享一篇 arXiv 论文,主题是大语言模型的置信度与不确定性表达问题,即模型自述「确定」时是否真的可靠。该方向关系到模型幻觉抑制与高风险场景下的可信部署。目前讨论热度较低。
AdaCore 发布博客介绍 GNAT Foundry 与形式化证明结合,用于验证 AI 生成代码的可信度。目标是让 AI 辅助开发的代码具备确定性信任与形式化保证。
论文通过系统性文献综述与 128 名从业者评估,提出 AI 鲁棒性审计框架应支持的元需求集合。最终形成覆盖 16 个类别的 44 项元需求,其中 43 项获定量验证,81.2% 的评分表示同意或强烈同意,可帮助组织评估与完善鲁棒性审计框架。
Viaknox 博客发布文章,讨论当 AI 声称任务「已完成」时,如何要求其提供可验证的证据。文章聚焦 AI 智能体执行结果的验证与可信度问题,面向工程实践。
论文指出 AI 目前仅用于铁路非安全关键场景,受严格标准与法规限制。作者提出提升信任并实现合规的三个核心领域:鲁棒性(ISO24029)、运行设计域 ODD(DIN DKE SPEC 99004)与可解释性。研究强调需要系统视角,在安全 MLOps 环境中让各项可信要求持续交互,从而推动监管方、运…