AI幻觉误报中国核部件险致美军行动
有报道称,AI系统对中国核相关部件的幻觉性识别,几乎导致美军对一艘中国船只采取登船行动。该事件凸显AI在高风险军事决策中的可靠性风险,一旦误判可能引发严重外交与安全后果。
共 12 篇相关资讯,按重要度与时间排序,每 3 小时更新。
有报道称,AI系统对中国核相关部件的幻觉性识别,几乎导致美军对一艘中国船只采取登船行动。该事件凸显AI在高风险军事决策中的可靠性风险,一旦误判可能引发严重外交与安全后果。
一起AI幻觉事件几乎导致美国军方采取实际行动,GovAI研究学者警告称,军人需要理解大语言模型固有的不确定性。该事件凸显出将LLM用于军事决策场景时的严重风险。
美国军方在使用AI生成情报报告时遭遇严重幻觉,一份关于中国舰船的虚假情报引发军事误判风险。该事件凸显了将大语言模型用于高 stakes 军事决策的可靠性隐患,也引发了对AI在国防领域部署边界的讨论。
美国一家联邦上诉法院将一名地区法官从案件中撤出,原因是该法官在审理中使用了存在错误的AI生成内容。这一裁定凸显司法系统对AI工具可靠性的担忧,也为法院使用AI辅助起草文书划定了责任边界。
生成式AI普及后,餐厅和零售员工遇到越来越多顾客用ChatGPT的说法反驳专业建议,甚至无视过敏警告或点不存在的酒。AI幻觉加剧了顾客与服务人员之间的冲突,成为客服岗位的新困扰。
Factlabel 为 AI 生成内容提供类似营养标签的核查机制,比对 AI 代理所写内容与真实数据,拦截不实陈述。系统采用代码确定性校验与并行 LLM 审计矩阵分层设计,强调数字正确性由代码而非模型判定。该工具针对 AI 代理撰写财报、简报时常见的数字与叙事脱节问题。
金融时报报道,测试显示AI聊天机器人在回答金融查询时“大多数时候”给出错误答案。该结果对将聊天机器人用于理财咨询、投资决策的可靠性提出警示。凸显大模型在高准确性要求领域的幻觉与事实性问题。
Vice 报道了一个奇特现象:多个 AI 聊天机器人都对一位名为 Elias Thorne 的虚构人物表现出异常关注。文章追溯该名字在训练数据与模型输出中的传播路径,揭示大模型幻觉与数据污染的连锁效应。
一个拥有超过百万活跃用户的浏览器扩展因 AI 幻觉被错误标记为恶意软件,引发开发者社区关注。该事件凸显了 AI 在安全检测中的误判风险,以及自动化审核对开发者生态的潜在影响。
新墨西哥州最高法院对律师Stephen Aarons处以5000美元罚款并判其藐视法庭,因其在谋杀案上诉状中使用ChatGPT生成的内容,其中包含完全虚构的证人和虚假警方证词。法官质问其是否关注新闻,指出律师依赖AI幻觉已是每日头条问题。此案凸显法律行业使用AI工具带来的执业风险与监管压力。
一名律师提交的上诉材料中充斥AI生成的虚假证人,遭法官当庭嘲讽。该事件是AI幻觉在司法场景中引发严重后果的最新案例,凸显法律行业使用生成式AI时缺乏核验机制的风险。
一篇虚构作品记录了谷歌AI Overview生成内容中凭空捏造出一个不存在的“螃蟹团队”,成为AI幻觉的又一趣味案例。该内容以小说形式呈现,凸显生成式搜索摘要的可靠性问题。