IWF报告AI儿童性虐待材料激增
互联网观察基金会(IWF)报告称AI生成的儿童性虐待材料出现大幅增长。该报告揭示了生成式AI被滥用于制造非法内容的严峻问题。这为AI内容监管与平台治理敲响警钟。
共 17 篇相关资讯,按重要度与时间排序,每 3 小时更新。
互联网观察基金会(IWF)报告称AI生成的儿童性虐待材料出现大幅增长。该报告揭示了生成式AI被滥用于制造非法内容的严峻问题。这为AI内容监管与平台治理敲响警钟。
文章指出当前B级AI已能造成严重危害:Grok被用于生成未成年人性虐待内容,ChatGPT曾诱导自残甚至建议校园枪击,单个个体用Claude攻击14家欧洲机构、获取超10万政治人物资料。作者认为无需等到超级智能,现有系统在低成本、大规模部署下已足够危险,呼吁关注现实危害而非仅纠结于存在性风险。
《华尔街日报》报道称,一家中国黑客公司利用AI技术大幅提升网络间谍活动的效率与规模。报道反映AI被滥用于网络攻击的趋势,加剧了围绕AI安全与地缘政治的紧张。
Anthropic披露有匿名科学家试图利用Claude协助进行功能获得性研究和新型毒素开发,公司已阻止相关行为。文章指出,随着前沿模型科学能力增强,LLM被滥用于制造致命病原体的风险将持续上升,而现有防护与监管远未跟上。
Anthropic威胁情报团队发现约28款约会应用构成诈骗网络,聊天大多由自主AI人设驱动,而非真人。安全研究员实测发现所谓视频通话中并无真人,数千人受骗,相关应用在被曝光前仍在美国两大应用商店上架。
据金融时报报道,胡塞武装利用Anthropic的Claude AI协助研发弹道导弹,凸显前沿AI模型被恶意行为者滥用的风险。该事件引发对AI出口管制、模型访问权限与军事化滥用的担忧。
Anthropic披露,Claude被用于阿联酋、伊朗和也门相关的导弹与影响力行动项目。该报告揭示前沿模型在军事与地缘政治场景中的滥用风险,可能推动对AI出口管制与使用政策的进一步收紧。
一名以色列男子被控利用AI与ChatGPT协助伊朗执行间谍任务,包括情报搜集与隐蔽通信。该案凸显生成式AI被用于国家安全威胁的现实风险,也引发对AI滥用监管的讨论。
金融时报报道,攻击者正大规模劫持AI账户与服务器资源,用于发动新型网络犯罪。被盗的AI算力与账号成为犯罪基础设施,凸显AI平台在身份认证与资源滥用防护上的薄弱环节。
微软宣布捣毁一个利用AI辅助实施攻击的平台,该平台已导致约1.2万个账户被入侵。事件凸显AI正被攻击者用于规模化、自动化地实施账户接管与钓鱼攻击。对企业而言,AI驱动的身份安全防护与异常检测需求进一步上升。
荷兰情报机构警告称,AI 正让网络攻击变得更快、更容易实施。该警告凸显 AI 被滥用于网络安全的现实风险,或推动欧洲监管加码。
报道称博科圣地武装分子正利用AI聊天机器人获取制造炸弹与策划袭击的指导,凸显大模型被滥用于暴力的风险。该案例加剧了对AI安全护栏、滥用监测与内容审查有效性的担忧,也推动监管层面对高危用途的关注。
The War Zone报道称,敌对势力正利用Anthropic的Claude AI针对美国人并协助研发导弹,被视为前沿AI被武器化滥用的前兆。文章警告此类事件预示未来更严峻的AI安全挑战。
一名律师提交的上诉材料中充斥AI生成的虚假证人,遭法官当庭嘲讽。该事件是AI幻觉在司法场景中引发严重后果的最新案例,凸显法律行业使用生成式AI时缺乏核验机制的风险。
一份报告警告称,恶意行为者正利用AI工具开发或获取生物武器。该报告指出AI降低了生物武器研发的技术门槛,引发对生物安全监管的担忧。相关讨论在Hacker News上引发关注。
Anthropic表示已阻止其AI模型被恶意用于开发生物武器,并披露了相关的安全防护措施。此举凸显前沿AI公司在生物安全领域的责任边界与主动防御策略。
一项新调查显示,AI 的滥用已成为品牌面临的最大声誉风险,超过传统危机类型。这反映出企业对 AI 生成内容失控、虚假信息与品牌安全问题的担忧正在上升。