★ 3
Meta 爬虫致小企业网站崩溃,站主被迫打地鼠式封禁
多位小型网站主反映 Meta 的 Meta-ExternalAgent 与 Meta-WebIndexer 爬虫陷入循环抓取,导致 CPU 打满、网站宕机。Meta 称这些爬虫用于训练基础模型与提升 Meta AI 搜索质量,但站主指出缺乏保护机制,robots.txt 与防火墙均难以奏效。
快公司11 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
多位小型网站主反映 Meta 的 Meta-ExternalAgent 与 Meta-WebIndexer 爬虫陷入循环抓取,导致 CPU 打满、网站宕机。Meta 称这些爬虫用于训练基础模型与提升 Meta AI 搜索质量,但站主指出缺乏保护机制,robots.txt 与防火墙均难以奏效。