★ 4
谷歌、Anthropic 等支持新的 AI 爬虫退出标准
据 SiliconANGLE 报道，谷歌、Anthropic 等公司表态支持一项新的 AI 爬虫退出（opt-out）标准，允许网站所有者声明内容不用于 AI 训练。该标准意在为内容方与模型厂商之间提供机器可读的授权机制，可能影响未来训练数据的获取方式。
Hacker News – AI6 小时前
#AI 爬虫
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
OpenAI 等 AI 内容授权交易放缓，抓取量却激增
OpenAI、Meta、亚马逊等与出版商的 AI 内容授权交易明显放缓，有从业者称市场已实质关闭。与此同时 AI 爬虫抓取量激增，People Inc. 每天拦截数万个爬虫，仅放行38个。
快公司9 天前
★ 3
Vogue、Esquire 出版商呼吁国会禁止 AI 盗用内容
Vogue、Esquire 等杂志的出版商向美国国会请愿，支持禁止 AI 爬虫抓取其内容的法案，要求对 AI 训练与内容抓取行为施加更严格限制。
Hacker News – AI21 天前
★ 3
AI 爬虫借 referrer spam 伪装流量抓取网站
有分析指出，AI 爬虫正通过伪造 referrer 垃圾流量来隐藏自身抓取行为，绕过网站的反爬与访问统计。这种做法让内容方更难识别与阻断 AI 训练数据采集，加剧了出版方与 AI 公司之间的抓取博弈。
Hacker News – AI24 天前
★ 3
AI 爬虫流量失控引发开发者求助
一位开发者反映其网站遭遇海量 AI 爬虫流量，Facebook 爬虫两天内请求同一页面超 300 万次，AI 抓取者还通过住宅代理和注册账号绕过封锁。托管成本飙升，传统防护手段失效，引发对开放网络可信度的担忧。
Hacker News – AI48 天前
★ 3
2771 家头部网站中 368 家屏蔽 AI 爬虫
一项统计显示，在排名前 2771 的网站中，有 368 家至少屏蔽了一个 AI 搜索爬虫。这反映出内容方对 AI 抓取的态度日趋收紧，可能影响 AI 搜索与训练数据获取。该话题在 Hacker News 热度较低，仅 2 分无评论。
Hacker News – AI50 天前
★ 2
Crawlerpeek 开源 CLI 与 MCP 服务，检测站点对 AI 爬虫的开放情况
开发者发布 Crawlerpeek，可检查 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等 15 种 AI 爬虫能否访问站点，并生成欢迎 AI 爬虫的 robots.txt。工具提供库、CI 用 CLI 与 MCP 服务器三种形态，还能验证日志 I…
Hacker News – AI7 天前
★ 2
开发者发帖 HN 后网站遭 AI 机器人流量淹没
一名开发者在 Hacker News 发布帖子后，其网站随即被大量 AI 机器人流量淹没。该帖获得 270 分热度与 152 条评论，反映出 AI 爬虫对个人网站流量的冲击日益严重。
Hacker News19 天前
★ 2
Crawlable 审计 50 款热门网页应用 AI 爬虫可读性
Crawlable 发布 AI 搜索可读性指数，对 50 款头部网页应用进行审计，评估其对 AI 爬虫的抓取友好程度。该研究关注 AI 搜索时代网站内容能否被大模型有效读取，对 SEO 与内容分发策略有参考意义。
Hacker News – AI21 天前