★ 4
OpenAI、谷歌、微软、Anthropic 支持新抓取退出标准
OpenAI、谷歌、微软与 Anthropic 表示将采用一项新的“策略令牌”标准，让出版商可在 robots.txt 中一次性向多家 AI 公司声明训练偏好，而无需逐家设置。该提案由 Anthropic 标准技术负责人提交至 IETF，Meta 也表示支持但未承诺执行。
The Verge AI2 天前
#robots.txt
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
OpenAI 将遵循共享 robots.txt 信号表达 AI 训练偏好
OpenAI 宣布将遵循一种共享的 robots.txt 信号，帮助网站运营者向参与该机制的 AI 提供商表达其内容是否可用于 AI 训练。此举旨在为网站与 AI 公司之间提供更统一的训练数据偏好沟通方式。
OpenAI2 天前
★ 3
Meta 修改条款删除可抓取新闻网站训练 AI 的表述
在遭到外界批评后，Meta 更新商业条款，删除了被解读为允许其抓取新闻网站内容用于训练 AI 的措辞。Meta 传播副总裁 Andy Stone 与发言人 Daniel Roberts 此前否认抓取方式有变，此次进一步澄清该条款仅适用于广告与商业产品，内容方仍可通过 robots.txt 表达偏好…
The Verge AI15 天前
★ 2
Crawlerpeek 开源 CLI 与 MCP 服务，检测站点对 AI 爬虫的开放情况
开发者发布 Crawlerpeek，可检查 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等 15 种 AI 爬虫能否访问站点，并生成欢迎 AI 爬虫的 robots.txt。工具提供库、CI 用 CLI 与 MCP 服务器三种形态，还能验证日志 I…
Hacker News – AI7 天前
★ 2
AI训练爬虫访问个人网站1534次，仅一次读取版权文件
一位博主记录其个人网站被AI训练爬虫访问1534次，但只有一次抓取了版权声明文件。这揭示了AI爬虫普遍无视robots.txt与版权协议的现象，引发对内容创作者权益与AI数据合规的讨论。
Hacker News – AI29 天前
★ 2
28个AI爬虫目录开放数据
开发者发布了一个收录28个AI爬虫的目录，包含各自的robots.txt规则、IP地址段与开放数据。该资源可帮助网站管理员识别并管理AI爬虫的抓取行为。
Hacker News – AI49 天前
★ 1
在禁止AI训练的同时保持搜索可发现性
一篇讨论网站如何在禁止AI爬虫训练数据的同时，仍保持在搜索引擎中可被发现的文章，在Hacker News获得31分与15条评论。内容涉及robots.txt、AI爬虫协议与SEO之间的平衡。属于较窄众的技术话题。
Hacker News46 天前