★ 3
Reddit 因 AI 爬虫关闭 RSS 与公共 API
Reddit 宣布终止对 RSS 订阅源的支持，并关闭公共 API 访问，理由是应对 AI 机器人抓取内容。此举进一步收紧其用户生成内容的获取渠道，可能影响第三方工具与研究者。
TechCrunch AI32 天前
#AI爬虫
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Cloudflare CEO 谈能否从 AI 手中拯救互联网
Cloudflare CEO Matthew Prince 在播客中讨论 AI 机器人占据互联网流量过半的现状。Cloudflare 位于网站与 AI 代理之间，为站长提供屏蔽、放行或仅允许付费访问的控制权。访谈还涉及公司裁员 20% 及用 AI 替代员工的争议决策。
The Verge AI36 天前
★ 3
Cloudflare 更新AI爬虫默认策略
Cloudflare 宣布将于 2026 年 9 月 15 日启用新的 AI 机器人默认策略，调整对 AI 爬虫的拦截与放行配置。此举影响大量使用 Cloudflare 的网站对 AI 训练与搜索爬虫的默认开放程度。反映内容方与 AI 公司之间围绕数据抓取的持续博弈。
Hacker News – AI45 天前
★ 2
AI训练爬虫访问个人网站1534次，仅一次读取版权文件
一位博主记录其个人网站被AI训练爬虫访问1534次，但只有一次抓取了版权声明文件。这揭示了AI爬虫普遍无视robots.txt与版权协议的现象，引发对内容创作者权益与AI数据合规的讨论。
Hacker News – AI29 天前
★ 2
如何应对AI爬虫的思考
一篇讨论网站如何应对AI爬虫抓取内容的文章在Hacker News上被分享，探讨内容方与AI训练数据抓取之间的博弈。该话题涉及版权、robots协议与内容生态可持续性。
Hacker News – AI37 天前
★ 2
AI爬虫蜜罐：记录每个请求的智能体
开发者在Hacker News展示了一个AI爬虫蜜罐工具，可记录所有请求它的AI智能体。该工具可用于研究AI爬虫行为、识别抓取来源，对内容方对抗未授权抓取有一定实用价值。
Hacker News – AI45 天前
★ 2
28个AI爬虫目录开放数据
开发者发布了一个收录28个AI爬虫的目录，包含各自的robots.txt规则、IP地址段与开放数据。该资源可帮助网站管理员识别并管理AI爬虫的抓取行为。
Hacker News – AI49 天前
★ 1
在禁止AI训练的同时保持搜索可发现性
一篇讨论网站如何在禁止AI爬虫训练数据的同时，仍保持在搜索引擎中可被发现的文章，在Hacker News获得31分与15条评论。内容涉及robots.txt、AI爬虫协议与SEO之间的平衡。属于较窄众的技术话题。
Hacker News47 天前
★ 1
分类代表用户发起的 AI 网站抓取
Canonry 博客探讨如何从服务器日志中区分代表用户发起的 AI 抓取与普通爬虫。该分类方法有助于网站运营者更准确地识别 AI 流量，并制定相应的访问策略。
Hacker News – AI51 天前