Patreon 不再“请求”AI 机器人别爬取，转而直接封杀
Patreon 正在加强防御 AI 爬取的措施，与 Cloudflare 合作直接阻止那些未经许可使用创作者内容训练 AI 模型的机器人。此举标志着 Patreon 从依赖 robots.txt 请求转向主动拦截未经授权的 AI 训练。
从“请求”到“阻止”的转变
Patreon 此前在 2023 年就曾采取措施阻止 AI 爬虫，但如今 AI 爬取技术变得更加复杂。公司指出，仅靠 robots.txt 文件（一种告知机器人如何访问网站的标准方式）已不足以保护创作者内容。现在，Patreon 借助 Cloudflare 的 AI Crawl Control 技术，直接从服务器层面拦截 AI 训练机器人。
Patreon 在博客中强调：“同意不应取决于爬虫是否选择遵守规则。”测试显示，个别 AI 训练爬虫每周对 Patreon 的访问尝试从数千次降为零——这证明此前这些爬虫根本无视了 robots.txt 的请求。
为什么现在行动？
Patreon 的付费墙长期以来保护了大部分创作者内容。但近期公司推出的新发现工具，如重新设计的 Home Feed 和类似推文的 Quips 功能，可能让更多内容暴露在爬虫面前。与此同时，AI 公司大量抓取在线内容用于模型训练，引发了内容创作者和出版商的广泛担忧。
Cloudflare 近期也调整了政策：对于既用于索引又用于训练的“混合用途”爬虫，在托管广告的页面上默认拦截。此外，Cloudflare 还推出了 Pay Per Crawl 市场，允许网站向 AI 机器人收费。
对创作者的意义
Patreon 产品负责人 Drew Rowny 表示：“随着 AI 代理变得越来越强大和流行，创作者应该对 AI 公司如何使用他们的作品拥有有意义的发言权。”新措施允许那些将用户引导回 Patreon 的索引机器人，但坚决阻止用于训练 AI 的爬虫。
这一举措反映了整个互联网行业对 AI 数据采集的反弹趋势。越来越多的网站和平台正在从被动防御转向主动拦截，保护创作者的权益和内容的商业价值。
小结
Patreon 与 Cloudflare 的合作为创作者提供了更坚实的保护层，将 AI 训练爬虫拒之门外。这不仅是对 robots.txt 失效的补救，更是对 AI 时代内容所有权的一次明确表态。
