Cloudflare推出AI审核功能：强化robots.txt策略执行

Cloudflare 近日推出AI审核功能，帮助网站管理员了解AI服务、爬虫如何访问其网站内容，并能够通过网络级防火墙（WAF）强制执行robots.txt政策，确保AI爬虫遵守网站内容访问限制

💡功能说明
通过AI审核面板，用户可以轻松查看AI爬虫访问其网站的情况，包括访问请求次数和路径概述
用户可按AI搜索引擎或爬虫分类过滤数据，并检查哪些AI服务遵守了robots.txt文件中的规则
网站管理员可以在仪表盘中查看AI爬虫对robots.txt文件的遵守情况
如果发现恶意、滥用行为，管理员可以一键在网络级别配置相应规则策略，确保AI服务商按照robots.txt策略访问网站

通过该功能，网站不仅可以声明对AI爬虫的访问限制，还能主动控制和执行这一限制，防止未经授权的数据被抓取
目前，此功能现已对所有Cloudflare用户开放可用
后续，站长还可以通过AI审计提供的访问控制，对网站内容、页面设定协议、价格，向模型提供商收取内容抓取、使用费用

Start auditing and controlling the AI models accessing your content
Robotcop: enforcing your robots.txt policies and stopping bots before they reach your website
#AI #Audit #Robotcop #Crawler
Via @Cloudflare_CN

The Cloudflare Blog

Start auditing and controlling the AI models accessing your content

Cloudflare customers on any plan can now audit and control how AI models access the content on their site.

一键阻止AI机器人、爬虫抓取网站数据

2024年生成式人工智能的流行使得用于训练模型或运行推理的内容需求猛增，各大AI公司纷纷开发爬虫在互联网上抓取用户发布的内容，部分网站用户可能并不希望 AI 机器人访问他们的网站数据，Cloudflare为此提供选择：新增一键阻止所有爬虫的功能，面向所有用户可用
用户根据自身需要也可以自行配置防火墙规则：在网站部分页面、域名中对爬虫访问部分放行

> Bots安全设置入口

Declare your AIndependence: block AI bots, scrapers and crawlers with a single click
#AI #Crawler #Block
Via @Cloudflare_CN

The Cloudflare Blog

Declare your AIndependence: block AI bots, scrapers and crawlers with a single click

To help preserve a safe Internet for content creators, we’ve just launched a brand new “easy button” to block all AI bots. It’s available for all customers, including those on our free tier.