IT之家 7 月 2 日讯，计划禁止全球互联网基础设施服务商 Cloudflare 于当地时间 1 日宣布，代理将进一步细化其网络爬虫（Bot）管理机制。训练该计划旨在根据爬虫的爬虫具体行为特征，为其打上“搜索”、访问“代理”或“训练”等精细化标签，广告并明确规划在 2026 年 9 月 15 日起，页面默认禁止 AI 代理及用于模型训练的计划禁止爬虫访问包含广告内容的网页。

Cloudflare 指出，代理当前大多数网站运营者的训练核心诉求在于：既希望自身内容能被人工智能技术有效发现，又需确保不因数据被无偿抓取而损害知识产权带来的爬虫商业收益。尽管负责任的访问 AI 企业通常会明确标注其爬虫机器人的用途，但市场上仍存在大量功能混杂的广告“混合型爬虫”，同时具备多种抓取行为。页面

针对这一痛点，计划禁止Cloudflare 推出的新版爬虫管理器将采用“全行为匹配”策略。这意味着，对于混合型爬虫，只要其任意一种行为模式被网站所有者禁止，该爬虫即无法在特定网站上继续执行任何抓取任务。

此外，为应对搜索引擎优化（SEO）向生成式引擎优化（GEO）乃至答案引擎优化（AEO）的技术演进，Cloudflare 还将发布全新的归因业务洞察仪表板。同时，平台将上线页面变动监控功能以遏制无效重复抓取，并推出基于实际使用量的爬虫付费模式，为网站所有者提供更灵活、精准的数据访问控制方案。

(责任编辑：百科)