网络服务商Cloudflare首席执行官马修普林斯日前表示，随着AI智能体越来越多地代替用户浏览器浏览网页，部分网站正在面临新的成本压力：智能体访问网站、读取内容并消耗服务器资源，但最终可能直接向用户给出答案，网站没有得到实际访客和真实流量，也没有获得收益。
马修普林斯认为这种访问规模正在改变互联网原有的商业模式，网站运营者和AI服务提供商需要探索新的成本分担方式，避免未来越来越多的网站被迫关闭。
马修普林斯举例称，如果用户让AI智能体推荐某个餐厅，智能体可能会访问1000家餐厅的网站、读取1000份菜单，但最终用户只会选择其中1家。在这个假设场景中，其他999家餐厅网站同样需要处理请求、承担带宽、服务器和其他资源成本，但未必能从中获得顾客。
对于新闻和内容网站也存在类似问题，AI智能体读取文章后直接生成摘要，用户可能在AI界面获得答案，网站则失去原本可能获得的访问、广告展示或付费订阅机会。
Cloudflare正在提供识别、限制和管理AI爬虫及智能体访问的工具，也探索让网站按抓取或使用内容向相关服务收费。Cloudflare提出两种解决方案：第一是提高抓取效率，例如Cloudflare与OpenAI合作，在网页内容发生变化时提供提示，减少对未发生变化页面的重复抓取，这可以降低网站和AI服务商的资源消耗。
第二项就是Cloudflare正在推动的付费机制，AI服务需要向网站等内容提供商支付费用。不同网站可以根据不同场景设置不同的策略，例如有些智能体代表用户查找资料，有些则可能帮助用户购买商品或预订服务，对于查找资料的类型，网站就可以设置收费获取内容。
目前Cloudflare已经将按抓取和按使用量收费作为其产品的方向之一。
相关文章:
Cloudflare公开批评Perplexity的抓取策略后一些人开始为其辩护
Cloudflare新政策敦促AI公司为出版商内容付费并分离搜索与训练爬虫
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】