xiao9469 发表于 2024-7-12 10:30:55

GPT的爬虫有必要禁止吗？

GPTbot这个爬虫每天都要来爬取上万次，现在真的烦各种各样的ai爬虫，就像免费给他们服务一样，内容爬去叼用没有，真是恶心

独家记忆 发表于 2024-7-12 10:31:31

这需要问吗？百度爬去万一有个流量，ai爬去万亿分之一的曝光机会都没有。浪费服务器带宽。不光要禁止robot，连b段，c段整个ip段全部禁止。
页: [1]
查看完整版本: GPT的爬虫有必要禁止吗？