🏠首页 › 站长杂谈 › 大家来汇总下，那些垃圾AI爬虫要屏蔽吧

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 发表于 2024-8-17 10:15:59

大家来汇总下，那些垃圾AI爬虫要屏蔽吧

如题

现在AI爬虫太多了

经常是几十万的爬取

大家来汇总一下都有那些垃圾AI爬虫吧


。。。。

IT618发布 发表于 2024-8-17 10:16:59

之前论坛好像有人发过屏蔽垃圾蜘蛛

TyCoding 发表于 2024-8-17 10:17:53

铜球一份最新的

婷姐 发表于 2024-8-17 10:18:43

ai
也爬嘛

浅生 发表于 2024-8-17 10:19:14

你要反过来做，不是去屏蔽什么垃圾爬虫，而是只允许特定的几个搜索引擎爬虫。否则你要不停更新 robots。

也就是要从黑名单转为白名单。

独家记忆 发表于 2024-8-17 10:19:56

最好是接入CloudFlare的AI 爬虫防护 (AI Scrapers and Crawlers) 屏蔽垃圾爬虫

Crystαl 发表于 2024-8-17 10:20:12

https://www.4414.cn/thread-202512-3-1.html

有说明

查看完整版本: 大家来汇总下，那些垃圾AI爬虫要屏蔽吧