哥斯拉 发表于 2025-11-15 10:48:05

网站设置了放爬虫代码，感觉没啥作用呢？

两天前设置的，今天看一下，到少了百度的蜘蛛，其它的一个没少。有懂的分析一下这些蜘蛛。哪些是垃圾蜘蛛，哪些是采集的。

拾光 发表于 2025-11-15 10:49:02

现在的爬虫都是模拟正常用户的ua除非你屏蔽所有用户 只给蜘蛛看
页: [1]
查看完整版本: 网站设置了放爬虫代码，感觉没啥作用呢？