哥斯拉 发表于 2025-11-15 10:48:05

网站设置了放爬虫代码,感觉没啥作用呢?

两天前设置的,今天看一下,到少了百度的蜘蛛,其它的一个没少。有懂的分析一下这些蜘蛛。哪些是垃圾蜘蛛,哪些是采集的。

拾光 发表于 2025-11-15 10:49:02

现在的爬虫都是模拟正常用户的ua除非你屏蔽所有用户 只给蜘蛛看
页: [1]
查看完整版本: 网站设置了放爬虫代码,感觉没啥作用呢?