🏠首页 › 站长杂谈 › 针对百度蜘蛛太多抓取，，导致网站带宽不够，怎么处理！！

迪巴拉 发表于 2024-9-25 21:00:12

针对百度蜘蛛太多抓取，，导致网站带宽不够，怎么处理！！

我们技术反馈现在百度蜘蛛（116.179开头的，比如<116.179.37.93>"<116,179.37.222>"）不停地在访问我们官方官网，占用了网站大量带宽，我查看了下百度资源的访问确实是比之前高很多，这类情况，想咨询下，第一个这个是否是这些都确实是百度蜘蛛，其次，这些是否需要做一个访问下限值，一般限制的话 多少比较合适

拾光 发表于 2024-9-25 21:00:50

屏蔽他就行了

IT618发布 发表于 2024-9-25 21:01:36

哥们，查IP这些都是假蜘蛛啊，不是百度的啊，是有人模拟百度蜘蛛的UA在爬你数据啊



用这个工具查查是不是真IP啊 https://didi.seowhy.com/ip.html

独家记忆 发表于 2024-9-25 21:02:23

现在网络中群虫乱舞

独家记忆 发表于 2024-9-25 21:02:49

301给我

婷姐 发表于 2024-9-25 21:03:30

不想要的可以301给我

TyCoding 发表于 2024-9-25 21:04:26

v我50 ，我帮你引走

独家记忆 发表于 2024-9-25 21:04:57

301给我

查看完整版本: 针对百度蜘蛛太多抓取，，导致网站带宽不够，怎么处理！！