🏠首页 › 站长杂谈 › 最近的爬虫也是疯狂，每天早上9点开始

迪巴拉 发表于 2024-10-29 21:17:03

最近的爬虫也是疯狂，每天早上9点开始

每天早上9点开始，每个请求都是一个IP，UA头模拟的浏览器
若是只访问静态也就算了，动态页还不能关闭，部分内容是动态显示的。疯狂请求动态页
找规律找到吐血。每天早上9点关闭msyql半小时，要么机器满载。。

你们都有啥好办法不？

TyCoding 发表于 2024-10-29 21:17:42

有什么用

IT618发布 发表于 2024-10-29 21:18:04

装waf、屏蔽掉bot UA、具体再看日志拉黑ip

TyCoding 发表于 2024-10-29 21:18:18

除了waf，其他都做了
python爬虫的UA头是模拟浏览器，还不是bot类型的，头疼。
IP得有上千个，清理日志后，瞬间出现几百个请求。一次性请求上百个动态页，就废了

浅生 发表于 2024-10-29 21:18:47

都一样，保证服务不死就行   

浅生 发表于 2024-10-29 21:19:22

所以报警的时候，没办法了，只能关闭mysql半小时。头疼。

浅生 发表于 2024-10-29 21:19:27

特别是字节跳动的ai训练爬虫 疯狂爬取数据

TyCoding 发表于 2024-10-29 21:19:41

直接屏蔽就好~

Crystαl 发表于 2024-10-29 21:19:46

我也是。。。几百个请求还算好，我碰到的基本上是一小时几十万……基本上是同一个地区的IP，但是基本上没啥规律。。我总不能把这个区域的IP全部屏蔽了吧……头疼，这些狗真的是……

浅生 发表于 2024-10-29 21:20:24

暂时封那个地区的

查看完整版本: 最近的爬虫也是疯狂，每天早上9点开始