镖师 发表于 2025-12-18 12:06:25

ClaudeBot 爬虫 一定要拦截 很恶心！


目测这个爬虫起码上万个IP，而且还不是同一个机器，导致JA3指纹根本拦截不过来。只能针对UA来拦截了。

这爬虫懂得躲过防火墙的，每秒就访问三次，而且不同的URI，一般防火墙不可能限制用户每秒只能访问三次的，所以百度云防护根本没拦截，更恶心的是 你如果把他这个IP拦截了，他转头又来了一个新的IP，无穷无尽，所以靠IP拦截没啥用。
最有效的方法是拦截包含ClaudeBot的UA或者拦截他爬虫的数据中心的ANS，ClaudeBot 爬虫的数据中心是在亚马逊的，ASN编码为AS16509
高级点的WAF都能针对这两个特征拦截，大家看下。



婷姐 发表于 2025-12-18 12:07:17

后台还不少

浅生 发表于 2025-12-18 12:08:14

确实学到了。

婷姐 发表于 2025-12-18 12:08:20

网站做久了 肯定有的Claude的爬虫的 很流氓 严重消耗服务器资源

婷姐 发表于 2025-12-18 12:08:45

太多了，早拦截了

拾光 发表于 2025-12-18 12:09:26

写代码还要靠Claude，YYDS

Crystαl 发表于 2025-12-18 12:09:43

这货是网站的毒瘤

TyCoding 发表于 2025-12-18 12:09:56

今天有闲，利用claude写了一个日历记事本,配合相册程序ChronoFrame            ），用于记录你每天都做了什么，妈妈再也不用担心我忘事了，源码可免费提供。

浅生 发表于 2025-12-18 12:10:48

话说回来，他不去爬，怎么给我写代码
页: [1]
查看完整版本: ClaudeBot 爬虫 一定要拦截 很恶心！