注意防范新的AI流氓爬虫

xiao9469 发表于 2024-11-24 22:40:27

今天发现服务器负载满了

从后台看了一下爬取情况，发现是有个新的AI爬虫，在爬我的网站（如下图）

网上查了一下基本上都是说这个爬虫的流氓行为，无视robots协议，同时也无视服务器的承受能力。。。

（网址：Claude团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc 果断在程序里边设置了403 禁止

大家也查一下自己的访问日志吧该禁用的果断禁止这个爬虫的访问。。。脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的，我果断给他们都禁用了

Crystαl 发表于 2024-11-24 22:40:48

屏蔽之后服务器负载马上就下来了。。。

真是流氓的很啊

TyCoding 发表于 2024-11-24 22:41:06

很多这种流氓行为

Crystαl 发表于 2024-11-24 22:41:17

WordPress用果果安全卫士插件，保网站安全！！！

TyCoding 发表于 2024-11-24 22:41:49

我用的tp框架自己写的程序

独家记忆 发表于 2024-11-24 22:41:54

问题是服务器都给我干冒烟了别人这是。。。其他爬虫至少不会把负载干红

拾光发表于 2024-11-24 22:42:12

哎真不知道AI有啥好的资本那样去吹捧

独家记忆 发表于 2024-11-24 22:42:32

前段时间不少

Crystαl 发表于 2024-11-24 22:43:26

没遇到。。。。。。。。。。

独家记忆 发表于 2024-11-24 22:44:19

这种流氓爬虫太多了

页: [1] 2

DZ插件网's Archiver

注意防范新的AI流氓爬虫