左右不逢缘 发表于 2025-1-16 15:18:29

怎么禁止yisouspider访问网站

一天爬取20万次,消耗10G流量,根本没有任何搜索来源,全是机器人训练爬虫,robots禁止协议不遵守

TyCoding 发表于 2025-1-16 15:19:25

屏蔽他的2036组IP就行

Crystαl 发表于 2025-1-16 15:19:48

屏蔽UA 不就行了

拾光 发表于 2025-1-16 15:20:01

不管用的 屏蔽ip比ua强吧

我屏蔽ua但是日志还是在爬不过返回444

拾光 发表于 2025-1-16 15:20:31

我客户也中招 用百度云防护拦截 https://www.zhujib.com/wangzhanbeiyisouspiderzhizhuda.html

拾光 发表于 2025-1-16 15:21:21

yisouspider是神马搜索的爬虫,但是很多租用阿里云服务器的ai训练爬虫都会伪装yisouspider全网爬取,waf拦截屏蔽了也无妨,sm搜索本来就没有什么流量

婷姐 发表于 2025-1-16 15:21:45

神马的蜘蛛?

浅生 发表于 2025-1-16 15:22:25

肯定的啊,这是请求到了,ngnix帮你挡掉的。要么再配置台waf

TyCoding 发表于 2025-1-16 15:23:01

屏蔽一下就可以罗

独家记忆 发表于 2025-1-16 15:23:06

有条件的话,还是建议加个防御。
可有效防护DDoS,CC,Web应用攻击,恶意刷流量,恶意爬虫等危害网站的行为,保障平台稳定运营。
传统高防,在拦截攻击的同时,还会误杀正常用户,我们的防护是依靠攻击特征,比如 ua 浏览器的来源,登录端口 访问url 等综合特征,依靠攻击行为特征库,配合我们的防护模块来拦截攻击,可以100% 不会漏防攻击,0误杀真实用户。可根据不同攻击,不同平台,定制型防护模块,防不住不收任何费用,可测试防御效果。
页: [1] 2
查看完整版本: 怎么禁止yisouspider访问网站