哥斯拉
发表于 2024-11-15 13:43:45
这两个流氓Ai爬虫是真的烦！
***内容可能违规暂时被隐藏***
拾光
发表于 2024-11-15 13:44:06
ai训练机器人基本上贪婪，无视robots限制，疯狂抓取，特别是字节跳动Bytespider，非常无耻。
浅生
发表于 2024-11-15 13:44:18
ai爬虫是抓你的内容消化成他自己的内容库，不会给你网站带来任何流量和收益，所以一定要彻底屏蔽。
独家记忆
发表于 2024-11-15 13:45:10
禁UA啊百度云防护直接把这类爬虫当CC拦截
浅生
发表于 2024-11-15 13:45:40
把这两User-agent屏蔽了不就行了。
TyCoding
发表于 2024-11-15 13:46:21
有用吗，协议人家根本不管
TyCoding
发表于 2024-11-15 13:46:43
没办法就禁ua了
浅生
发表于 2024-11-15 13:47:15
把这两个UA屏蔽了
Crystαl
发表于 2024-11-15 13:47:46
防火墙拦截！！
或者你网站是伪静态的话，程序拦截！
拾光
发表于 2024-11-15 13:48:25
直接封IP段~
页:
[1]
