逝水年华
发表于 2024-11-29 08:20:27
臭不要脸的ai蜘蛛，亚马逊，必应，gpt，脸书，头条
我已经全部给444了，还一直不断地来，怎么办啊，大佬们
444都阻止不了他来爬，每个蜘蛛每天来几百万次，谁有那么多资源给他肆无忌惮的抓啊
婷姐
发表于 2024-11-29 08:21:22
robots禁下
TyCoding
发表于 2024-11-29 08:21:37
没用，这些都不遵守规则
浅生
发表于 2024-11-29 08:22:30
我的也是，服务器都爆了
TyCoding
发表于 2024-11-29 08:23:20
关键是拒绝都没用啊，还是会不断地来尝试抓取。然后小水管就堵死了。换了个300m的香港cn2。死贵死贵的
浅生
发表于 2024-11-29 08:23:44
厉害了，还是内容好
Crystαl
发表于 2024-11-29 08:23:51
有用
拾光
发表于 2024-11-29 08:24:50
你看这不都403了吗
Crystαl
发表于 2024-11-29 08:25:12
直接封禁IP，看它还怎么来
TyCoding
发表于 2024-11-29 08:26:09
我都是看到不寻常的IP直接封IP
