IT618发布 发表于 2024-6-18 17:32:17

百度这样的会遵守，其他的诸如fofa这类就直接无视了

TyCoding 发表于 2024-6-18 17:32:23

经历过的人来告诉你不会！就是这么流氓

我是robots.txt禁止百度抓取 + 服务器端百度蜘蛛返回404，还是没用，依旧爬，也可能我的站是个个例，太无耻了。
页: 1 [2]
查看完整版本: robots禁止掉百度,百度会遵循吗

创宇盾启航版免费网站防御网站加速服务