robots禁止掉百度,百度会遵循吗

哥斯拉 发表于 2024-6-18 17:25:33

robots禁止掉百度,百度会遵循吗

就怕到时候不仅不收录，还疯狂的爬内容充实它自己

拾光发表于 2024-6-18 17:26:31

百度遵循，但是有延迟。
我把百度爬虫都禁掉了。
几个月过去了，仍然有几条收录。

婷姐发表于 2024-6-18 17:27:26

会的，只要你按照百度的规则就会

IT618发布 发表于 2024-6-18 17:27:59

艳红不讲武德

独家记忆 发表于 2024-6-18 17:28:13

一群人整天不让你做这个做那个，但是他们又在做这个，又在做那个
比如百度天天喊采集不好，但是他天天采集

TyCoding 发表于 2024-6-18 17:29:11

百度这傻货你屏蔽他也会抓取的

你不屏蔽他不抓取也不抓取

独家记忆 发表于 2024-6-18 17:30:05

不会的，我的新网站设置禁止所有搜索引擎抓取，但百度还是收录了首页

TyCoding 发表于 2024-6-18 17:30:44

会，但有很长时间的延迟，你可能今天禁止，蜘蛛还没反应过来，过几天就被收录了。

婷姐发表于 2024-6-18 17:31:14

君子协议，解释权在我

浅生发表于 2024-6-18 17:31:23

这个就看百度心情了

页: [1] 2

DZ插件网's Archiver