robots禁止掉百度,百度会遵循吗
robots禁止掉百度,百度会遵循吗就怕到时候不仅不收录,还疯狂的爬内容充实它自己 百度遵循,但是有延迟。
我把百度爬虫都禁掉了。
几个月过去了,仍然有几条收录。 会的,只要你按照百度的规则就会 艳红不讲武德 一群人整天不让你做这个做那个,但是他们又在做这个,又在做那个
比如百度天天喊采集不好,但是他天天采集 百度这傻货 你屏蔽 他也会抓取的
你不屏蔽他不抓取也不抓取 不会的,我的新网站设置禁止所有搜索引擎抓取,但百度还是收录了首页 会,但有很长时间的延迟,你可能今天禁止,蜘蛛还没反应过来,过几天就被收录了。 君子协议,解释权在我 这个就看百度心情了
页:
[1]
2