左右不逢缘 发表于 2025-6-11 12:29:36

蜘蛛一直抓搜索页面啊，还都是些我没有的词，啥情况呢？

抓的都是搜索页面，不存在的关键词，这样会放收录吗

独家记忆 发表于 2025-6-11 12:30:15

内容可能违规暂时被隐藏
也不是啊，虽然是不存在的关键词，但是跟行业相关。并不是黑灰之类的词呀

IT618发布 发表于 2025-6-11 12:30:48

Crystαl 发表于 2025-6-11 12:31:22

确定是百度的蜘蛛。反正抓了好多都放出来了。

独家记忆 发表于 2025-6-11 12:31:54

查不到....看了下Nginx防火墙，也不在宝塔的百度蜘蛛白名单里....

Crystαl 发表于 2025-6-11 12:32:54

上回也发不来了这个类型的ip。人家说是不带ua的抓取蜘蛛，收录后是site不出来的，但是在m端搜网址可以搜到，并且可以参与排名。

拾光 发表于 2025-6-11 12:33:42

不用理会

Crystαl 发表于 2025-6-11 12:34:29

现在很多能收录文章的百度蜘蛛，都是不带UA的，模仿真人浏览。
那些带UA的大部分反而是巡查蜘蛛，只爬行检查不收录（也就是网上公开的部分蜘蛛ip段，现在在干粗活）这种方法是它自以为是的防止黑灰产手段。
厉害的他防不住~不厉害的他根本不用防

Crystαl 发表于 2025-6-11 12:34:34

大概是的吧，反正我觉得百度活不了好久了

Crystαl 发表于 2025-6-11 12:35:03

在检索你站有没有违规内容，他搜索的东西都是有规则的
页: [1] 2
查看完整版本: 蜘蛛一直抓搜索页面啊，还都是些我没有的词，啥情况呢？