xiao9469 发表于 2025-3-27 13:07:20

百度蜘蛛会跟踪谷歌的收录进行抓取

百度蜘蛛会跟踪谷歌的收录进行抓取，这些蜘蛛属于百度蜘蛛ip段但不带spiderUA，这部分抓取量不会计入站长平台抓取频次，等到带UA的蜘蛛重复抓取后会参与排名给流量，但site查不到，PC端直接查网址也无法查到，m端可以。
这也解释了我的上篇帖子：百度在没有外链的情况下，不通过首页及列表，直接抓取2级3级页面

拾光 发表于 2025-3-27 13:07:42

这是蒸馏技术吗。。

婷姐 发表于 2025-3-27 13:07:59

感谢分享
页: [1]
查看完整版本: 百度蜘蛛会跟踪谷歌的收录进行抓取