婷姐
发表于 2024-7-16 20:26:03
搜狗爬虫为啥只访问网站本身没有的内容呢？
新站一个月了，其他搜索引擎都收录了唯独还有搜狗没有收录，搜狗的爬虫也来的比较勤快，但都是访问一些网站本身就没有的内容。
图1为爬虫记录
图2为404页面
独家记忆
发表于 2024-7-16 20:27:03
搜狗本身就很狗。
独家记忆
发表于 2024-7-16 20:27:21
看下从哪个页面的是，是否真的存在404，不存在就提交吧。
TyCoding
发表于 2024-7-16 20:27:49
搜狗有流量吗
婷姐
发表于 2024-7-16 20:28:07
是假蜘蛛吧? 好像是假蜘蛛
Crystαl
发表于 2024-7-16 20:29:05
搜狗就是神奇的引擎
浅生
发表于 2024-7-16 20:29:42
感觉不是搜狗，而是视觉中国等知产流氓派出的伪装爬虫，爬取图片自动对比，打算敲诈索赔。
独家记忆
发表于 2024-7-16 20:29:56
不懂不懂
Crystαl
发表于 2024-7-16 20:30:28
有没有可能是AI扫描蜘蛛
浅生
发表于 2024-7-16 20:30:33
做个站太难了
