逝水年华 发表于 2025-3-7 21:40:27

蜘蛛总是抓取不存在的url，但是返回状态是200

蜘蛛抓取如:https://www.域名/category/product，这个一个不存在的目录（实际有很长的url全是乱搭配的）为什么不是直接返回404.而是返回首页的200状态，在nginx中配置了错误返回404.html为什么每生效，
导致蜘蛛一直抓取这些页面，全是只有文本没有加载静态样式的页面

IT618发布 发表于 2025-3-7 21:40:51

11111111

Crystαl 发表于 2025-3-7 21:41:37

11111111

TyCoding 发表于 2025-3-7 21:42:32

感谢感谢

浅生 发表于 2025-3-7 21:43:19

什么意思 没懂

Crystαl 发表于 2025-3-7 21:44:03

我感觉这个不用管

IT618发布 发表于 2025-3-7 21:44:22

是真蜘蛛还是假蜘蛛

拾光 发表于 2025-3-7 21:45:15

还有金币吗

Crystαl 发表于 2025-3-7 21:45:47

页面如果能打开，那就是200状态啊，不放回404也正常啊

TyCoding 发表于 2025-3-7 21:46:31

就是百度经常有时间一天几千上万的抓这样的页面，一直没解决，
页: [1] 2
查看完整版本: 蜘蛛总是抓取不存在的url，但是返回状态是200