左右不逢缘 发表于 2020-11-3 16:29:06

关于爬虫问题，大佬有教的吗？

百度经常抓
xxxx.cn/?1

而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html

怎么办哦。。 这样无所谓？还是？？
我没有屏蔽加这个 Disallow: /space-*   
新站。。
页: [1]
查看完整版本: 关于爬虫问题，大佬有教的吗？

创宇盾启航版免费网站防御网站加速服务