哥斯拉 发表于 2024-10-20 20:35:18

网站有十几万数据，不想被抓取

担心被采集，取消了穷举显示，随即显示部分，搜索才能看到全部，这样虽然防止被穷举采集，也影响了搜索抓取，百度取消了提交sitemap,有什么好办法

TyCoding 发表于 2024-10-20 20:35:59

文章内页使用字母数字随机id栏目只显示前十页

拾光 发表于 2024-10-20 20:36:12

现在就是对ID进行了加密，列表没有穷举，采用了随机显示，蜘蛛没法爬完；是不是单独对蜘蛛写一个页面

TyCoding 发表于 2024-10-20 20:36:23

sitemap生成 到自定义目录

拾光 发表于 2024-10-20 20:37:09

我在找站长合作+v 13418571650
页: [1]
查看完整版本: 网站有十几万数据，不想被抓取

创宇盾启航版免费网站防御网站加速服务