𝕷𝖎𝖑𝖏𝖆𝖈𝖐 发表于 2024-12-27 19:55:51

请教，网站如何有效屏蔽dataforseo-bot 蜘蛛爬虫

请教各位，网站如何有效屏蔽dataforseo-bot 蜘蛛爬虫，robots.txt设置设置了，User-agent: dataforseobotDisallow: / 和User-agent: dataforseo-botDisallow: /，没有任何效果，这个流氓蜘蛛一直爬，

婷姐 发表于 2024-12-27 19:56:36

用百度云防护轻松拦截

TyCoding 发表于 2024-12-27 19:57:21

我都宝塔里设置除了常规的那几个其他一律咔嚓掉

TyCoding 发表于 2024-12-27 19:57:38

呃

TyCoding 发表于 2024-12-27 19:58:16

宝塔里面可以设置

TyCoding 发表于 2024-12-27 19:58:34

请教怎么设置

婷姐 发表于 2024-12-27 19:58:46

请教宝塔怎么设置

拾光 发表于 2024-12-27 19:59:32

烦死了这些杂毛蜘蛛、
页: [1]
查看完整版本: 请教，网站如何有效屏蔽dataforseo-bot 蜘蛛爬虫