🏠首页 › 站长杂谈 › 防火墙禁止海外IP访问，会把谷歌和bing的蜘蛛屏蔽吗

IT618发布 发表于 2024-8-17 21:11:22

不想给百度抓取就这样，减少它的UA
["360Spider","Sogou","Googlebot","Bytespider","bingbot","spider"]

婷姐 发表于 2024-8-17 21:11:51

学习看看

TyCoding 发表于 2024-8-17 21:12:35

或者，登录宝塔-打开防火墙-全局设置-UA黑名单-设置-加入百度的UA
Baiduspider
这样百度就没法抓取了

搜狗蜘蛛 Sogou web spider
必应蜘蛛 bingbot
百度蜘蛛 Baiduspider
360蜘蛛 360Spider
神马蜘蛛 YisouSpider
头条蜘蛛 Bytespider
谷歌蜘蛛 Googlebot
ChatGPT爬虫 GPTBot

这些是常见的搜索引擎蜘蛛，想给它抓取，就加入UA白名单，不想让他抓取，就加入UA黑名单

浅生 发表于 2024-8-17 21:13:11

这个没有影响，本来国内就是禁止谷歌的，所以他还是正常抓取了

TyCoding 发表于 2024-8-17 21:13:26

没关系的

婷姐 发表于 2024-8-17 21:13:44

这个是正解

TyCoding 发表于 2024-8-17 21:14:03

都禁止海外了，还要啥Google啊。。

IT618发布 发表于 2024-8-17 21:14:18

防止境外IP恶意扫描

IT618发布 发表于 2024-8-17 21:14:31

不要加UA白名单，加了之后假的蜘蛛也不拦截，如果是宝塔防火墙，本身就不会拦截蜘蛛，设置后并不影响蜘蛛抓取

查看完整版本: 防火墙禁止海外IP访问，会把谷歌和bing的蜘蛛屏蔽吗