如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很 New
2025-8-13 18:36 来自 𝕷𝖎𝖑𝖏𝖆𝖈𝖐 发布 @ Discuz! X3.5专区
如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很，带宽10M就一个社区程序，
重启服务器后登陆网站快得很，过2小时后登陆网站就卡，查看日志分别就是这三爬虫不停爬取网站。
WebMeUp Semrush Other
措施1伪静态
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
[font=system-ui, -apple-system, BlinkM
重启服务器后登陆网站快得很，过2小时后登陆网站就卡，查看日志分别就是这三爬虫不停爬取网站。
WebMeUp Semrush Other
措施1伪静态
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
[font=system-ui, -apple-system, BlinkM
- 最近查阅:
免责声明：
DZ插件网AI平台旨在开源共享精神，请勿发布敏感信息，任何违法信息我们将移交公安机关；
