去评论
dz插件网

解决被垃圾ai爬虫爬死的问题了

哥斯拉
2024/12/24 15:02:43
我一个物理服务器一天被爬走1t  

找了一早晨的方法
终于解决了

整个世界安静了
负载回到了个位数


方法很简单

把他里面把下列ua加入黑名单

  1. AmazonbotClaudeBotPetalBotgptbotAhrefsSemrushImagesiftTeomaia_archivertwicelerMSNBotScrubbyRobozillaGigabotyahoo-mmcrawleryahoo-blogs/v3.9psbotScrapySemrushBotAhrefsBotApplebotAspiegelBotDotBotDataForSeoBotjavaMJ12botpythonseoCensys