解决被垃圾ai爬虫爬死的问题了
我一个物理服务器一天被爬走1t
找了一早晨的方法
终于解决了
整个世界安静了
负载回到了个位数
方法很简单
把他里面把下列ua加入黑名单
找了一早晨的方法
终于解决了
整个世界安静了
负载回到了个位数
方法很简单
把他里面把下列ua加入黑名单
- AmazonbotClaudeBotPetalBotgptbotAhrefsSemrushImagesiftTeomaia_archivertwicelerMSNBotScrubbyRobozillaGigabotyahoo-mmcrawleryahoo-blogs/v3.9psbotScrapySemrushBotAhrefsBotApplebotAspiegelBotDotBotDataForSeoBotjavaMJ12botpythonseoCensys