🏠首页 › 站长杂谈 › 服务器卡爆了，居然不是被采集...

迪巴拉 发表于 2024-7-31 13:05:52

服务器卡爆了，居然不是被采集...

独立服务器进宝塔面板后台半小时才刷新出来。
负载100%，内存和CPU暂用率在10%左右。。

我一直以为是美国的服务器打开很慢，就没有怎么管，
今天登录面板实在是受不了。

罪魁祸首是爬虫！

Amazonbot
ClaudeBot
PetalBot
User-agent: AmazonbotDisallow: /User-agent:ClaudeBotDisallow: /User-agent: PetalBotDisallow: /

独家记忆 发表于 2024-7-31 13:06:07

这样搞是没有用的，要直接禁止这些爬虫

独家记忆 发表于 2024-7-31 13:06:13

是哪的爬虫

婷姐 发表于 2024-7-31 13:06:23

ai

浅生 发表于 2024-7-31 13:07:15

这样搞是没有用的，要直接禁止这些爬虫

婷姐 发表于 2024-7-31 13:07:24

直接屏蔽IP

拾光 发表于 2024-7-31 13:08:05

我们一般都是禁止各种搜索引擎，然后开放其他爬虫

婷姐 发表于 2024-7-31 13:08:19

垃圾爬虫不支持协议

TyCoding 发表于 2024-7-31 13:09:17

直接屏蔽IP

婷姐 发表于 2024-7-31 13:09:58

垃圾爬虫没 解

查看完整版本: 服务器卡爆了，居然不是被采集...