🏠首页 › 站长杂谈 › 有什么好办法屏蔽掉这些垃圾爬虫

婷姐 发表于 2024-10-22 15:51:20

有什么好办法屏蔽掉这些垃圾爬虫

每天不停的抓取 爬行

拾光 发表于 2024-10-22 15:51:39

ahrefs、semrush和脸书不是直接屏蔽UA关键词就行了吗，他们把名字直接写在UA里了啊

字节和一搜如果你想屏蔽的话，也直接屏蔽关键词就行了

如果是你截图上的那些，全都极为简单

TyCoding 发表于 2024-10-22 15:52:39

屏蔽特定ua

Crystαl 发表于 2024-10-22 15:53:23

超多蜘蛛及各种爬虫

AhrefsBot,bingbot,Bytespider,Baiduspider,SemrushBot,YisouSpider,facebook,applebot,sogou,mj12bot

IT618发布 发表于 2024-10-22 15:53:53

facebook 来爬行什么

TyCoding 发表于 2024-10-22 15:54:04

屏蔽不完，不要管

拾光 发表于 2024-10-22 15:54:18

屏蔽来访UA

浅生 发表于 2024-10-22 15:54:31

ng里屏蔽就行了。很简单啊

Crystαl 发表于 2024-10-22 15:54:40

什么？百度你也要屏蔽

TyCoding 发表于 2024-10-22 15:54:48

我也想知道

查看完整版本: 有什么好办法屏蔽掉这些垃圾爬虫