SemrushBot这个蜘蛛真牛逼12w禁止都禁止不了
SemrushBot这个是海外最垃圾的蜘蛛
别家的蜘蛛，你禁止他虽然他也爬但是他不攻击不扫描
这家无耻到扫码你站，然后疯狂的爬行你网站
而且ip是美国的
是那种切换IP的真特么恶心
虽然对网站没有影响但是这种行为真的反感，还那么贵，海外seo平台，说实在话你送一个月套餐我都不会用 把你的网站爬去，收费给别人来使用，无耻的老外营销 直接禁IP就可以了他就总共几个IP端， 我的也是这个，禁止后就没有了 把这段代码放到你网站Nginx的配置文件里，它爬你UA都会带SemrushBot等关键字，禁掉就好了
if ($http_user_agent ~ "MJ12bot|SemrushBot|DotBot") { return 403;}你看，它ip不同我都能给它返回403：
页:
[1]
