🏠首页 › 站长杂谈 › 大家都屏蔽国内那些AI厂商的爬虫吧。。

迪巴拉 发表于 2024-8-18 15:07:12

大家都屏蔽国内那些AI厂商的爬虫吧。。

如题

完全无视robots

玩命似的乱爬

最后结果里面给出处还是nofollow

真是无耻

。。。。。

独家记忆 发表于 2024-8-18 15:07:50

这个没办法，屏蔽杜绝不了

浅生 发表于 2024-8-18 15:08:35

通常遵守规则的，robots协议就可以搞定。

独家记忆 发表于 2024-8-18 15:09:23

是的，绝了，每天爬几万次，真服了，屏蔽了还能再换IP再爬，只能屏蔽IP段，就这每天还很多

Crystαl 发表于 2024-8-18 15:09:39

物理屏蔽

浅生 发表于 2024-8-18 15:10:35

遇到流氓没办法

浅生 发表于 2024-8-18 15:11:03

禁他们的ip，发现很多所谓的AI，其实就是现学现卖，根据关健词去爬网页，然后做个总结返回给用户。

查看完整版本: 大家都屏蔽国内那些AI厂商的爬虫吧。。