婷姐 发表于 2024-10-15 08:33:12

大佬们，亚马逊爬虫（Amazonbot）是干嘛的？

今天发现亚马逊的爬虫疯狂的爬站，亚马逊不是个购物网站吗，他要爬虫干嘛的？

＂GET /tag/xuexi.html HTTP/1.1＂ 200 8191 ＂-＂ ＂Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)＂
＂GET /go/3_69.html HTTP/1.1＂ 302 5 ＂-＂ ＂Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)＂
＂GET /tag/juanzi.html HTTP/1.1＂ 200 7889 ＂-＂ ＂Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)＂
＂GET /tag/kexue.html HTTP/1.1＂ 200 7836 ＂-＂ ＂Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)＂

Crystαl 发表于 2024-10-15 08:33:46


卧槽，现在的站长真他妈的难，本来做个站写个内容就没有收录没有流量，完全靠情怀在支撑，他妈的，还到处都是AI的爬虫来获取内容和知识，转眼就把站长给踢了，都是什么玩意。

拾光 发表于 2024-10-15 08:34:00

抓取内容训练ai

TyCoding 发表于 2024-10-15 08:34:22

如果能禁止AI爬虫应该可以
页: [1]
查看完整版本: 大佬们，亚马逊爬虫（Amazonbot）是干嘛的？

创宇盾启航版免费网站防御网站加速服务