左右不逢缘 发表于 2025-1-17 08:20:55

最近日志中出现苹果搜索的爬虫，大家可以关注一下

关于 Applebot了解有关 Apple 网络爬虫工具 Applebot 的信息。Applebot 抓取的数据用于为多项功能提供支持，例如集成到 Apple 生态系统内许多用户体验（包括“聚焦”、Siri 和 Safari 浏览器）中的搜索技术。在 robots.txt 中启用 Applebot 可让网站内容显示在世界各地的 Apple 用户使用这些产品获得的搜索结果中。Applebot 能够从 Web 服务器访问多种资源，包括但不限于 robots.txt、网站地图、RSS 源、HTML 以及渲染页面所需的子资源（例如 javascript、Ajax 请求、图像等）。

以上是苹果官方关于爬虫的简介，大家可以观察一下日志，看看有没有这个爬虫。。。还有就是大家有苹果搜索的来路吗？要是可以做好这部分流量的话也挺不错的，毕竟苹果用户是消费大户~
爬虫的UA是下边这样的：
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)"

独家记忆 发表于 2025-1-17 08:21:46

已屏蔽。。。没什么鬼用

IT618发布 发表于 2025-1-17 08:21:56

接下来会有一大堆ai训练机器人冒用这个bot，就像租用阿里云服务器做爬虫的最喜欢伪装神马yisou爬虫

浅生 发表于 2025-1-17 08:22:55

好吧，我觉得还需要观察

Crystαl 发表于 2025-1-17 08:23:48

这个是无法避免的，现在AI爬虫都很频繁啊
页: [1]
查看完整版本: 最近日志中出现苹果搜索的爬虫，大家可以关注一下