最近日志中出现苹果搜索的爬虫,大家可以关注一下
关于 Applebot了解有关 Apple 网络爬虫工具 Applebot 的信息。Applebot 抓取的数据用于为多项功能提供支持,例如集成到 Apple 生态系统内许多用户体验(包括“聚焦”、Siri 和 Safari 浏览器)中的搜索技术。在 robots.txt 中启用 Applebot 可让网站内容显示在世界各地的 Apple 用户使用这些产品获得的搜索结果中。Applebot 能够从 Web 服务器访问多种资源,包括但不限于 robots.txt、网站地图、RSS 源、HTML 以及渲染页面所需的子资源(例如 javascript、Ajax 请求、图像等)。以上是苹果官方关于爬虫的简介,大家可以观察一下日志,看看有没有这个爬虫。。。还有就是大家有苹果搜索的来路吗?要是可以做好这部分流量的话也挺不错的,毕竟苹果用户是消费大户~
爬虫的UA是下边这样的:
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)" 已屏蔽。。。没什么鬼用 接下来会有一大堆ai训练机器人冒用这个bot,就像租用阿里云服务器做爬虫的最喜欢伪装神马yisou爬虫 好吧,我觉得还需要观察 这个是无法避免的,现在AI爬虫都很频繁啊
页:
[1]