这是两个小站的爬虫数据，可以看到今日头条疯狂的爬网站数据用于训练AI，阿里的一搜爬虫也比较活跃，百度几乎不爬了。

因为广告市场占有率日益下降，百度收入同比下降，开启了历史上最大的裁员节约成本，百度搞AI也占用了大量服务器用于训练，由于百度没钱了，服务器还是不够，又没钱买，所以服务器优先用于AI，和自己的全家桶以及搜狐，知乎这类大站，中小站长百度不怎么爬了，这也是这一两年百度收录很差的原因之一。

这样搞下去百度的AI和豆包差距越来越大，所有百度AI最终和阿里，腾讯，字节不是一个层次的，赢家通吃的规则导致了，5年后百度的AI基本上就是笑话了。没人用了，技术和管理不说，他现在买服务器的钱都没有了。