xiao9469 发表于 2025-2-21 20:57:32

各位站长有发现deepseek蜘蛛爬取网站资料吗

方正我的几个站。一个也没有发现DEEPSEEK蜘蛛爬取的。他的资料是哪里来的呢

婷姐 发表于 2025-2-21 20:57:59

启用一个新域名用宝塔流量统计 你会发现一些莫名的国内IP并不是蜘蛛 应该就是那些AI爬行的IP

婷姐 发表于 2025-2-21 20:58:09

爬取也好，只要内容合適也不是不行

浅生 发表于 2025-2-21 20:58:45

没有它的UA特征吗估计这些AI都被问词穷了也要派蜘蛛到个人网站去收集

拾光 发表于 2025-2-21 20:59:10

没人规定爬取的时候一定要带上自己家的UA

问别人买的数据也可以

拾光 发表于 2025-2-21 20:59:31

爱番番偶尔会有chat.deepseek.com来源访客

Crystαl 发表于 2025-2-21 21:00:16

即便是没有UA特征，一些AI在采集的时候也会出现大量ip访问。

TyCoding 发表于 2025-2-21 21:01:15

聪明点肯定会隐藏ua，还公开给你屏蔽吗

浅生 发表于 2025-2-21 21:01:29

隐藏一下就可以了，并不用提前先爬取，需要了在爬就行，让你感觉就是真人来过一样

拾光 发表于 2025-2-21 21:02:05

哪怕已经训练好的模型都有联网搜索功能，虽然不一定搜的是你的网站
页: [1] 2
查看完整版本: 各位站长有发现deepseek蜘蛛爬取网站资料吗