xiao9469
发表于 2024-11-5 15:11:31
我突然想到一个对付采集的好办法，大家都可以来用，简单有效
除知名蜘蛛可以正常访问外，其它用户全及未知蜘蛛全部禁止访问。
独家记忆
发表于 2024-11-5 15:11:51
网站存在的意义是什么
Crystαl
发表于 2024-11-5 15:12:08
跳出率高网站也就被k了
TyCoding
发表于 2024-11-5 15:12:31
意义在于卖站
拾光
发表于 2024-11-5 15:13:11
没有跑出率为0，因为除蜘蛛外看到的是另一份内容，网址没变，内容每刷新一次就自动更新一次。
婷姐
发表于 2024-11-5 15:14:00
判断ua吗 有些搜索引擎蜘蛛不带ua的
浅生
发表于 2024-11-5 15:14:24
支持一下
婷姐
发表于 2024-11-5 15:14:36
所以只让知名蜘蛛走绿通
TyCoding
发表于 2024-11-5 15:15:20
现在ai训练机器人和采集内容都伪装蜘蛛、正常用户爬取内容
浅生
发表于 2024-11-5 15:15:47
百度蜘蛛会有不带任何ua的直接访问，就好像是来试探的一样，这个真的有
页:
[1]
