婷姐 发表于 2025-1-5 19:48:29

User-agent: *Disallow:

User-agent: *Disallow: /

把tdk标签都删了（seo的meta标签），然后屏蔽全部蜘蛛，网站资源省了一些，从此也不挂念百度了
……

浅生 发表于 2025-1-5 19:48:47

够佛系...

Crystαl 发表于 2025-1-5 19:49:42

婷姐 发表于 2025-1-5 19:50:40

AI爬虫根本不理会，照爬
页: [1]
查看完整版本: User-agent: *Disallow: