xiao9469 发表于 2025-3-26 08:27:33

robot.txt禁止ai蜘蛛，有作用吗？

robot.txt 写规则禁止ai蜘蛛，有作用吗？

浅生 发表于 2025-3-26 08:27:51

100% 无用的。

婷姐 发表于 2025-3-26 08:28:24

现在蜘蛛不讲武德了 是没有用的

婷姐 发表于 2025-3-26 08:28:33

User-Agent: BaiduspiderDisallow: /User-Agent: CommonCrawlDisallow: /User-Agent: SemanticScholarBotDisallow: /User-Agent: UnpaywallBotDisallow: /# 禁用所有通用爬虫框架（如 Scrapy）User-Agent: ScrapyDisallow: /User-Agent: NutchDisallow: /# 禁用其他特定爬虫（根据实际名称添加）User-Agent: YourSpecificAIUserAgentDisallow: /

TyCoding 发表于 2025-3-26 08:29:24

没有用的，因为很多爬虫是不遵守robots协议的

独家记忆 发表于 2025-3-26 08:29:43

直接在网站防火墙里UA黑名单加，比robots管用多了
页: [1]
查看完整版本: robot.txt禁止ai蜘蛛，有作用吗？