哥斯拉 发表于 2025-5-17 16:07:46

日志中有这个记录，爬虫是禁止没

173.252.83.18 - - ＂GET /robots.txt HTTP/2.0＂ 444 0 ＂-＂ ＂facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)＂173.252.83.7 - - ＂GET /robots.txt HTTP/2.0＂ 444 0 ＂-＂ ＂facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)＂173.252.83.7 - - ＂GET /robots.txt HTTP/2.0＂ 444 0 ＂-＂ ＂facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)＂

TyCoding 发表于 2025-5-17 16:08:17

.facebook的爬虫

婷姐 发表于 2025-5-17 16:08:59

fb的，禁了吧

IT618发布 发表于 2025-5-17 16:09:16

状态444，应该是禁止的

IT618发布 发表于 2025-5-17 16:10:03

444是禁止

IT618发布 发表于 2025-5-17 16:10:13

垃圾爬虫

TyCoding 发表于 2025-5-17 16:11:05

状态444，应该是禁止的

Crystαl 发表于 2025-5-17 16:11:23

垃圾爬虫
页: [1]
查看完整版本: 日志中有这个记录，爬虫是禁止没