哥斯拉 发表于 2024-9-3 19:07:57

各大搜索引擎蜘蛛光抓取网站后台目录和系统文件目录

打开网站日志看了下，谷歌、百度蜘蛛都疯狂在抓去网站的登录后台目录和系统文件目录，文章内容页反而抓取量很少，这是什么情况的？需要做屏蔽吗？

TyCoding 发表于 2024-9-3 19:08:09

robots写一下

独家记忆 发表于 2024-9-3 19:08:16

屏蔽一下

IT618发布 发表于 2024-9-3 19:08:23

用的啥建站系统
页: [1]
查看完整版本: 各大搜索引擎蜘蛛光抓取网站后台目录和系统文件目录

创宇盾启航版免费网站防御网站加速服务