哥斯拉 发表于 2024-10-14 21:22:45

请教一下,百度只收录动态地址,静态地址不收录。

请教一下,我的网站目前百度基本上收录动态地址。他是怎么找到 我的动态地址的?setemap这些提交的也是静态地址。用的是eyoucms系统 , URL模式: 设置了静态页面
我其他的站都是收录的静态路径。就 这个站目前收录的是动态路径。

虽然现在动态地址不影响seo,但我还是想让他只收录静态地址。

谁有好的建议?robots屏蔽动态后(感觉屏蔽会影响收录吧?),搜索引擎会去收录静态地址?
现在想做的是能不能引导搜索引擎去收录静态地址,目前动态地址的收录也保留。

婷姐 发表于 2024-10-14 21:22:53

robots一旦屏蔽动态后,蜘蛛数量会大跌,这种情况只能说蜘蛛弱智吧,我的discuz论坛遇到这个问题已经多年了,之前还想尽了一切办法去纠正,后来算了,唉

IT618发布 发表于 2024-10-14 21:23:22

百度:能收录就不错了,还要求收录静态页!

浅生 发表于 2024-10-14 21:24:01

能收录就不错了,还要求收录静态页!

Crystαl 发表于 2024-10-14 21:24:19

下一位来回答

浅生 发表于 2024-10-14 21:24:26

只要有你一条动态链接 蜘蛛瞬间就爬完你全部的动态链接了不用纠结

Crystαl 发表于 2024-10-14 21:25:02

有没有流量?没流量 就不浪费时间研究这个了

IT618发布 发表于 2024-10-14 21:25:28

它想收什么就收什么不存在robots

Crystαl 发表于 2024-10-14 21:25:40

为什么会有动态链接    设置的静态   理论应该都是静态了

浅生 发表于 2024-10-14 21:26:35

不是哥们,你有强迫症哟:gpt4o给你分析:1. 内链结构问题
你的站点中可能存在动态URL的链接,百度爬虫会沿着这些链接进行抓取和索引,即使静态URL也存在。检查是否有未隐藏的动态链接,如页面中的链接、分页链接或参数链接等。
2. Sitemap 提交的问题
尽管你在 Sitemap 中提交的是静态URL,但如果站点中同时存在动态和静态链接,爬虫可能会抓取动态链接。检查你提交的 sitemap.xml 中是否仅包含静态URL。
3. 301 重定向设置不当
检查是否为动态URL设置了301重定向指向静态URL。如果没有设置,当爬虫抓到动态URL后,它会认为动态URL是合法的并收录。
4. 外部链接引用
可能存在其他网站引用了你网站的动态链接,从而导致百度爬虫访问到这些链接并收录。使用百度站长工具查看哪些外链指向了你的动态URL。
解决方案建议:

[*]使用 Robots.txt 禁止动态URL 的抓取

[*]你可以在 robots.txt 文件中设置屏蔽动态URL的规则。例如,如果你的动态URL中带有 ?,可以使用:User-agent: *Disallow: /*?*

[*]这将屏蔽带有 ? 参数的URL的抓取。注意,这可能会使百度停止抓取这些动态链接,但也有可能影响到现有的动态页面的索引。


[*]确保 Sitemap 只提交静态链接

[*]定期检查和更新 sitemap.xml 文件,确保其中只包含静态URL,并在百度站长平台上重新提交。

[*]设置 301 重定向

[*]对于已经被百度收录的动态链接,可以设置301重定向,将这些动态URL重定向到对应的静态URL。这样,搜索引擎会逐渐将动态URL替换为静态URL进行索引。

[*]例如,可以在 Nginx 或 Apache 中设置类似以下的重定向规则:rewrite ^/path/to/dynamic?(.*)$ /path/to/static permanent;
[*]这可以引导搜索引擎抓取和收录静态URL。


[*]使用 Canonical 标签

[*]在动态页面的 <head> 部分添加 canonical 标签,将其指向静态页面的URL。这可以帮助搜索引擎理解哪个URL是首选的,从而优先收录静态URL。<link rel="canonical"/>

[*]通过百度站长工具进行抓取频次控制

[*]在百度站长工具中,你可以设置抓取频次,并查看百度对你站点的抓取情况。通过调整抓取频次,优先提交和抓取静态页面,降低动态页面的抓取频率。

页: [1] 2
查看完整版本: 请教一下,百度只收录动态地址,静态地址不收录。

创宇盾启航版免费网站防御网站加速服务