事情是这样的，闲得没事让AI帮忙看下SEO优化问题，豆包就说了，我网站没做301，搜索引擎会同时收录 http://bbs.0816y.com/    和http://bbs.0816y.com/index.php 两个首页，导致分开权重了，然后就教我弄301，尝试了几次，因为网站目录和绑定域名不一样，折腾了好久都没做好301，于是豆包就建议我 直接把 robots.txt  加一个屏蔽搜索引擎搜索 index.php 就不会收录两个首页来分权重了


好，我就加了，平常就习惯用豆包和 deepseek 两个对比，我发现deepseek给的答案完全相反，叫我千万别加，否则后果很严重，我就郁闷了，以前两家意思都相近，这次完全唱反调了，我就来官网问下，开发大大或懂SEO的，有必要禁止index.php被抓取吗？