請教先進Discuz! X3.5 的內建robots.txt 問題，內建有下列4行︰


Allow: /data/attachment/


Allow: /data/avatar/


Allow: /data/cache/


Allow: /uc_server/data/avatar/


上面第1行是請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，是只同意網路蜘蛛抓取/data/attachment/這個而已，或是連同該目錄下所有的目錄一併抓取？


上面第2行請網路蜘蛛去/data/avatar/ 目錄抓取，這個目錄只有index.htm 及noavatar.svg 這兩個檔案，沒有其它目錄，index.htm 大小為0，noavatar.svg 查詢是個空白人頭，允許抓這兩個檔案對SEO 有影響嗎？


上面第3行是請網路蜘蛛去/data/cache/ 目錄抓取，這個目錄有非常多的js，及css，沒有其它目錄，抓取js 與css 對SEO 有幫助是嗎？沒有幫助的話其用途為何？


上面第4行是請網路蜘蛛去/uc_server/data/avatar/ 目錄抓取，這個目錄裡面跟2. 一樣只有index.htm 及noavatar.svg 這兩個檔案，但還有一個000目錄，這個目錄裡面是一些會員頭像圖，跟1. 問題一樣，網路蜘蛛會抓會連同抓取子目錄嗎？


最後就是如果robots.txt 裡面沒有Allow，也沒有Disallow 的目錄及檔案，網路蜘蛛會如何處置？


謝謝


我知道答案 回答被采纳将会获得1 贡献 已有0人回答