1、如果你希望搜索引擎收錄網(wǎng)站上所有的內(nèi)容，那么就不要建立robots文件。

  2、如果同時(shí)存在動(dòng)態(tài)和靜態(tài)鏈接，那么建議屏蔽動(dòng)態(tài)鏈接。

  3、robots只能是屏蔽站內(nèi)文件的，對(duì)站外文件沒(méi)有屏蔽功能。

  4、User-agent，Allow，Disallow，Sitemap的首字母都是大寫(xiě)的。

  5、User-agent，Allow，Disallow，Sitemap的冒號(hào)后面都是有空格的，沒(méi)有寫(xiě)空格直接寫(xiě)接下來(lái)的內(nèi)容會(huì)出錯(cuò)。

  6、網(wǎng)站通常會(huì)屏蔽搜索結(jié)果頁(yè)面。因?yàn)樗阉鹘Y(jié)果頁(yè)和正常展示的內(nèi)容頁(yè)相比，標(biāo)題和內(nèi)容上相同的，而這兩個(gè)頁(yè)面鏈接是不同的。這樣就會(huì)造成內(nèi)鏈之間相互競(jìng)爭(zhēng)，造成內(nèi)部資源損耗。

  7、建議屏蔽js文件。Disallow: /*.js$，以 .js 結(jié)尾的路徑統(tǒng)統(tǒng)被屏蔽，這樣就屏蔽了js文件。

  8、路徑是區(qū)分大小寫(xiě)的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。

  9、robots.txt會(huì)暴露網(wǎng)站相關(guān)目錄，寫(xiě)robots.txt時(shí)要考慮到這一點(diǎn)。