1、如果你希望搜索引擎收錄網站上所有的內容，那么就不要建立robots文件。

  2、如果同時存在動態(tài)和靜態(tài)鏈接，那么建議屏蔽動態(tài)鏈接。

  3、robots只能是屏蔽站內文件的，對站外文件沒有屏蔽功能。

  4、User-agent，Allow，Disallow，Sitemap的首字母都是大寫的。

  5、User-agent，Allow，Disallow，Sitemap的冒號后面都是有空格的，沒有寫空格直接寫接下來的內容會出錯。

  6、網站通常會屏蔽搜索結果頁面。因為搜索結果頁和正常展示的內容頁相比，標題和內容上相同的，而這兩個頁面鏈接是不同的。這樣就會造成內鏈之間相互競爭，造成內部資源損耗。

  7、建議屏蔽js文件。Disallow: /*.js$，以 .js 結尾的路徑統(tǒng)統(tǒng)被屏蔽，這樣就屏蔽了js文件。

  8、路徑是區(qū)分大小寫的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。

  9、robots.txt會暴露網站相關目錄，寫robots.txt時要考慮到這一點。