robots文件寫法，讓蜘蛛快速抓取內容

　　在seo優化技術中，robots是一個txt文件，而非參數，所以不要混淆。

　　robots.txt文件的主要功能告訴搜索引擎蜘蛛爬蟲的范圍，應該爬蟲的目錄和禁止爬蟲的目錄。通常在根目錄下。

　　在seo優化技術中，什么時候使用Robots文件比較合理?

　　首先，我們遇到了網站升級。舊版本有很多網頁，在新版本的一些頁面下面不存在。在這種情況下，我們可以通過Robots文件告訴蜘蛛不要再抓住這些被刪除的頁面。

　　站點重復頁太多，如同時生產動態和靜態兩種頁，重復頁太多，占用了蜘蛛大量的爬行時間，為了解決這一問題，我們可以禁止蜘蛛在Robots文件中抓取動態頁。

　　第二：網站內容不方便公開，但我們為了以后查看方便，可以用Robots文件告訴蜘蛛不要爬行。

　　Robots詳細說明文件的寫法:

　　示意:允許搜索引擎抓取。

　　User-agent:*

　　Allow:/anc/see

　　Allow:/tmp/hi

　　Allow:/joe/256

　　Disallow:/cgi-bin/

　　Disallow:/tmp/

　　Disallow:/peixun/

　　如果網站允許搜索引擎抓取寫作方法:

　　User-agent:*

　　Allow:/

　　說明：允許搜索引擎抓取所有內容。

　　Alow是允許蜘蛛爬行的頁面，而Disallow背后是不允許蜘蛛訪問的路徑和文件。

　　特殊網站Robots案例：

　　(1)只允許訪問某個目錄下的后綴文件。這里只允許訪問帶有$符號的網站。

　　User-agent:*

　　Allow:.htm$

　　Disallow:/

　　(2)禁止索引站點中的所有動態頁面。這里限制訪問帶?的網站。例如，index.asp?id=1。

　　User-agent:*

　　Disallow:/*

　　(3)使用*來限制訪問帶有后綴的域名。以下是禁止訪問admin目錄下的所有htm文件。

　　User-agent:*

　　Disallow:/admin/*.htm。