<option id="zcw1c"></option>
      <track id="zcw1c"></track>
    1. <track id="zcw1c"><div id="zcw1c"><em id="zcw1c"></em></div></track>
    2. <track id="zcw1c"><span id="zcw1c"></span></track>

      <tbody id="zcw1c"></tbody>

      SEO指南

      您現在的位置是:首頁>網站SEO

      網站SEO

      robots文件寫法,讓蜘蛛快速抓取內容

      seozuizhinan2021-05-25 10:01:24網站SEO3217來源:SEO指南
      在seo優化技術中,robots是一個txt文件,而非參數,所以不要混淆。這文件的主要功能告訴搜索引擎蜘蛛爬蟲的范圍,應該爬蟲的目錄和禁止爬蟲的目錄。在seo優化技術中,什么時候使用Robots文件比較合理?

        在seo優化技術中,robots是一個txt文件,而非參數,所以不要混淆。

        robots.txt文件的主要功能告訴搜索引擎蜘蛛爬蟲的范圍,應該爬蟲的目錄和禁止爬蟲的目錄。通常在根目錄下。

        在seo優化技術中,什么時候使用Robots文件比較合理?

        首先,我們遇到了網站升級。舊版本有很多網頁,在新版本的一些頁面下面不存在。在這種情況下,我們可以通過Robots文件告訴蜘蛛不要再抓住這些被刪除的頁面。

        站點重復頁太多,如同時生產動態和靜態兩種頁,重復頁太多,占用了蜘蛛大量的爬行時間,為了解決這一問題,我們可以禁止蜘蛛在Robots文件中抓取動態頁。

        第二:網站內容不方便公開,但我們為了以后查看方便,可以用Robots文件告訴蜘蛛不要爬行。

        Robots詳細說明文件的寫法:

        示意:允許搜索引擎抓取。

        User-agent:*

        Allow:/anc/see

        Allow:/tmp/hi

        Allow:/joe/256

        Disallow:/cgi-bin/

        Disallow:/tmp/

        Disallow:/peixun/

        如果網站允許搜索引擎抓取寫作方法:

        User-agent:*

        Allow:/

        說明:允許搜索引擎抓取所有內容。

        Alow是允許蜘蛛爬行的頁面,而Disallow背后是不允許蜘蛛訪問的路徑和文件。

        特殊網站Robots案例:

        (1)只允許訪問某個目錄下的后綴文件。這里只允許訪問帶有$符號的網站。

        User-agent:*

        Allow:.htm$

        Disallow:/

        (2)禁止索引站點中的所有動態頁面。這里限制訪問帶?的網站。例如,index.asp?id=1。

        User-agent:*

        Disallow:/*

        (3)使用*來限制訪問帶有后綴的域名。以下是禁止訪問admin目錄下的所有htm文件。

        User-agent:*

        Disallow:/admin/*.htm。


      發表評論

      評論列表(0人評論 , 3217人圍觀)
      ?還沒有評論,來說兩句吧...
      女人高潮一级A片,爽爽影院十八禁在线观看,纵欲丰满的杨贵妃.mp4

        <option id="zcw1c"></option>
        <track id="zcw1c"></track>
      1. <track id="zcw1c"><div id="zcw1c"><em id="zcw1c"></em></div></track>
      2. <track id="zcw1c"><span id="zcw1c"></span></track>

        <tbody id="zcw1c"></tbody>