<object id="oakae"></object><object id="oakae"></object>
<bdo id="oakae"><label id="oakae"></label></bdo>
<code id="oakae"><samp id="oakae"></samp></code>
  • <code id="oakae"></code><input id="oakae"><label id="oakae"></label></input><bdo id="oakae"><samp id="oakae"></samp></bdo>

    JSON在線解析

    限制目錄:

    每個路徑之前都要包含:"/"

    (留空為無)Sitemap:

    谷歌為xml格式,百度為html格式

    所有搜索引擎:
    • 允許
      拒絕
    國內搜索引擎
    • 百度
      默認
      允許
      拒絕
    • SOSO
      默認
      允許
      拒絕
    • 搜狗
      默認
      允許
      拒絕
    • 有道
      默認
      允許
      拒絕
    國外搜索引擎
    • 谷歌
      默認
      允許
      拒絕
    • Bing
      默認
      允許
      拒絕
    • 雅虎
      默認
      允許
      拒絕
    • Ask/Teoma
      默認
      允許
      拒絕
    • Alexa/Wayback
      默認
      允許
      拒絕
    • Cuil
      默認
      允許
      拒絕
    • MSN Search
      默認
      允許
      拒絕
    • Scrub The Web
      默認
      允許
      拒絕
    • DMOZ
      默認
      允許
      拒絕
    • GigaBlast
      默認
      允許
      拒絕
    特殊搜索引擎(機器人)
    • Google Image
      默認
      允許
      拒絕
    • Google Mobile
      默認
      允許
      拒絕
    • Yahoo MM
      默認
      允許
      拒絕
    • Yahoo Blogs
      默認
      允許
      拒絕
    • MSN PicSearch
      默認
      允許
      拒絕

    請將以上結果保存到記事本,命名為robots.txt上傳到網站根目錄

    工具簡介

    Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內容,或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。

    使用方法:

    Robots.txt 文件應該放在網站根目錄下,并且該文件是可以通過互聯網進行訪問的。
    例如:如果您的網站地址是 http://www.yourdomain.com/那么,該文件必須能夠通過 http://www.yourdomain.com/robots.txt 打開并看到里面的內容。

    格式:

    User-agent:

    用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則該協議對任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"這樣的記錄只能有一條。

    Disallow:

    用于描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow開頭的URL均不會被Robot訪問到。

    舉例:

    例一:"Disallow:/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。

    例二:"Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

    例三:Disallow記錄為空說明該網站的所有頁面都允許被搜索引擎抓取,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件,則對于所有的搜索引擎蜘蛛,該網站都是開放的可以被抓取的。

    #:Robots.txt 協議中的注釋符。

    綜合例子 :

    例一:通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄,以及 "/tmp/"目錄和 /foo.html 文件,設置方法如下:

    User-agent: *

    Disallow: /bin/cgi/

    Disallow: /tmp/

    Disallow: /foo.html

    例二:通過"/robots.txt"只允許某個搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允許名為"slurp"的搜索引擎蜘蛛抓取,而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容,設置方法如下:

    User-agent: *

    Disallow: /cgi/

    User-agent: slurp

    Disallow:

    例三:禁止任何搜索引擎抓取我的網站,設置方法如下:

    User-agent: *

    Disallow: /

    例四:只禁止某個搜索引擎抓取我的網站如:只禁止名為“slurp”的搜索引擎蜘蛛抓取,設置方法如下:

    User-agent: slurp

    Disallow: /

    更多參考資料 (英文版)

    工具導航地圖

    甘肃11选5软件