robots爬蟲協(xié)議，相信很多SEOer或個(gè)人站長都不會感到陌生，即使剛?cè)胄械腟EO小白也略有耳聞。對于SEO小白來說，只是聽過robots爬蟲協(xié)議并不了解robots協(xié)議真正意義和用法。
　　什么是robots協(xié)議
　　robots(中文翻譯為機(jī)器人)，robots協(xié)議即搜索引擎爬蟲協(xié)議，它是搜索引擎爬蟲與網(wǎng)站站點(diǎn)溝通的“橋梁”。網(wǎng)站站點(diǎn)通過robots文件中的聲明規(guī)則明確告知搜索引擎爬蟲哪些文件/目錄可以抓取，哪些文件/目錄不可以抓取。
　　注意：如果網(wǎng)站站點(diǎn)存在不希望搜索引擎爬蟲抓取收錄的內(nèi)容是，才有必要?jiǎng)?chuàng)建robots.txt文件;如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，則無需建立robots.txt文件。
 
 
　　robots.txt文件的存放位置
　　通常，網(wǎng)站的robots.txt文件放置在網(wǎng)站根目錄下，便于搜索引擎爬蟲第一時(shí)間抓取該文件。
 
　　robots.txt文件格式
　　1、robots文件通常包含以一條或多條User-agent開始，后面加上若干條Disallow或Allow。
 
　　2、User-agent:用來描述搜索引擎robot的名字。
 
　　3、如果存在多條User-agent記錄說明有多個(gè)robot會受到"robots.txt"的限制，至少要有一條User-agent記錄。
 
　　4、如果User-agent的值設(shè)為*，則對任何robot均有效，且"User-agent:*"這樣的記錄只能有一條。
 
　　5、如果有"User-agent:SomeBot"和若干Disallow、Allow行，那么搜索引擎爬蟲名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
 
　　6、Disallow:用來描述不希望被訪問的一組URL。
 
　　7、這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開頭的URL不會被 robot訪問。
 
　　8、比如："Disallow:/help"這條規(guī)則表示的是禁止robot訪問/help.html、/helpabc.html、/help/index.html等。
 
　　9、比如："Disallow:/help/"這條規(guī)則表示的是允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。
 
　　10、"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，robots.txt文件中，至少要有一條Disallow記錄。
 
　　11、 如果網(wǎng)站根目錄下robots.txt不存在或者為空文件，則對于所有的搜索引擎爬蟲來說，該網(wǎng)站都是開放的。
 
　　12、Allow:用來描述希望被訪問的一組URL。
　　13、與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL 是允許robot訪問的。
 
　　14、比如："Allow:/hibaidu"這條規(guī)則表示的是允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現(xiàn)允許訪問一部分網(wǎng)頁同時(shí)禁止訪問其它所有URL的功能。
 
　　15、使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url("*" 匹配0或多個(gè)任意字符，"$" 匹配行結(jié)束符)。