做SEO優(yōu)化的過程中，我們也比較注重robots.txt這個(gè)文件，下面我們來(lái)具體了解一下：
一、robots.txt基本介紹
robots.txr文件是一個(gè)純文本文件，可以告訴蜘蛛哪些頁(yè)面可以爬?。ㄊ珍洠?，哪些頁(yè)面不能爬取。
搜索引擎爬去我們頁(yè)面的工具叫做搜索引擎機(jī)器人【程序robot（又稱spider）】，也生動(dòng)的叫做“蜘蛛”。
二. robots.txt文件放在哪里?
SEO優(yōu)化蜘蛛在爬去網(wǎng)站頁(yè)面之前，會(huì)先去訪問網(wǎng)站根目錄下面的一個(gè)文件，就是robots.txt。這個(gè)文件其實(shí)就是給“蜘蛛”的規(guī)則，如果沒有這個(gè)文件，蜘蛛會(huì)認(rèn)為你的網(wǎng)站同意全部抓取網(wǎng)頁(yè)。如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問的范圍。
另外，robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。
舉例來(lái)說，當(dāng)robots訪問一個(gè)網(wǎng)站（比如http://www.seojigou.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.seojigou.com/robots.txt這個(gè)文件，如果機(jī)器人找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪問權(quán)限的范圍。
三. robots.txt文件的格式
"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"
在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,詳細(xì)情況如下：
User-agent:
該項(xiàng)的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來(lái)說，至少要有一條User-agent記錄。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在"robots.txt"文件中，"User-agent：*"這樣的記錄只能有一條。
以上就是關(guān)于SEO優(yōu)化中robots.txt的相關(guān)內(nèi)容介紹，希望對(duì)大家有幫助。
深圳市云天下信息技術(shù)（集團(tuán)）有限公司主營(yíng)、網(wǎng)站優(yōu)化、SEO優(yōu)化、優(yōu)化公司、網(wǎng)站SEO、SEO公司、SEO推廣、網(wǎng)絡(luò)推廣、網(wǎng)絡(luò)推廣公司、網(wǎng)站推廣、網(wǎng)站推廣公司、網(wǎng)絡(luò)營(yíng)銷、網(wǎng)站SEO優(yōu)化、網(wǎng)站優(yōu)化公司、SEO優(yōu)化公司、搜索引擎優(yōu)化、網(wǎng)站排名、快速排名、關(guān)鍵詞排名、關(guān)鍵詞優(yōu)化、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、網(wǎng)站建設(shè)公司、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站制作公司、整站優(yōu)化!官網(wǎng)：jsah.com.cn
>
制定SEO優(yōu)化方案對(duì)網(wǎng)站的好處>
SEO優(yōu)化應(yīng)該從哪些方面入手？>
企業(yè)網(wǎng)站SEO優(yōu)化方案，七大企業(yè)網(wǎng)站SEO技巧>
網(wǎng)站欄目?jī)?nèi)頁(yè)如何做SEO優(yōu)化？>
制定SEO優(yōu)化方案對(duì)網(wǎng)站的好處>
>
制作網(wǎng)站需要做好哪幾個(gè)方面？如何制作網(wǎng)站？>
兩個(gè)實(shí)用的快速建站方法科普>
在線網(wǎng)頁(yè)制作知識(shí)科普：建站需做好這4點(diǎn)>
需了解企業(yè)建站系統(tǒng)知識(shí)>
拖拽建站系統(tǒng)選擇、建站方法、利弊科普>
新手不會(huì)建設(shè)網(wǎng)站怎么辦？網(wǎng)站建設(shè)的知識(shí)>
軟件科技：關(guān)于商城建站的小知識(shí)~>
為什么要做響應(yīng)式網(wǎng)站？>
每天一個(gè)網(wǎng)站建設(shè)小知識(shí)>
