做SEO優(yōu)化的過程中，我們也比較注重robots.txt這個文件，下面我們來具體了解一下：
一、robots.txt基本介紹
robots.txr文件是一個純文本文件，可以告訴蜘蛛哪些頁面可以爬?。ㄊ珍洠?，哪些頁面不能爬取。
搜索引擎爬去我們頁面的工具叫做搜索引擎機器人【程序robot（又稱spider）】，也生動的叫做“蜘蛛”。
二. robots.txt文件放在哪里?
SEO優(yōu)化蜘蛛在爬去網(wǎng)站頁面之前，會先去訪問網(wǎng)站根目錄下面的一個文件，就是robots.txt。這個文件其實就是給“蜘蛛”的規(guī)則，如果沒有這個文件，蜘蛛會認為你的網(wǎng)站同意全部抓取網(wǎng)頁。如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍。
另外，robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。
舉例來說，當(dāng)robots訪問一個網(wǎng)站（比如http://www.seojigou.com）時，首先會檢查該網(wǎng)站中是否存在http://www.seojigou.com/robots.txt這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
三. robots.txt文件的格式
"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"
在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,詳細情況如下：
User-agent:
該項的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到該協(xié)議的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則該協(xié)議對任何機器人均有效，在"robots.txt"文件中，"User-agent：*"這樣的記錄只能有一條。
以上就是關(guān)于SEO優(yōu)化中robots.txt的相關(guān)內(nèi)容介紹，希望對大家有幫助。
深圳市云天下信息技術(shù)（集團）有限公司主營、網(wǎng)站優(yōu)化、SEO優(yōu)化、優(yōu)化公司、網(wǎng)站SEO、SEO公司、SEO推廣、網(wǎng)絡(luò)推廣、網(wǎng)絡(luò)推廣公司、網(wǎng)站推廣、網(wǎng)站推廣公司、網(wǎng)絡(luò)營銷、網(wǎng)站SEO優(yōu)化、網(wǎng)站優(yōu)化公司、SEO優(yōu)化公司、搜索引擎優(yōu)化、網(wǎng)站排名、快速排名、關(guān)鍵詞排名、關(guān)鍵詞優(yōu)化、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、網(wǎng)站制作、網(wǎng)站建設(shè)公司、網(wǎng)站設(shè)計公司、網(wǎng)站制作公司、整站優(yōu)化!官網(wǎng)：jsah.com.cn
