更新時間：2025-09-10 18:42:27
開發(fā)經驗
754最近看到高端SEO社群里有同學討論Robots相關問題，我們從實戰(zhàn)的角度，給大家講講怎么寫Robots寫法，以及在實戰(zhàn)中可能遇到的問題，都給大家講一下！希望可以幫助更多不懂的同學！
Robots定義
什么是Robots，簡單來講，其實Robots就是放在網站根目錄下的一個TXT文件，但是這個TXT文件對搜索引擎規(guī)定，哪些頁面可以訪問，哪些頁面不行。
Robots一般放在網站根目錄下，文件名固定為robots.txt的（全部小寫）、當搜索引擎要爬取我們網站的時候，會先讀一下robots.txt里面的內容，判斷哪些URL可以訪問，哪些不行，然后進行爬取、收錄。
Robots規(guī)則
常用的幾類語法：
User-agent: 定義搜索引擎的類型
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
Disallow: 定義禁止搜索引擎收錄的地址
舉個例子來講：User-agent: * Disallow: /
禁止所有搜索引擎訪問網站，(*)為通配符
Allow: 定義允許搜索引擎收錄的地址
User-agent: * Disallow: /a/ Allow: /a/b
如上面例子，限制搜索引擎抓取a目錄，但允許搜索引擎抓取a目錄下的b目錄
$通配符
User-agent: * Allow: .htm$
匹配URL結尾的字符。如下面代碼將允許蜘蛛訪問以.htm為后綴的URL：
*通配符
User-agent: * Disallow: /*.htm
告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止所有蜘蛛抓取所有htm文件：
Sitemaps位置
Sitemap: http://www.xxx.com/sitemap.xml
Robots心得
1、許多朋友都喜歡讓搜索引擎不抓取自己的后臺，于是將自己的后臺地址寫到robots.txt里面，其實個人不建議這樣做，因為考慮到網絡安全，許多Hack都喜歡通過robots.txt看大家的后臺，方便攻擊！
2、網站必須要有robots.txt，如果網站沒有robots.txt，搜索引擎隨意抓取的話，可能會抓取到一些低質量頁面，從而導致網站收錄、流量受到影響,如上圖是沒有robots.txt。
3、當我們做完robots.txt后，一定要去【百度站長工具平臺】抓取、測試robots.txt，以及測試URL是否可以抓取。
我們專注高端建站，小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復、物聯(lián)網開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
