什么是robots协议？
　　robots是网站和搜索引擎之间的一个协议。用来fangzhi一些不想被搜索引擎索引的页面或内容的抓取，而且可以吧sitemap地图的路径放在robots协议中，这样可以帮助网站地图的抓取。能够净化网站的健康度，jiangdi网站不健康内容收录。
　　robots协议怎么写？
　　robots的常用的命令一般有：
　　User-agent:*（这里的*代表的搜索引擎种类，这句话表示可以让搜索引擎都可以访问抓取这个网站。）
　　Disallow:（这个表示禁止的意思，一些不想让搜索引擎访问的页面可以把路径写下来。）
　　Allow:（这个表示允许的意思，想要搜索引擎访问页面可以把路径写下来。）
　　robots协议的作用
　　通过我们上面的内容，我们对robots也有了了解。当搜索网站时，会优先访问网站的robots协议，从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢？
　　1、如果没有robots，搜索引擎蜘蛛访问网站时依旧会先访问robots.txt，没有的话会返回404页面，影响虽然不大，但是也不好。
　　2、没有robots，搜索引擎蜘蛛默认抓取内容。这一点影响不是很大，但是还是取决于网站的内容，如果存在很多低质量的内容，建议还是使用robots进行xian制比较好。
　　综合上面所说的内容，robots协议还是加上比较好，没有很麻烦，我们一般会把robots放在FTP的根目录下，有益于蜘蛛的抓取。