很多刚接触SEO的朋友还不怎么了解robots是什么，其实robots是一个跟目录文件，虽然操作和用处极为简单，但是它在SEO优化推广中的有着至关重要的意义。

它的用处就是指定哪些搜索引擎蜘蛛可以抓取内容，以及禁止搜索引擎蜘蛛抓取网站的部分或全部内容。看到这里想必已经明白了吧，就是说不小心禁止某个搜索引擎抓取（比如百度），那么在这搜索引擎上就不会有收录更别说排名了，也就搜索不到网站里面的任何内容。

那么怎么使用呢？

Robots.txt 文件放在网站根目录下，并且该文件是可以通过互联网进行访问的。 例如：如果您的网站地址是 http://www.dgce.com.cn/那么，该文件必须能够通过 http://www.dgce.com.cn/robots.txt 打开并看到里面的内容。

如果要调整改动就需要通过FTP链接服务器进行改动了，云主机可以通过远程桌面直接修改，有些主机供应商的管理后台有支持文件控制的也可以直接操作修改。

里面涉及到的几个点分别是【User-agent】【Disallow】【Allow】【Sitemap】

User-agent：用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

Disallow：用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

Allow：用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

Sitemap：用于标注网站地图链接sitemap.xml，增加Sitemap谷歌为xml格式，百度为html格式

例如：

User-agent: Baiduspider【允许百度蜘蛛收录】

Disallow: User-agent: Sosospider【禁止搜搜蜘蛛收录】

Disallow: /bin/【禁止抓取bin文件里面的内容】

Allow：/product/【允许抓取product栏目类容】

Sitemap: http://www.dgce.com.cn/sitemap.xml【本站的网站地图是sitemap.xml】