robots协议书是正确引导蛛蛛抓取网站地形图，也用于维护网站信息和比较灵敏信息内容，保证客户私家信息和隐私维护不被损害。存有于网站根目录正，以文件格式存有，留意robots文件夹名称不可以随意改变。
SEO高手为什么要懂robots?
书写：:表达关于某一爬虫，
:表达制止抓取
:容许抓取
.*通配符，表达悉数
.$结束符，表达以哪些结尾
/根域下就是指网站根目录
注：灶具显现英文情况下的，并且后边有一个空格符，首写有必要小写。
例：
1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接
2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接
3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录
4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档
5、User-agent:*Disallow:/*？*（？表达动态性符）制止抓取网站根目录下带？号的动态性衔接
6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档
7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”，容许抓取“a”目录下边的“b”目录。
8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录，容许抓取“a”目录中以“b”开端的文档。
邮箱：dgce@dgce.com.cn
地址：南城街道宏一路G1蜂汇1栋写字楼803、804
业务咨询微信
今日已有165人获取方案
业务咨询