搜索引擎优化优化中robots一般用于站长约束搜索引擎拜访页面,所以说robots是网站跟搜索引擎爬虫间的协议,一般站长经过txt文本方法告诉搜索引擎爬虫被答应的权限,一般只需在根域项目录下,未设置目录拜访权限的文件爬虫都可以抓取的到,假设网站跟搜索引擎之间没有协议,将使不行预知的很多信息走漏到网上,这不是双方愿意看到的。
robots作用是什么:
1.假设网站改版了,整个文件夹都没有了的时分,这个情况下就要思索屏蔽掉整个文件夹。咱们可以运用robots来对这整个的文件夹中止屏蔽,例如网站里的ab文件夹因改版全都给删掉了,这个时分就可以这姿态设置:
User-agent: *
Disallow: /ab/
2.可以使用各种通配符对网站中止相对应的分配,例如我不想网站抓取我的一切图片,这个时分就可以运用$来中止设置。一般咱们常见的图片的格局是BMP?.jpg-w600、GIF、JPEG等格局。这个时分设置便是:
User-agent: *
Disallow: /.bmp$
Disallow: /.jpg-w600$
Disallow: /.gif-w600$
Disallow: /.jpeg-w600$
3.假设你只想某一个搜索引擎抓取你的信息,这个时分就可以用robots中止设置,例如:我只想我的网站被百度这个录入,而不想被别的搜索引擎录入。就可以使用robots中止设置。
User-agent: Baiduspider
Allow:
User-agent: *
Disallow: /
4.还可以使用*来屏蔽掉相关的URL,有些网站不答应搜索引擎抓取动态地址的时分可以使用这个*通配符来中止匹配设置。一般情况下动态URL的有一个特性便是有“?”这个时分咱们就可以使用这个特性来中止匹配的屏蔽:
User-agent: *
Disallow: /*?*
5.屏蔽一切的搜索引擎抓取信息,假设你的网站仅仅你的私密性的网站,不想太多的人知道的话,可以使用robots屏蔽掉一切的搜索引擎,例如你写的私家博客。你就可以把搜索引擎全都屏蔽掉。
robots与nofollow有哪些区别
robots文件是在根目录中的一个txt文本文件,里面用代码句子告诉蜘蛛什么可以抓取,什么不能抓取,从一初步就告诉了蜘蛛:“我有些东西不能让你看,请你主动绕开。”而nofollow特点的链接,意义是告诉蜘蛛这个链接你可以看看,可是跟我网站无关,不要给这个链接权重,这是比较直观的说法。
说得更粗浅点robots一初步就告诉蜘蛛咱们什么链接不要去抓取,而关于nofollow标签来说,他无法俭省咱们的蜘蛛资源,衔接中加了nofollow标签,蜘蛛还是会抓取这个链接,仅仅不传送权重,也便是咱们的网站不对这个链接传送权重。
业务咨询微信
今日已有165人获取方案