雄商科技,真实落地的网络营销团队!雄商科技,真实落地的网络营销团队!

真实落地的
网络营销团队!
400-15-91580
SEO运营干货
雄商首页 / SEO运营干货 / SEO必备之如何撰写robots协议规则

SEO必备之如何撰写robots协议规则

作者:小狮子 发布时间:2017-08-15 浏览量:783 文章来源:雄商科技官网

  网站运营要做SEO优化,如果SEO优化人员不了解robots爬虫协议,就有点太不应该了。所以不管你是SEO小白还是SEO老司机都必须熟练掌握robots爬虫协议,因为这是SEOer的基本功。好了,下面小狮子就带大家一起学习下robots协议的“动作要领”和“实兵演练”。

  robots协议是什么

  robots协议即搜索引擎爬虫协议,搜索引擎爬虫与网站站点沟通的“渠道”。网站站点通过robots文件“告诉”搜索引擎爬虫能“做什么”,不能“做什么”。

  小贴士:如果站点对搜索引擎爬虫完全“放行”,就没有必要建立robots.txt文件,只有网站存在不希望搜索引擎爬虫抓取的内容时,才有必要建立robots.txt文件。通常,网站的robots.txt文件放置在网站根目录下,便于搜索引擎爬虫第一时间抓取该文件。

SEO必备之如何撰写robots协议规则

  robots.txt文件格式

  1、通常robots.txt文件中包含以一条或多条User-agent规则行,然后其后会加上若干条Disallow或Allow规则行。

  2、User-agent:表示搜索引擎爬虫或者机器人的名字。

  3、如果存在多条User-agent记录说明有多个搜索引擎爬虫或者机器人会受到"robots.txt"的限制,至少要有一条User-agent记录。

  4、如果User-agent的值设为*,则对任何搜索引擎爬虫或者机器人均有效,且"User-agent:*"这样的记录只能有一条。

  5、如果有"User-agent:SomeBot"和若干Disallow、Allow行,那么搜索引擎爬虫名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

  6、Disallow:用来表示不希望被访问的一组URL。

  7、这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被搜索引擎爬虫或者机器人访问。

  8、比如:"Disallow:/help"这条规则表示的是禁止搜索引擎爬虫或者机器人访问/help.html、/helpabc.html、/help/index.html等。

  9、比如:"Disallow:/help/"这条规则表示的是允许搜索引擎爬虫或者机器人访问/help.html、/helpabc.html,不能访问/help/index.html。

  10、"Disallow:"说明允许robot访问该网站的所有url,robots.txt文件中,至少要有一条Disallow记录。

  11、如果网站根目录下robots.txt不存在或者为空文件,则对于所有的搜索引擎爬虫来说,该网站都是开放的。

  12、Allow:用来描述希望被访问的一组URL。

  13、与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

  14、比如:"Allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

  15、使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url("*" 匹配0或多个任意字符,"$" 匹配行结束符)。

  如何撰写robots协议规则

  1、禁止所有搜索引擎爬虫访问网站的任何内容

  User-agent: *

  Disallow: /

  2、允许所有搜索引擎爬虫访问网站的任何内容

  User-agent: *

  Allow: /

  3、仅禁止baidu搜索引擎爬虫访问网站的任何内容

  User-agent: Baiduspider

  Disallow: /

  User-agent: *

  Allow: /

  4、仅允许baidu搜索引擎爬虫访问网站的任何内容

  User-agent: Baiduspider

  Allow: /

  User-agent: *

  Disallow: /

  5、仅允许baidu及google爬虫访问网站的任何内容

  User-agent: Baiduspider

  Allow: /

  User-agent: Googlebot

  Allow: /

  User-agent: *

  Disallow: /

  6、仅允许baidu及360搜索引擎爬虫访问网站内容,并且禁止抓取所有图片和php网页内容

  User-agent: Baiduspider

  Allow: /

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.png$

  Disallow: /*.gif$

  Disallow: /*.bmp$

  Disallow: /*.asp$

  User-agent: 360Spider

  Allow: /

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.png$

  Disallow: /*.gif$

  Disallow: /*.bmp$

  Disallow: /*.asp$

  User-agent: *

  Disallow: /

  其他的robots爬虫协议规则,小狮子就不再给大家一一举例了。robots爬虫协议规则知识点相对比较多且琐碎,希望大家认真阅读并勤加练习。想要真正掌握robots爬虫规则技能一定要多练习,多思考,多总结。更多SEO优化干货,尽在雄商科技官网。


本文关键字: robots协议

SEO运营干货推荐

热门标签>>

推荐案例>>

建站咨询 售前咨询 售后咨询
关注雄商

关注雄商

免费咨询热线

400-159-1580

返回顶部
展开
Copyright © 雄商网络科技(上海)有限公司

您好,陈先生

贵司的网站已启动,正在设计阶段

欲了解更多信息,请致电:400-15-91580
了解建站流程>>