Robots协议是什么,robots.txt文件有什么用

2020-10-10 09:00| 发布者: | 查看: |

Robots 是网站和搜引擎之间的一个协议。用来防止查找引擎抓取那些我们不想被索引到的页面或内容。前期是为了防止查找引擎抓取网站的一些隐私页面,不想公开展示的页面,Robots 的作用现已不在局限于网页的隐私了,如今现已是作为学习 SEO 的一个最基础的领域,可以有用提高网站的健康度、纯净度,降低网站废物内容收录

robots格局 User-agent:

是界说查找引擎的,指定查找引擎的爬取程序,假如想界说所有查找引擎请用 * ,

记住他不能单独使用,他要合作前面两个语法使用(随便一个就行了)

Disallow:

是禁止查找引擎抓取的途径。留意: / 表明根目录 (代表网站所有目录)。Disallow 禁止查找引擎把我们的网页放出来,就是我们不允许查找引擎收录,请记住是不允许查找引擎收录,并不代表他不能爬取了。这是两个概念,他仍是能爬的,他不是命令,他只是协议

Allow:

是允许的意思,但需要留意: 他的使用一般都是结合 Disallow 他不能单独呈现,意思是禁止爬取那个内容,加上 Allow 后意思是,除了可以爬取这个外其余的都禁止!

robots.txt文件的作用

上面我们了解了robots协议。大约就能知道,查找引擎拜访会首要拜访网站的robots.txt文件来获取抓取的内容,以及禁止抓取的内容。我们再往常交流中,很多站长都是想知道没有robots.txt文件对SEO有什么影响。下面就说说我的观点:

没有robots.txt的影响:

1、蜘蛛依然会抓取robots.txt,并返回404。这一点影响其实不大,可是肯定不能说是正面的影响

2、蜘蛛默认抓取所有内容。这一点影响大不大仍是取决于网站的内容。假如存在很多低质量的内容,建议仍是robots进行限制比较好

综上,仍是建议站长加上,毕竟不是什么难事,至于怎么写,可以参考:

《》

《》

来历:本文由原创撰写,欢迎分享本文,转载请保留出处和链接!
是一家从事SMT设备的代理,设计、出售及效劳的设备商,深圳三本建立的宗旨是为用户提供先进的设备和技能,既合乎用户现在出产需要且兼顾将来科技开展。此外,本司对用户提供的完善技能支撑,亦是本司成功的重点。
<
>

 
QQ在线咨询
售前咨询热线
18720358503
售后服务热线
18720358503
返回顶部