robots.txt文件该怎么写?

这一难题相必也紧紧围绕着许多 SEO新手好长时间了吧,那麼今日SEO-趣快排就教大伙儿该怎么写robots.txt文本文档 。

“robots.txt ”文件包括一条或大量的记录 ,这种记录根据空白行分离(以 CR ,CR/NL, or NL 做为结束符),每一条记录的格式以下图示:

“: ” 。

在该文件中能够应用#开展注释 ,实际操作方法和 UNIX 中的国际惯例一样。该文件中的记录一般以一行或几行 User-agent 刚开始,后边再加多个 Disallow 行,具体情况以下:

User-agent:

此项的值用以叙述搜索引擎 robot 的姓名 ,在"robots.txt"文件中,假如有好几条 User-agent 记录表明有好几个 robot 会遭受该协议书的限定,对该文件而言 ,最少要有一条 User-agent 记录。假如此项的值设成*,则该协议书对一切设备平均合理,在"robots.txt"文件中 , "User-agent: *" 那样的记录只有有一条 。

< alt="" aria-describedby="caption-attachment-692" class="size-full wp-image-692" height="350" sizes="(max-width: 550px) 100vw, 550px" src="https://www.seogurublog.com/wp-content/uploads/2018/01/t-8.jpg" ="https://www.seogurublog.com/wp-content/uploads/2018/01/t-8.jpg 550w, https://www.seogurublog.com/wp-content/uploads/2018/01/t-8-300x191.jpg 300w" width="550"/>

robots.txt文本文档该怎么写

„Disallow:

此项的值用以叙述不期望被访问到的一个 URL,这一 URL 能够是一条详细的相对路径,也

能够是一部分的 ,一切以 Disallow 开始的 URL 均不容易被 robot 访问到。比如"Disallow: /help"

对/help.html 和/help/index.html 也不容许搜索引擎访问 ,而"Disallow: /help/"则容许 robot 访问/help.html,而不可以访问/help/index.html。

一切一条 Disallow 记录为空,表明该网址的全部一部分都容许被访问 ,在"/robots.txt"文件中,最少要有一条 Disallow 记录 。假如 "/robots.txt"是一个空文件,则针对全部的搜索引擎robot ,该网址全是对外开放的。

全文连接:www.seogurublog.com/591.html

本文版权归qu快排seo www.sEoguRuBlog.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系QQ√61910465