一:robots基本知识

robots协议书(也称网络爬虫协议书、智能机器人协议书等),“全名是爬虫技术清扫标准“(Robots Exclusion Protocol),网址历经robots协议书通告百度搜索引擎什么页面可以抓取 ,什么页面不可以抓取。

Robot.txt的实际效果?

可以让蜘蛛更高效率的匍匐网址

可以阻碍蜘蛛匍匐动态性页面,进而解决反复入录的难题

可以减少蜘蛛匍匐失效页面,节省网络带宽

可以屏蔽掉百度搜索引擎屏蔽掉一些隐私保护页面或是临时性页面

如何开创robots.txt文档呢?

右键桌面上——新建文本文档——重新命名为robots.txt(一切文档有必要小写字母)——撰写老规矩——用FTP把文档上(放进网站根目录下)传入室内空间

开创robots.txt要求注意的知识要点:

1、有必要是txt完毕的纯文本文档

2 、文件夹名称一切英文字母有必要是小写字母

3、文档有必要要放到网站根目录下

4、文档内的灶具有必要显示英文半角情况下

< alt="" aria-describedby="caption-attachment-221" class="size-full wp-image-221" height="293" sizes="(max-width: 488px) 100vw, 488px" src="https://www.seogurublog.com/wp-content/uploads/2017/09/t-7.jpg" ="https://www.seogurublog.com/wp-content/uploads/2017/09/t-7.jpg 488w, https://www.seogurublog.com/wp-content/uploads/2017/09/t-7-300x180.jpg 300w" width="488"/>

深圳市SEO

二:robots主要参数解說

User-agent

主要实际效果:用以勾勒百度搜索引擎蜘蛛的名字

举列:

1 、勾勒一切蜘蛛

User-agent:*

2、勾勒百度搜索蜘蛛

User-agent:BaiduSpider

百度搜索:BaiduSpider

Google:Googlebot

搜狗搜索:Sogou web spider

好搜:360Spider

MSN:MSNBot

有道:YoudaoBot

宜搜:EasouSpider

User-agent方法:

1、当robots.txt不以空的时段 ,有必要最少有一条User-adent记述

2 、同样的名字,只有有一条(比如User-agent:*),但是不一样蜘蛛 ,可以有好几条记述(比如:User-agent:Baiduspider和User-agent:Googlebot)。

Disallow

主要实际效果:用以勾勒不答应百度搜索引擎匍匐和抓取的URL 。

应用方法:

1、在robots.txt中最少要有一条Disallow

2、Disallow记述为空,则表达网址一切页面都答应被抓取。

3 、应用Disallow,每一文件目录有必要独自一人隔开申明

4、注意Disallow:/abc/(abc文件目录下边的文件目录不答应抓取 ,但是文件目录下边的html答应抓取)和Disallow:/abc(abc文件目录下边的文件目录跟html也不答应被抓取)的差别

 

深圳市SEO全文连接:https://www.seogurublog.com/220.html

本文版权归趣营销www.SEOgUrublog.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系QQ卍61910465