爬虫在开发设计过程中也有很多多路复用的过程 ，这儿汇总一下 ，之后也可以省些事儿 。
多的人学习培训python，不清楚从何学习 。
很多人学习培训python ，把握了基础英语的语法之后 ，不清楚在哪儿找寻实例入门。
许多 早已做实例的人，却不清楚如何去学习培训更为深奥的专业知识 。
那麼对于这三类人，我给大伙儿出示一个好的在线学习平台 ，免费领教程视频 ，电子书，及其课程内容的源码！??¤
QQ群：1057034340
1 、基础爬取网页页面
get方式
post方式
2 、应用代理IP
在开发设计爬虫过程中常常会碰到IP被禁掉的状况 ，这时候就必须采用代理IP;
在urllib2包中有ProxyHandler类 ，根据该类能够设定代理浏览网页页面，以下编码精彩片段：
3、Cookies解决
cookies是一些网址为了更好地鉴别客户真实身份 、开展session追踪而存储在客户当地终端设备上的数据(一般历经数据加密) ，python出示了cookielib控制模块用以解决cookies ，cookielib控制模块的关键功效是出示可储存cookie的目标，便于于与urllib2控制模块相互配合应用来浏览Internet資源 。
编码精彩片段：
关键所在CookieJar() ，它用以管理方法HTTP cookie值 、储存HTTP要求形成的cookie、向传来的HTTP要求加上cookie的目标。全部cookie都储存在运行内存中 ，对CookieJar案例开展垃圾分类回收后cookie也将遗失，全部过程都不用独立去实际操作。
手动式加上cookie：
4、装扮成电脑浏览器
一些网址抵触爬虫的来访 ，因此对爬虫一律拒绝请求 。因此 用urllib2立即浏览网址常常会出現HTTP Error 403: Forbidden的状况 。
对一些 header 要尤其注意 ，Server 端会对于这种 header 做检查：
1.User-Agent 一些 Server 或 Proxy 会查验该值，用于分辨是不是电脑浏览器进行的 Request。
2.Content-Type 在应用 REST 插口时，Server 会查验该值 ，用于明确 HTTP Body 中的內容该如何分析 。
这时候能够根据改动http包中的header来完成 ，编码精彩片段以下：
5 、短信验证码的解决
针对一些简易的短信验证码，能够开展简易的鉴别 。大家只开展过一些简易的验证码识别 ，可是一些灭绝人性的短信验证码 ，例如12306，能够根据打码平台开展人力打码软件 ，自然它是要付钱的。
6 、gzip压缩
有木有遇到过一些网页页面 ，无论怎样转换格式全是一团错码 。嘿嘿，那表明你还不知道很多web服务具备推送压缩数据的工作能力 ，这能够将互联网路线上传送的很多数据削减 60% 之上 。这特别是在适用 XML web 服务项目 ，由于 XML 数据 的压缩率能够很高。
可是一般网络服务器不容易给你推送压缩数据，除非是你告知网络服务器你能解决压缩数据 。
因此必须那样改动编码：
它是重要：建立Request目标 ，加上一个 Accept-encoding 头信息内容告知网络服务器你可以接纳 gzip 压缩数据 。
随后便是解压缩数据：
7、线程同步高并发爬取
并行处理很慢得话 ，就必须线程同步了，这儿给个简易的线程池模版 这一程序流程仅仅简易地复印了1-10，可是能够看得出是高并发的。
尽管说Python的线程同步很可有可无 ，可是针对爬虫这类互联网经常型 ，還是能一定水平提高工作效率的 。
