文中的文本及图片来自互联网,仅作学习培训、沟通交流应用,不具备一切商业行为,著作权归创作者全部,如有什么问题请立即在线留言以作解决
初见Scrapy
- 开发工具
- 创建新项目
- 创建网络爬虫
- 项目结构图
- 创建Item
- 剖析HTML
- 爬取网页页面
开发工具
运作服务平台：Windows 10
Python版本号：Python 3.6.1
Scrapy版本号：Scrapy 1.4.0
IDE：Sublime text3
电脑浏览器：chrome
下边大家进到文中的主题风格，爬取大家的第一个网页页面“去哪”的酒店餐厅大城市目录,图上鲜红色圈圈单位。
“去哪”：http://bnb.qunar.com/hotcity.jsp
创建新项目
scrapy startproject qunar
白框中是强调创建一个新网络爬虫。
创建网络爬虫
cd qunar
scrapy genspider hotel bnb.qunar.com
此后，大家的新项目算作基础创建好啦 ，在其中“hotel ”就是指网络爬虫的名字 ，“bnb.qunar.com ”网络爬虫的网站域名 。但是为了更好地便捷大家新项目起动，能够在新项目中新创建一个entrypoint.py文件 ，文档內容以下：
项目结构图
创建Item
创建一个新的Item便捷大家储存所爬取的数据信息 ，从爬取的网页页面中能够看得出，大家必须2个数据信息就可以了 ，一个是城市名称 ，另一个是大城市相匹配的URL 。
下边大家就来创建储存这两个数据信息Item:
上边QunarItem是由scrapy自动生成出去的，大家临时先无论它 ，假如你要立即用系统软件创建的哪个Item也是能够的。我这里是自身新创建一个 ，看上去比较好管理方法 。
剖析HTML
按F12进到微信开发工具，在按Ctrl Shift c 进到原素搜索情况 ，寻找包囊我们要爬取內容的div ，如图所示下所显示:
从图上能够看得出，A~Z各自在一个div中，因此 大家要是分析出一个div那别的25个div也就分析出来 。随后 ，我们在从右边中一层一层点进来 ，寻找第一个大城市“阿坝”，如下图所显示：
根据对图的观查 ，能够发觉 ，大家最先要寻找包囊因此 內容class= ”b_allcity ”的div,在从这一div中寻找全部class=”e_city_list ”的div，在从这当中寻找全部“li ”标识中的“a”标识 ，爬取“a ”标识中的文字及“href ”特性。
item大家早已创建好啦 ，对HTML网页页面也开展了剖析，下边就可以进到主题风格了“网络爬虫” ，有点儿小兴奋 。
爬取网页页面
开启spiders中的hotel.py文件 。这文档是系统软件帮大家创建的 ，系统软件帮大家创建了一下重要编码。如图所示
下边大家要是对那么编码稍微修改一点，并写成以前大家对HTML分析的编码就好了 。如图所示：
文中中我应用的是“BeautifulSoup ”来对HTML编码开展分析的 ，假如有没有装“BeautifulSoup ”的小伙伴们能够在命令窗口中立即安裝 ，安裝编码：
pip install bs4
写到这儿，编码就早已写完了，下边大家就来运作起來看一下实际效果怎样 。
在命令窗口键入：
python entrypoint.py
結果：
从图上能够看得出 ，我们要爬取的內容早已被大家爬取出来。是否感觉“so easy”呀！！！
