序言

文中的文本及图片来自互联网,仅作学习培训 、沟通交流应用,不具备一切商业行为,著作权归著作人全部,如有什么问题请立即在线留言以作解决

此次总体目标

爬取Q房网数据信息

https://shenzhen.qfang.com/newhouse

爬取总体目标数据信息:

  • 小区名字
  • 房屋出售情况
  • 房子总面积
  • 户型
  • 开盘
  • 拿房時间
  • 新楼盘详细地址
  • 市场价
  • 预估总价格

 

 

emmmm,看一下就可以了 ,没钱买没钱买

开发环境

  • python 3.6.5
  • pycharm

 

爬虫代码

导进专用工具

import requests import parsel import csv

 

分析网页页面,爬取数据信息

for page in range(1, 84): print('===============================已经爬取第{}页的数据信息================================================='.format(page)) url = 'https://shenzhen.qfang.com/newhouse/list/n{}'.format(page) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) selector = parsel.Selector(response.text) lis = selector.css('.list-result li') dit = {} for li in lis: title = li.css('.list-main-header a em::text').get() # 姓名 dit['题目'] = title status = li.css('.list-main-header i::text').get() # 是不是在售 dit['房地产情况'] = status space = li.css('.list-main div:nth-child(1) .space span::text').get() # 房屋出售总面积 dit['房屋出售总面积'] = space type_list = li.css('.list-main.fl p:nth-child(3) span a::text').getall() # 户型 type_str = '|'.join(type_list).strip().replace('\r\n', '').replace(' ', '') # 户型 dit['户型'] = type_str kp_time = li.css('.new-house-info > div:nth-child(2) > p.space.fl.clearfix > span::text').get() # 开盘 dit['开盘'] = kp_time cs_time = li.css('.new-house-info > div:nth-child(2) > p:nth-child(3)> span::text').get() # 出售时间 dit['出售时间'] = cs_time address = li.css('.list-main a:nth-child(3)::text').get() # 详细地址 if not address == None: address = address.strip() else: address = None dit['详细地址'] = address Price = li.css('.list-price .bigger .amount::text').get() # 市场价 dit['市场价'] = Price hj_Price = li.css('.list-price .smaller::text').get() # 预估总价格 dit['预估总价格'] = hj_Price

 

储存数据信息

f = open('房地产数据信息.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['题目', '房地产情况', '房屋出售总面积', '户型', '开盘', '出售时间', '详细地址', '市场价', '预估总价格']) csv_writer.writeheader() print(dit)

运行代码,实际效果如下图

 

文章来源于网络 ,如有侵权请联系站长QQ61910465删除
本文版权归趣快排营销www.seoguRubloG.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系✚Qq61910465