序言

文中的文本及图片来自互联网,仅作学习、沟通交流应用,不具备一切商业行为,如有什么问题请立即在线留言以作解决。

很多人学习python,不清楚从何学习。
很多人学习python,把握了基础英语的语法之后 ,不清楚在哪儿找寻实例入门 。
许多 早已做实例的人,却不清楚如何去学习更为深奥的专业知识。
那麼对于这三类人,我给大伙儿出示一个好的学习服务平台 ,免费领教程视频,电子书,及其课程内容的源码!??¤
QQ群:961562169

 

selenium

Selenium 是一个 Web 的自动化技术检测工具 ,最开始是为网址功能测试而开发设计的,如同打游戏用的按键精灵,能够按特定的指令全自动实际操作。

Selenium 检测工具立即操纵电脑浏览器中 ,如同真实的客户在实际操作一样 。Selenium 能够依据的命令,让电脑浏览器全自动载入网页页面,获取必须的数据信息 ,乃至网页页面手机截图 ,或是分辨网址上一些姿势是不是产生等。

控制模块安裝

pip install selenium

Google驱动下载详细地址:

https://npm.taobao.org/mirrors/chromedriver/
http://chromedriver.storage.googleapis.com/index.html

配备电脑浏览器驱动器:

将免费下载好的浏览器驱动器缓解压力,将缓解压力出的 exe 文档放进Python的安装文件下,也就是和python.exe同文件目录就可以。

或是

把驱动器和编码放到同一个途径里边~

明确总体目标网页页面

Selenium 便是仿真模拟人的行为去实际操作~ 依照步骤~

抓取內容:

  • 产品价格
  • 产品姓名
  • 销售量
  • 店铺名称
  • 发货产地

1 、获取输入框元素 ,键入要想检索的內容 这儿我们呢检索女士包的关键字

driver.find_element_by_css_selector('#q').send_keys('女式包包')

2、获取检索按键元素,搜索网页

driver.find_element_by_css_selector('.search-button').click()

3、会弹出来网页登陆

  • 计划方案一
    - 获取账户和登陆密码元素,用编码键入~ 有效设定好廷时 ,并不会出現短信验证码~
  • 计划方案二
    - 获取支付宝登陆元素,点一下手动式扫码登陆

    这里挑选计划方案二,计划方案一是行得通的 ,可是会账户密码,因此 这一大家能够自身去试着
driver.find_element_by_css_selector('#login-form > div.login-blocks.sns-login-links > a.alipay-login').click()

4 、获取产品列表页数据信息

和一般网络爬虫解析网站数据信息一样的~获取目录页标识,随后再二次获取 。

这儿建立一个词典 ,读取数据,便捷待会储存到csv文件。

lis = driver.find_elements_by_css_selector('#mainsrp-itemlist .item') dit = {} for li in lis: time.sleep(1) price = li.find_element_by_css_selector('.ctx-box .price strong').text '元' # 产品价格 dit['产品价格'] = price deal = li.find_element_by_css_selector('.ctx-box .deal-cnt').text # 交易量 dit['交易量'] = deal row = li.find_element_by_css_selector('.ctx-box .row-2 a').text # 产品姓名 dit['产品姓名'] = row shop = li.find_element_by_css_selector('.shop > a > span:nth-child(2)').text # 店铺名称 dit['店铺名称'] = shop city = li.find_element_by_css_selector('.row-3 > div.location').text # 送货详细地址 dit['送货详细地址'] = city

5、储存数据信息

最后一步便是储存数据信息了,操作过程了

f = open('淘宝大数据.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['产品价格', '交易量', '产品姓名', '店铺名称', '送货详细地址']) csv_writer.writeheader() csv_writer.writerow(dit)

6、换页点一下下一页

def next_page(): driver.find_element_by_css_selector('#mainsrp-pager > div > div > div > ul > li.item.next > a').click() driver.implicitly_wait(10)

7 、运作设计效果图

文章来源于网络 ,如有侵权请联系站长QQ61910465删除
本文版权归去快排wWw.seogUrublog.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系qq❉61910465