文中的文本及图片来自互联网,仅作学习培训、沟通交流应用,不具备一切商业行为,如有什么问题请立即在线留言以作解决。

下列文章内容一级Python技术性 ,创作者派森酱

刚触碰Python的初学者 、新手 ,能够拷贝下边的连接去免费在线观看Python的基本新手入门视频教学

https://v.douyu.com/author/y6AZ4jn9jwKW

 

序言

今日在知乎上见到一个有关【珍爱网谈对象可靠吗?】的探讨,在其中关心的人有1903,被访问 了1940753次 ,355个回应中大部分全是不可靠。用Python抓取珍爱网的数据信息是不是能证实它的不可靠?

 

一,数据收集

在PC端开启世纪佳缘网站,检索20到三十岁 ,不限地域的女友

 

翻了两页寻找一个search_v2.php的连接,它的返回值是一个不规律的json串,在其中包括了呢称 ,性別,是不是配婚,搭配标准这些

 

点开Hearders拖到最下边 ,在它的主要参数中sex是性別 ,stc是年纪,p是分页查询,listStyle是有相片

 

根据url 主要参数的get方法 ,爬取了10000页的数据信息累计240116

 

必须安裝的控制模块有openpyxl,用以过虑独特的标识符

# coding:utf-8
import csv
import json

import requests
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
import re

line_index = 0

def fetchURL(url):
    headers = {
        'accept': '*/*',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
        'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400,3043552944961503700'
    }

    r = requests.get(url, headers=headers)
    r.raise_for_status()
    return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")


def parseHtml(html):

    html = html.replace('\\', '')
    html = ILLEGAL_CHARACTERS_RE.sub(r'', html)
    s = json.loads(html,strict=False)
    global line_index

    userInfo = []
    for key in s['userInfo']:
        line_index = line_index   1
        a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' '))
        userInfo.append(a)

    with open('sjjy.csv', 'a', newline='') as f:
        writer = csv.writer(f)
        writer.writerows(userInfo)


if __name__ == '__main__':
    for i in range(1, 10000):
        url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p='   str(i)   '&f=select&listStyle=bigPhoto'
        html = fetchURL(url)
        print(str(i)   '页'   str(len(html))   '*********' * 20)
        parseHtml(html)

二,去重复

在解决数据信息除掉反复的情况下发觉有许多反复的 ,还以为是编码写的有什么问题呢,查了好长时间的bug最终才发觉网址在100页上仅有数据信息有许多反复的,下边2个图分别是110页数据信息和111页数据信息 ,是否有很多熟面孔 。

110页数据信息

 

111页数据信息

 

过虑反复后的数据信息只剩余 1872 了,这一水份还好大

def filterData():
    filter = []
    csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))
    i = 0
    for row in csv_reader:
        i = i   1
        print('已经解决:'   str(i)   '行')
        if row[0] not in filter:
            filter.append(row[0])
    print(len(filter))
文章来源于网络,如有侵权请联系站长QQ61910465删除
本文版权归趣快排营销www.SEOguruBLOG.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系QQ㊣61910465