文中的文本及图片来自互联网,仅作学习培训、沟通交流应用,不具备一切商业行为,如有什么问题请立即在线留言以作解决 。
下列文章内容一级Python技术性 ，创作者派森酱
刚触碰Python的初学者 、新手 ，能够拷贝下边的连接去免费在线观看Python的基本新手入门视频教学
https://v.douyu.com/author/y6AZ4jn9jwKW
序言
今日在知乎上见到一个有关【珍爱网谈对象可靠吗？】的探讨 ，在其中关心的人有1903，被访问 了1940753次 ，355个回应中大部分全是不可靠 。用Python抓取珍爱网的数据信息是不是能证实它的不可靠？
一 ，数据收集
在PC端开启世纪佳缘网站，检索20到三十岁 ，不限地域的女友
翻了两页寻找一个search_v2.php的连接 ，它的返回值是一个不规律的json串，在其中包括了呢称，性別 ，是不是配婚 ，搭配标准这些
点开Hearders拖到最下边，在它的主要参数中sex是性別 ，stc是年纪 ，p是分页查询，listStyle是有相片
根据url 主要参数的get方法 ，爬取了10000页的数据信息累计240116
必须安裝的控制模块有openpyxl ，用以过虑独特的标识符
# coding:utf-8
import csv
import json
import requests
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
import re
line_index = 0
def fetchURL(url):
headers = {
'accept': '*/*',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400,3043552944961503700'
}
r = requests.get(url, headers=headers)
r.raise_for_status()
return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")
def parseHtml(html):
html = html.replace('\\', '')
html = ILLEGAL_CHARACTERS_RE.sub(r'', html)
s = json.loads(html,strict=False)
global line_index
userInfo = []
for key in s['userInfo']:
line_index = line_index 1
a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' '))
userInfo.append(a)
with open('sjjy.csv', 'a', newline='') as f:
writer = csv.writer(f)
writer.writerows(userInfo)
if __name__ == '__main__':
for i in range(1, 10000):
url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' str(i) '&f=select&listStyle=bigPhoto'
html = fetchURL(url)
print(str(i) '页' str(len(html)) '*********' * 20)
parseHtml(html)二，去重复
在解决数据信息除掉反复的情况下发觉有许多反复的 ，还以为是编码写的有什么问题呢 ，查了好长时间的bug最终才发觉网址在100页上仅有数据信息有许多反复的，下边2个图分别是110页数据信息和111页数据信息 ，是否有很多熟面孔。
110页数据信息
111页数据信息
过虑反复后的数据信息只剩余 1872 了 ，这一水份还好大
def filterData():
filter = []
csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))
i = 0
for row in csv_reader:
i = i 1
print('已经解决：' str(i) '行')
if row[0] not in filter:
filter.append(row[0])
print(len(filter))
