数据爬虫

懒惰的搜狗蜘蛛众所周知，搜狗的网站蜘蛛少得可怜，即使百度蜘蛛一天几十万爬取，搜狗却只有几百,这是因为搜狗本身很懒惰，主动爬虫耗费资源很多，所以除了网站主页，其他页面搜狗几乎不怎么抓去，需要推送才会抓取。文子sir为了解决这个问题，自己纯手工码字写的搜狗推送软件工具，本来是python写的，为了给小白们使用，自己生成windows可执行的文

一、问答平台采集聚合程序下载地址：二、权重站操作技巧文章聚合软件程序介绍更新记录：2020.11.27 发布正式版V4.21 1. 优化标题自定义插入规则问题2. 新增小旋风蜘蛛池泛目录文章导出生成，自定义上传小旋风文章，提升文章质量2020.11.16 发布正式版V4.11 1. 修复部分采集规则2. 新增部分hui色行业需求,发布文章

文件上传从web到Java 前言一、js前端代码二、后端Java代码eclipse中的数据源配置：在server.xml中 < Host>标签里面加上如下代码：IDE配置数据源 总结 前言 博主最近太难了，又是毕业设计又是论文，还得天天加班。都快一个月没有更新总结了，今天分享一个曾今用过的文件上传

基于yolov5和deepsort的行人车辆的检测、跟踪和计数 - 实现了行人出入分别计数，沿着图像上下方向检测。 - 检测类别：行人、自行车、小汽车、摩托车、公交车、卡车。 -支持yolov5s.pt yolov5x.pt yolov5m.pt yolov5l.pt模型 代码、模型和demo视频下载地址：下载地址 环境配置： pip

熟悉编程的朋友应该不难理解，为什么字符串排序"10"会排在"2"的前面。因为字符串大小比较是对各字符的编码值逐个进行比较，“1”<“2”，所以"10"<“2”。 不过这不是本文想要达到的目标，本篇文章会用一行代码，让文本中出现的（任意多组）数字序号可以按照数字顺序进行排序。 〇、背景 最近在爬虫某漫画网站，帖子标题一般是这样

最近重新回顾了一下链表，在自己手动写了链表的生成以及相应的增删查改操作后，对链表的理解更加深刻，于是在leetcode上刷了对应的习题。 王争老师列举了一些链表必刷题，感觉有必要做一下这些习题。 链表的必刷题有： 单链表反转链表中环的检测两个有序的链表合并删除链表倒数第n个结点求链表的中间结点 文章目录 206. [反转链表]

文章目录 一.考试须知二.题解试题A：门牌制作1.题目2.解析3.源码试题B：寻找20201.题目2.解析3.源码试题C：跑步锻炼1.题目2.解析3.源码试题D：蛇形填数1.题目2.解析3.源码试题E

一、打包 1、打包.py文件 打包方法请查看另一篇文章: python3_将多个.py文件打包成exe程序并添加图标 二、制作安装包 1、准备已经打包完成的exe文件，如下图 2、下载NSIS VNISEdit编译器，下载完成后，运行NSIS.exe，选择HM VNISEdit(编译环境) 下载链接 3、文件中选择【新建脚本：向导】

明天就考试了，紧张啊~ 回顾了一下之前写过的一些程序，把最基本的整理了出来，希望关键时候别再忘了呀！小伙伴们，明天加油！ 目录 如何输入1个整数 如何输入两个整数，中间空格隔开 如何输入一行整数，空格隔开，储存至一列表 创建一列表（二维列表、全零列表） 进制转换 储存单位转换问题 有（无）向图 边数问题 二叉树 叶子数问题 Ascii值转

新手爬虫出现报错“ no such element: Unable to locate element” 简介 来自一个自学爬虫的Python小白的经历：通过网络上的教学视频，模仿编程。由于视频资源比较老旧，技术更新较快，所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题，包括已经解决和未解决的。再次申明，只是小白，只是简单

晋江文学城爬取小说评论情感分析 1. 收集数据1.1 爬取晋江文学城收藏排行榜前50页的小说信息 2. 数据加载和预处理2.1 格式转化2.2 数据去重2.3 短评去重2.4 添加情绪标签2.5 去除停用词和分词2.6 短评可视化 3. 训练模型3.1 建立训练数据集和测试数据集3.2 使用 sklearn 包

Python网络爬虫(零)：简介及安装 一、前言 最近一直在准备大数据的竞赛，接触了一些网络爬虫的知识，在网上查过一些资料，总觉得不是很系统，就在某宝上买了本Python网络爬虫的书。个人认为学习不应该是走马观花似的，并且一直以来都有想写博客的想法但又找不到持续更新的内容，正好接着这次学习网络爬虫的机会，用博客文章来记录学习过程。 二、开

Python学习第四天 前言数值列表与列表的深度分析元组 前言 今天是学习Python的第四天，学习干货的过程总是枯燥的，但是每次咱们的也不多是吧，也就20来分钟就能看完的，加油哦。当我们的基础学到一定程度之后，咱们可以去csdn发现更多有趣的python玩法，使整个过程变的有趣一点。 数值列表与列表的深度分析

文章目录 前言一、为什么想改?1. 强迫症2. 不方便3. 不稳定 二、过程1. 登入系统2.获取历史信息3.用历史信息构造请求体数据,post 三、使用(不发邮件版)四、代码(未阉割版)五、参考资料 前言 本工具仅供学习使用,大家注意遵守学校规章制度.如有身体不适及时上报. 使用seleni

文章目录 简介面向对象异常处理自定义包/模块封装多态 线程进程多任务迭代器生成器协程并发下载器 总结 简介 基础笔记中介绍了数据类型和文件操作等基本问题，如果想了解的更深入一些可以看看面试篇进阶部分主要包括面向对象思想、异常处理、迭代器、生成器和协程 面向对象 Python从

智能垃圾分类 2021.4.9，浙江省举办了第七届工程训练大赛，我们组参加的是垃圾分类的项目，我们组顺利挺进决赛，但是我们看决赛规则并没有标注多种垃圾分类，我们没有完全的准备好应对多种垃圾分类，所以与国赛是无缘了！ 图像识别 智能垃圾分类前言（1）软件安装准备（2）垃圾分类的训练模型（3）Qt界面设计总结 前言 随

申明：资料来源于网络及书本，通过理解、实践、整理成学习笔记。 文章目录 完整代码运行结果截图 完整代码 import requests, configparser, osclass CSDNGetAuthorRank:def get_author_rank(self):__conf = config

电脑指定路径下文件查找，并封装为可执行程序 1 需求2 简单的模板3 代码优化并设计可视化界面4 再接再厉尝试tkinter及全部代码5 封装小程序 软件网盘提取码：9qke 手动反爬虫，禁止转载：原博地址 https://blog.csdn.net/lys_828/article/details/115771446 知识梳理不易

PYTHON基础数据类型 整数 和我们生活中使用的整数一样1，2，3，4···100··· 都是整数，PYthon可以处理任意大小的整数。由于计算机使用的是二进制，所以在计算机中也常用二进制或者十六进制表示整数。相比十进制，python使用0b表示，比如0b0110，0b1100等来表示 十六进制除了0~9个是个数字以外，还使用了a,b,

python需要读取多个不同深度的文件夹下的某种指定格式的文件,该如何批量操作呢? 一. 常用函数介绍: 首先, 先介绍几个常用的函数: 1. os.listdir() os.listdir(path)  # 用于返回指定的文件夹包含的文件或文件夹的名字的列表。它不包括 . 和 .. 即使它在文件夹中。只支持在 Unix, Window

两数之和（浦发） 两数之和 我们保证输出结果必然存在且唯一，数组索引从1开始 只允许在solution方法内完成代码，不允许调用库函数，不允许在solution之外编写其他函数 思路 因为有序，双指针即可解决，注意溢出问题即可 code //C代码void solution(int* nums,int len_nums,int targ

python基础语法 文章目录 python基础语法前言一、python语法特点1.1注释规则1.2语句换行1.3一行写多个语句1.4代码块1.5缩进分层1.6模块 二、标准输入和输出2.1标准输入函数input()2.2标准输出函数print()2.3标准输入输出补充图 三、语法基础3.1变

Python算法学习[1]—算法简介&数据结构 AdamCY888     本系列Python算法学习博文，基于《Python算法详解-张玲玲》一书，编译环境为IDLE（Python 3.7 64-bit）。     博主系统计学方向，在学习Python算法之前，已经掌握了Python编程基础、Python数据挖掘与分析等

这里写目录标题 Python基操字符串常见数据类型及操作函数相关操作装饰器文件操作json序列化 小结 Python基操 对Python常用的基础知识整理回顾大部分操作使用代码块说明，IDE使用PyCharm 字符串 Python3中统一采用Unicode编码，也封装了字符串类strmystr

Windows10+YOLOv5训练自己的数据集 一、环境和配置1.1 安装anaconda1.2 在anaconda中安装pytorch虚拟环境1.3 安装CUDA和cudnn1.4 安装pytorch GPU版 二 源码测试2.1 下载源码2.2 安装依赖项2.3 测试2.3.1 下载权重文件2.3.2 测试

1. 写在前面的话   天天都在PC端运行Python代码的我，今天突然灵光一现，想着是不是能够在移动端运行Python代码呢？如果能够实现的话，家里的废旧手机就有用武之地了。 2. 安装环境 2.1 安装APK   根据搜索和调研，需要安装以下三个APK，即QPython3、QPython、QPy3.6。打包下载链接为https://

目录   1. property装饰器的基本用法 2. property装饰器的原理 3. 让属性可写、可删除 4. 获得原始方法 1. property装饰器的基本用法 在讲property装饰器之前，先来看一个例子： class MyClass:def __init__(self, word):self._word = worddef

前言在此之前，我们制作了网易云音乐下载器。但是网易云音乐无版权的歌曲利用那个下载器也是无法下载的。这时候就需要再搞一波事情。开发工具Python版本：3.6.4相关模块：requests模块以及一些Python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介音乐下载器：分析网页数据之后可以找到下

今天填一个坑，俄罗斯方块！！ 俄罗斯方块的移动不难实现，但是旋转就不太容易实现，究其原因是因为Python中没有数组这种数据结构，所以不能用矩阵的公式。今天把旋转做出来了，刚好整理一下，把之前的都整合在一起 俄罗斯方块-打印 功能：输入字母，打印俄罗斯方块的*图形 # 尽可能吧俄罗斯方块放在中间Tetris = {'L': [[1, 1]

plot函数 1、plot(x) (1)当x为一维实数数组，以1：n为横坐标，yj为纵坐标，绘制曲线（n为y的长度） x1=[1 2 3 4 5 6 7 8 9 10];figure(1)plot(y1) 运行结果如下： （2）当x为一维复数数组时，以横轴为实轴，纵轴为虚轴，在复平面上绘制（real(xj),imag(xj))的有序集合

老规矩，先上效果图 理论很简单，就是对图片操作，这里需要用到PIL的python包，里面有很好用的图像处理功能。 先打开图片，把图像调整大小。 img = Image.open(picPath)img = img.resize((picW, picH)) 然后读取灰度值，再把灰度值和字符对应起来就行。 from PIL import

函数 Outline ·1.作用 ·2.使用步骤 ·3.参数 ·4.返回值 ·5.说明文档 ·6.函数嵌套 ·7.变量作用域 ·8.多函数程序执行流程 ·9.返回值进阶 ·10.参数进阶 ·11.拆包和交换两个变量的值 ·12.引用 ·13.可变与不可变类型 ·14.递归 ·15.lambda表达式 ·16.高阶函数 1. 函数的作用 ·

文章目录 一、python实现批量更改目录名二、一些函数解释三、Blogger's speech 跑模型和测试一些批量操作时，常常需要一个或多个文件中的文件的命名格式具有一定的规律。有时候获取的数据又是从一些网站爬取下来的，数据名具有一定的不规律性，这是就需要我们去重命名这些文件。10，20个还好说，如果是上百个，上千个，甚至上万

python 批量处理nc文件-字符串拼接文件，有规律文件名 有文件如下： 观察文件发现这些文件名有一定的重复，重复的地方我们可以用字符串表示，不一样的地方可以用通配符（*）表示。 ##拼接文件名 str1='RSS_SMAP_SSS_L2C_r'str2='*'#r26259_str3='_FNL_V04.0.nc'str4

实现一个minishell（经验+3 ↑） 实现简易shell shell？shell的实现 shell？ 命令行解释器（本质就是一个程序），功能是将用户所要进行的操作传递给内核。 shell的实现 首先我们需要知道命令行开头的内容是啥。 为了区别系统的shell，我将自己写的用户名改为“ljl1”； #inclu

☞ ░ 老猿Python博文目录：https://blog.csdn.net/LaoYuanPython ░ 一、BeautifulSoup简介 BeautifulSoup是Python爬虫应用解析Html的利器，是Python三方模块bs4中提供的进行HTML解析的类，可以认为是一个HTML解析工具箱，对HTML报文中的标签具有比较

前言 OS模块虽然基础的时候已经学过了，但是谁让本人属于那种不用立马就忘的人呢，所以在在下爬取某个不可名状的男人都喜欢的网站的时候，在遇到爬取下来的数据需要保存的时候，就需要用到OS模块了 OS模块基础回顾 先回顾一下基础 OS模块用于操作文件夹(基于我的理解) import osos.mkdir("path") # 创建该路径 然后

官方文档 plot_surface( X, Y, Z, *args, norm=None, vmin=None, vmax=None, lightsource=None, **kwargs) 描述 绘制三维图 参数 X, Y, Z ：2D arrays 数据值rcount, ccount ：int 每个方向使用的最大样品数量。默认值为50

目录 数据的名字和种类——变量和类型 初探数据种类 数据类型 数值运算 比较运算 变量和赋值 变量的好处 用赋值更新变量 变量和数据类型的关系 总结 数据类型 数值运算 数值比较 变量和赋值 一串数据怎么存储——列表和字符串 列表（List） 字符串（String） 总结 不只有一条路——分支和循环 input()、print() 和 i

文件描述符？文件流指针？ 文件描述符、文件流指针及重定向 前言一、文件描述符是什么？二、文件描述符和文件流指针的关系三、重定向总结 前言 在C标准库的I/O中我们提到文件流指针，在系统调用i/O接口中提到了文件描述符。这次来看看这两个东西有什么区别 一、文件描述符是什么？ 由上图可知，文件描述符就是从0开

何为交集/差集/并集/补集? 我们项目中大多数是在与数组斗智斗勇,由于之前项目有使用到类似于差集这种思路，便一发不可收拾入了这个坑,在认真思考之后,发现实战项目中很多地方都可以用到这个知识点,于是便写个博客以记录心得感悟 首先要介绍一下何为交集/差集/并集/补集 PS:已经了解的同志们可以从目录直接跳转过去进行阅读 文章目录 何为交集

第十二届蓝桥杯模拟赛Python组（第三期） 文章目录 第十二届蓝桥杯模拟赛Python组（第三期）第一题第二题第三题第四题第五题第六题第七题第八题第九题第十题 第一题 问题描述 请问在1到2020中，有多少个数与2020互质,即有多少个数与2020的最大公约数为1。 答案提交 这是一道结果填空的题，