最新消息:XAMPP默认安装之后是很不安全的,我们只需要点击左方菜单的 "安全"选项,按照向导操作即可完成安全设置。

手把手教你用Python网络爬虫实现小说下载

XAMPP案例 admin 906浏览 0评论

今日鸡汤
潮平两岸阔,风正一帆悬。

今天要跟大家分享一个小说爬取案例——–起点小说的小说下载。

在做这个案例之前,我们需要对其进行分析,

1.界面分析,如图:

es55

通过分析很容易就找到了我们的get请求参数,然后获取相应页面的小说名和链接:

es055

获取到数据之后,我们就随机挑选一篇小说来进行下载,我们选第一篇,

es0055

然后打开它的文章目录,可以看到是这样的,如图:

es00055

基本上这篇小说很长,可以看到它卷一和卷二是免费的,后面的收费,那么今天我们就只爬免费的章节。

那么我们现在开始分析网页结构,如图:

es000055

那么,我们可以先把卷一的名字和章节数以及章节下的每个章节的名字都打印出来。

首先我们可以分析下这个网页地址,如图:

es0000055

https://book.qidian.com/info/1014243481#Catalog

发觉前面的没变,基本就是后面的变了,增加了一个info/1014243481#Catalog,下面开始分析:

info:信息的意思,

1014243481:小说对应的ID,

es00000055

#Catalog:数据补全,无太大意义

因为刚刚已经将文章链接的内容爬取出来,所以现在只需要拼接一个#Catalog 即可:

es54

下面我们就可以对它发起请求然后在分析它的页面了,首先发起get请求,按照前面的网页分析结构来看,我们应该这样写:

es054

可以看出,因为这里有异步加载,所以我们的请求不会一下子全部显示出来,需要不断的请求,当然最好加个延迟。

这样我们就获取到了这个页面所有的小说,也可以这样,因为我们没找接口,所以强行解析只能解析部分内容,但是也很全面了。如图:

es0054

找的还算挺详细,只不过没有找接口时所拿到的数据那么规范好看了。

转载请注明:XAMPP中文组官网 » 手把手教你用Python网络爬虫实现小说下载

您必须 登录 才能发表评论!