（在说正事之前，我要推荐一个福利：你还在原价购买阿里云、腾讯云、华为云服务器吗？那太亏啦！来这里，新购、升级、续费都打折，能够为您省60%的钱呢！2核4G企业级云服务器低至69元/年，点击进去看看吧>>>)

今天要跟大家分享一个小说爬取案例--------起点小说的小说下载。

在做这个案例之前，我们需要对其进行分析，

1.界面分析，如图：

通过分析很容易就找到了我们的get请求参数，然后获取相应页面的小说名和链接：

获取到数据之后，我们就随机挑选一篇小说来进行下载，我们选第一篇，

然后打开它的文章目录，可以看到是这样的，如图：

基本上这篇小说很长，可以看到它卷一和卷二是免费的，后面的收费，那么今天我们就只爬免费的章节。

那么我们现在开始分析网页结构，如图：

那么，我们可以先把卷一的名字和章节数以及章节下的每个章节的名字都打印出来。

首先我们可以分析下这个网页地址，如图：

https://book.qidian.com/info/1014243481#Catalog 

发觉前面的没变，基本就是后面的变了，增加了一个info/1014243481#Catalog,下面开始分析：

info：信息的意思，

1014243481：小说对应的ID，

#Catalog：数据补全，无太大意义

因为刚刚已经将文章链接的内容爬取出来，所以现在只需要拼接一个#Catalog 即可：

下面我们就可以对它发起请求然后在分析它的页面了，首先发起get请求，按照前面的网页分析结构来看，我们应该这样写：

可以看出，因为这里有异步加载，所以我们的请求不会一下子全部显示出来，需要不断的请求，当然最好加个延迟。

这样我们就获取到了这个页面所有的小说，也可以这样，因为我们没找接口，所以强行解析只能解析部分内容，但是也很全面了。如图：

找的还算挺详细，只不过没有找接口时所拿到的数据那么规范好看了。

本文转载自网络，原文链接：https://mp.weixin.qq.com/s/e8lwOK6chSSQ7GpyTlaEoQ