Python 爬虫下篇

第七篇

Python学习，再爬一个网站

前文，下载了一个图片网站，但是素材还是不够，我希望的是GIF素材，所以又找了一个网站。

下载这些图片的目的，是在进行动图创作、视频编辑的时候，感到素材太少，所以需要爬以下，获得一些素材。

顺便打下小广告，如果有喜欢制作动图的话，可以下载我打造的软件：任性动图

如果喜欢视频编辑的话，可以下载我的另一款软件：任性小视频

第一步，将获得所有主类别

根据主类别，创建本地目录，

将主类别对应的网址，下载下来

看网页源码

创建好的主类别如下

代码如下：

目前，我们将主类别创建成功了，而且主类别目录下，是其对应的网页

第二步,分析主类别网页，创建相应子类别

下图为主类别网页

网页源码如下：

子类别位于class=cat的DIV下

标签的对应的类 class="sidebar-letter"

下面，我们加载这个主类别网页，然后，在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

然后获得子目录下存放的TXT网页，对此网页进行解析，获得所需的子类别信息，

代码：

最后，根据子类别信息，创建子类别目录，及子类别对应的网页

至此，我们将原网站中对应的类别信息，已经下载下了。

代码：

第八篇

推倒前面代码，用递归算法重写

我发现，这个网站，并不是严格的几层分类，分类层数不一定，又仔细看了下源码，不管是主分类网页，还是次分类网页，他们的div的类别都是相同的。

而A分类下的子类别accordions下，可能还有子分类，也可能没有子分类。

判断accordions下还没有子分类的方式：

下载网页

看看此网页中是否还有

如果还有，则继续创建类别

这是一个递归创建的过程，所以我将上面的程序重新推到，重新写了个递归算法。

用这几句代码，就可以正确的创建网站类别了。

获得所有分页信息

到目前为止，我们创建好了网站类别，并且获得了每个类别所链接的网址，其中最底层的类别所对应的网址，就是图片展示列表。

看一下网页，

图片展示是分页形式的，看下源码

分页信息如上，

分页位于class=pagination的

标签下，我们获得了首页，现在只需获得最后一页就行，最后一页保存在ul的末尾 last page ,我们获得lastpage的索引，中间的页面改变下索引就可以了。

下面我们要做的是获得所有分页信息

为此，我写了递归函数：

针对这个网页的分页形式，重写了获得分页函数

有了这两个函数之后，我们就可以将所有的分页都下载下来了。

下载下来后，下一步就是下载每个分页对应的图片了。

根据所有分页文件，下载图片

书接上回，我们已经递归创建了类别，获得了所有分页信息，下一步就是根据分页信息获得所有的图片。

为此，我们再看看网页，红线部分的图片，就是我们要抓取的图片。

看下对应的源码：

也就是说，我们要获取这个div下的所有IMG标签

为此写了个获得指定DIV下所有IMG标签的函数

分两步，第一步，找到分页文件

第二步，解析分页文件，并下载img

这其中又涉及到了解析，解析部分我想单独放在一个文件中，这个文件就是作为封装各种解析来用的。

最后就是多线程方式下载，

下载我也单独放到一个文件中了，这个文件打算主要做下载用

总结：下载网站中的图片，分成三个步骤：

1、根据网站类别，创建本地类别

2、获得所有分页

3、根据分页，下载图片

至此，爬图片过程，就告一阶段，下节主要介绍下，这一阶段所用的知识及逻辑组织方式

第十篇

本图片爬虫工程，组织框架

初次使用python,没什么组织，只是开发过程中的逻辑梳理下

一个主程序，用于分析网站，根据网站图片分类，创建本地类别，获得所有分页，最后下载所需图片。

Common.py 常用功能

Down.py 下载功能

MyThread.py 多线程，与下载结合，实现多线程下载

Parse.py 解析

大体逻辑上，是按这个组织的，当然一开始是写在一个文件中的，不过发现那样太乱，不利于重复利用，于是就慢慢的分离出这几个文件。

现在，脉络是这样，不过耦合度还是挺多的，先不管了，有机会再研究的话，再进行完善。

工程发布到github，有一个网站是日本的，可以尽情爬取，另一个网站网址省去了，避免多人爬取，直接把人家的网站挂掉，就像有人如果爬我的网站，差点把我的网站弄瘫痪了，我也是不愿意的：》

Github:

https://github.com/gudianxiaoshuo/myPython

对您有所启发的话，用支付宝扫下红包奥。。。

Python 爬虫 下篇