【飞桨开发者说】：余志良，菲特（天津）智能科技有限公司项目经理，百度黄埔学院二期学员php

PaddleDetection 是百度飞桨推出的物体检测统一框架。支持现有的RCNN、SSD、YOLO等系列模型、支持 ResNet、ResNet-VD、ResNeXt、ResNeXt-VD、SENet、MobileNet、DarkNet等主干网络。针对不一样的业务场景（性能、目标大小、准确率等）能够选择框架中的不一样模块组合获得最适合的模型，实现任务。相比于tensorflow的Object_Detection,优点之一就是将YOLOv3这一目标检测的快速算法融合到了框架下。css

 

文章将以一个Yolov3识别水果的例子为说明，详解如何利用PaddleDetection完成一个项目。python

项目用到的工具 硬件：Win10(RTX2060)笔记本、某品牌服务器（4*T4）工业相机（Hikvision）软件：pycharm、VS2019。nginx

目录：git

一、环境部署github

二、数据集准备算法

三、训练sql

四、训练过程可视化api

五、模型导出bash

六、python进行单张/多张图片的预测

七、python+qt（给客户的演示demo）

八、C++进行单张预测（含编译简介）

九、C++预测代码封装成DLL、配合C#完成一个总体项目

十、扩展：关于PaddlePaddle代码数据读取的方式。

01

环境部署

1.1 安装PaddlePaddle

利用anaconda建立一个名字叫作paddle-detection的Paddle环境（备注：下文中命令提示窗口出现的（paddle）是指该项目环境的名称叫作paddle）。安装连接以下：

https://www.paddlepaddle.org.cn/install/quick

1.2 安装COCO-API

pip install Cython
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI

1.3 选择一个文件夹，下载PaddleDetection

第一种方式：直接从github官网上进行下载：

https://github.com/PaddlePaddle/PaddleDetection

第二种方式：使用git进行下载：

git clone https://github.com/PaddlePaddle/PaddleDetection.git

1.4 安装所需的Python其余依赖库

依赖库文档在requirements.txt中给出，可以使用

pip install -r requirements.txt

以下图所示是requirements.txt文档中的内容。

如图为requirements文件中的内容，图中所示的均为PaddleDetection的依赖库。

 

在下图所示内容中打“cmd”，而后出如今该路径的命令提示符。

激活环境，而且 pip install -r requirements.txt

 

而后运行

 

当显示Successfully…… ，基本上表示安装完成了，具体是否成功，下一步的测试验证。

1.5 确认测试经过

set PYTHONPATH=`pwd`:$PYTHONPATH
python ppdet/modeling/tests/test_architectures.py

备注：在paddle自带的文档中为export PYTHONPATH=`pwd`:$PYTHONPATH

export是Linux下的用法，在Windows下将exoprt改为set。

可是发现运行报错，报错内容以下：

错误提示发现缺乏“ppdet”这个模块，ppdet（其实就是paddle detection的一个缩写），可是咱们在项目的路径里面能够发现有这个模块，缘由就是，咱们的代码所在的路径没法读取到该文件下的代码，所以，咱们须要在代码中进行改进一下。

找到 ppdet/modeling/tests/test_architectures.py这个文件，而后添加红框所示的代码。备注，第二个红框里面的路径是个人项目路径。

出现如图所示的代码，表示运行成功。

至此，全部的运行环境已经配置成功。


02
数据集的准备

2.1 数据标注：

目前项目使用的数据集格式是VOC数据格式，使用labelimg做为标注工具，标注工具的下载安装见连接：
https://zhuanlan.zhihu.com/p/97807042

特别说明：项目中使用的数据集是PaddleDetection提供的演示示例数据集，下文将经过使用该数据集来讲明。

首先，下载该数据集，下载地址：https://pan.baidu.com/wap/init?surl=ZO8OlqvWuMk_sqOwlo56rg
提取码：vw3b
下载后以下图所示：

标注方式以下：

打开软件，并导入图片：

选取标注文件的保存路径：






点击Change Save Dir ，而后将标注文件保存在某一个路径下。



开始标注：点击Create\nRectBo---框选目标--命名（下图中命名为apple）--点击OK---点击Save（完成一张）--点击Next Image 标注下一张。

全部标注完成之后会生成不少的xml文件。

打开一个xml文件：

具体信息以下：

2.2 建立VOC数据集格式

其中Annotations存放标注生成的xml文件，JPEGImage存放图片，ImageSets存放对训练集和数据集的划分。ImageSet下有Main文件，Mian下须要创建一个label_list.txt。label_list.txt是指标注的目标的名称。其内容以下：

备注：train.txt、val.txt是根据下文中代码（该代码会命名为：get_list.py，放置在了数据集连接的文件里面）生成，分别是对训练集和验证集的划分：

接上文所述，是生成生成train.txt、val.txt的代码，该代码会将300张水果图片分红240张训练集和60张验证集。

import osimport random
train_precent=0.7xml="C:/Users/zhili/Desktop/fruit-detection/Annotations"save="C:/Users/zhili/Desktop/fruit-detection/ImageSets/Main"total_xml=os.listdir(xml)
num=len(total_xml)tr=int(num*train_precent)train=range(0,tr)
ftrain=open("C:/Users/zhili/Desktop/fruit-detection/ImageSets/Main/train.txt","w")ftest=open("C:/Users/zhili/Desktop/fruit-detection/ImageSets/Main/test.txt","w")
for i in range(num):    name=total_xml[i][:-4]+"\n"    if i in train:        ftrain.write(name)    else:        ftest.write(name)ftrain.close()ftest.close()

以下图是生成的train文件。

备注：在Main文件夹中生成的train.txt文件和val.txt文件仅仅是对数据集的划分，还须要进一步的利用以下代码（create_list.py，该代码是paddle提供的）生成含有路径信息以及图像和xml文件一一对应的文件。

import os
import os.path as osp
import re
import random


devkit_dir = './'
years = ['2007', '2012']




def get_dir(devkit_dir,  type):
    return osp.join(devkit_dir, type)




def walk_dir(devkit_dir):
    filelist_dir = get_dir(devkit_dir, 'ImageSets/Main')
    annotation_dir = get_dir(devkit_dir, 'Annotations')
    img_dir = get_dir(devkit_dir, 'JPEGImages')
    trainval_list = []
    test_list = []
    added = set()


    for _, _, files in os.walk(filelist_dir):
        for fname in files:
            img_ann_list = []
            if re.match('train\.txt', fname):
                img_ann_list = trainval_list
            elif re.match('val\.txt', fname):
                img_ann_list = test_list
            else:
                continue
            fpath = osp.join(filelist_dir, fname)
            for line in open(fpath):
                name_prefix = line.strip().split()[0]
                if name_prefix in added:
                    continue
                added.add(name_prefix)
                ann_path = osp.join(annotation_dir, name_prefix + '.xml')
                img_path = osp.join(img_dir, name_prefix + '.jpg')
                assert os.path.isfile(ann_path), 'file %s not found.' % ann_path
                assert os.path.isfile(img_path), 'file %s not found.' % img_path
                img_ann_list.append((img_path, ann_path))


    return trainval_list, test_list




def prepare_filelist(devkit_dir, output_dir):
    trainval_list = []
    test_list = []
    trainval, test = walk_dir(devkit_dir)
    trainval_list.extend(trainval)
    test_list.extend(test)
    random.shuffle(trainval_list)
    with open(osp.join(output_dir, 'train.txt'), 'w') as ftrainval:
        for item in trainval_list:
            ftrainval.write(item[0] + ' ' + item[1] + '\n')


    with open(osp.join(output_dir, 'val.txt'), 'w') as ftest:
        for item in test_list:
            ftest.write(item[0] + ' ' + item[1] + '\n')




if __name__ == '__main__':
    prepare_filelist(devkit_dir, '.')

 
这个时候的新生成的train.txt的内容以下：

最终生成以下所示的数据集格式以下，其中label_list.txt和Mian中的label_list.txt一致。train.txt文件和val.txt是新生成的图像-xml的名称路径对应文件。

该完成后的数据集做者放置在了项目文件夹下：dataset/fruit下，并命名为该文件夹为fruit-detection，以下图所示。

数据集生成后就能够根据以下的命令进行训练。
 

03
训练

在训练以前，首先了解模型的配置文件，如文章开头所述：PaddleDetection 是飞桨推出的物体检测统一框架。支持现有的RCNN、SSD、YOLO等系列模型、支持 ResNet、ResNet-VD、ResNeXt、ResNeXt-VD、SENet、MobileNet、DarkNet等主干网络。而实现咱们如何快速的完成不一样模型的训练体验，就是须要依靠配置文件的切换。

以下所示就是该项目配置文件（config文件）的路径：

如图下图就是咱们选取的深度学习的配置文件，咱们选取yolov3_mobilenet_v1_fruit.yml作为本项目的训练配置文件。该配置文件是使用YOLO v3的模型结构，同时主干网络为 Mobilenrt V1。

这些参数能够根据咱们本身的数据状况进行设计。

如设置：最大迭代步数：max_iters

      预训练模型的来源：pretrain_weights

      数据路径：dataset_dir

      Batch_size的大小：batch_size

       数据集类别：num_classes

须要着重关注点以下：须要根据本身的不一样数据集进行训练。

在将config文件配置好了之后，就能够进行训练

set PYTHONPATH=$PYTHONPATH:.
set CUDA_VISIBLE_DEVICES=0（默认只有一个GPU） 
python -u tools/train.py -c configs/yolov3_mobilenet_v1_fruit.yml --use_tb=True --tb_log_dir=tb_fruit_dir/scalar --eval

运行以下命令，便可开始训练

出现以下图所示现象，能够表示为训练正常，可等待训练结束。

关于训练命令的阐述：

-c configs/yolov3_mobilenet_v1_fruit.yml   用来指定配置文件

--use_tb 是否使用tb-paddle记录数据，进而在TensorBoard中显示，默认值是False

--tb_log_dir 指定 tb-paddle 记录数据的存储路径

--eval 是否边训练边测试

备注：

关于–eval参数的使用：

在训练中交替执行评估, 评估在每一个snapshot_iter时开始。每次评估后还会评出最佳mAP模型保存到best_model文件夹下，建议训练时候使用该参数，可使得完成训练后快速找到最好的模型。

关于预训练模型的来源：

在本案例中，预训练模型是经过一个连接方式在训练开始时候加载进行下载的，其实飞桨提供了丰富的预训练模型库，具体连接为：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.2/docs/MODEL_ZOO_cn.md

 

训练过程出现的一个错误：

做者使用的电脑是笔记本，显卡型号是RTX2060 显存为6G。在训练过程当中出现以下错误。

经过命令提示符中发现，居然出现了(7184, 7184, 3)这样大的图片，而自己数据像素多数为1000*1000左右。解决改问题的方式有两个:

第一个是修改配置文件中的bufsize这个参数，将该值由128改为64（备注，PaddleDetection新更新的配置文件文档中，已经将该值设置成为32），便可正常运行。在这里解释一下：PaddleDetection YOLOv3系列模型训练时，因为图像加强等预处理方式较多，默认会开启多进程加速，子进程完成图像读取，图像加强等预处理后，会将输出结果放到一个队列里面等待模型训练时获取，bufsize这个参数即为该队列的最大长度，该队列存储在内存中，若机器内存较小而且队列长度bufsize设置得较大，就会有上述报错，报错内容为内存不够，没法给队列继续分配内存。这个时候只要把bufsize调小一些保存内存足够放下队列便可。

第二个方式是修改配置文件中的ratio的参数，将该值由4.0改为了2.0，便可正常运行。PaddleDetection中设置了数据加强功能：在RandomExpand这种数据加强里，首先新建一张(原图大小 * ratio)大小的空白图片，而后在这张空白图片上随机找个位置，把原图贴上去，以后再把这张新图片缩放成原图大小。固然若是显存足够大的话，也能够按照默认值来。

04
训练过程可视化

训练期间能够经过tensorboard实时观察loss和精度值，启动命令以下：

tensorboard --logdir tb_fruit_dir/scalar

05
模型导出

当咱们训练完成后，在项目文件的output中能够看到咱们生成的模型文件，在代码中咱们设置模型每迭代200步保存一次，训练总共有20000步，所以会生成100个训练文件，因为咱们使用 --eval参数进行边训练边测试，所以咱们能够得到训练过程当中最好的模型文件，咱们将作好的模型进行导出。

执行以下命令：

python tools/export_model.py -c configs/yolov3_mobilenet_v1_fruit.yml --output_dir=./inference_model -o weights=output/yolov3_mobilenet_v1_fruit/best_model

最终导出以下所示：

特别备注：目前导出的模型使用是为了后面C++预测的，python预测目前不支持加载导出的模型。

06

模型预测

PaddleDetection给出的模型预测代码是infer.py。该文件在项目文件夹tools里面。改代码提供了两种预测方式第一种是单张图片预测，第二种是以一个文件夹中的图片进行预测。经过设置不一样的预测方式达到本身的目的。以下，使用--infer_img=demo/xxx.jpg为单张图片进行预测，使用--infer_dir=demo为用一个文件夹进行预测。其中demo是放置测试图片的地方。

6.1 使用单张图片进行预测

测试的结果保存在infer_output这个文件夹中

python -u tools/infer.py -c configs/yolov3_mobilenet_v1_fruit.yml -o weights= output/yolov3_mobilenet_v1_fruit/best_model --infer_img=demo/orange_71.jpg --output_dir=infer_output

特别注意：相似这种在命令提示符下输入时候，必定注意本身输入过程当中的出现的多余空格问题：以下图所示，weights=后面出现了一个多的空格，致使模型文件读不到。

6.2 使用一个文件夹中图片进行预测

测试的结果保存在infer_output这个文件夹中：

python -u tools/infer.py -c configs/yolov3_mobilenet_v1_fruit.yml -o weights=output/yolov3_mobilenet_v1_fruit/best_model --infer_img=demo/test --output_dir=infer_output/testout

说明：

一、该文章多数内容来源于PaddleDetection的文档，连接

https://github.com/PaddlePaddle/PaddleDetection

二、该文章运行环境为Windows10 ，在原有文档基础上修改了一些Linux的用法。增长了建立VOC数据集以及如何划分训练集和验证集。

三、该文章写做过程当中，受到了高松鹤同窗、百度飞桨同窗的大力帮助。

若是您加入官方 QQ 群，您将赶上大批志同道合的深度学习同窗。官方 QQ 群：703252161。