水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)
目录
水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)
（4）修改配置文件：configs/config_labelme_db.yaml
1.前言
本项目将实现水表数字识别，整套方案采用二阶段方法实现，即首先使用文本(数字)检测模型DBNet定位水表数字的区域，然后进行校正并裁剪水表数字区域，再使用CRNN模型对水表数字的区域进行文本(数字)识别。
整套项目分为：数据集说明，DBNet文本(数字)检测模型训练、CRNN文本(数字)识别模型训练，以及水表数字识别边缘侧部署C++/Android等多个章节，本篇是项目《水表数字识别》系列文章之《Pytorch DBNet实现水表数字检测》；为了方便后续模型工程化和Android平台部署，项目对文字检测模型和文字识别模型进行轻量化，并提供Python/C++/Android多个版本；
项目提供两个版本的水表数字分割模型DBNet和Fast-SCNN模型，其中DBNet参数量比较大，计算量也大，检测精度较高；Fast-SCNN是轻量化模型，参数量较小，计算量也小，但精度较小；下表格给出文本(数字)检测模型DBNet和Fast-SCNN的计算量和参数量，以及其预测结果的均方误差MSE：
| 模型 | input-size | params(M) | GFLOPs | MSE | mIOU |
DBNet |
320×320 |
9722.27M |
12.22M |
0.1508 |
0.9333 |
Fast-SCNN |
320×320 |
1.24M |
939.01M |
0.1997 |
0.9531 |
水表数字检测效果展示：
【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/139998754
更多项目《水表数字识别》系列文章请参考：
- 水表数字识别1：水表数字数据集说明(含下载链接)
- 水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)
- 水表数字识别3：Pytorch CRNN实现水表数字识别(含训练代码和数据集)
- 水表数字识别4：C++实现水表数字识别(含源码 可实时检测)
- 水表数字识别5：Android实现水表数字识别(含源码 可实时检测)
2. 水表数字识别的方法
传统的水表数字识别的方法主要采用字符分割的方法实现字符识别，即先将水表的图像按照预定的规则将字符一个一个切割，并按照模式匹配的方法识别字符；显然该方法效率低，准确率也不高。在深度学习算法中，实质上，水表数字识别也可以看成是OCR识别的技术范畴，其实现流程可先进行文本检测，然后再进行文本识别：
（1）水表(文本)数字检测：主要实现水表数字区域的定位，可以采用目标检测方案，如使用SSD、YOLO等目标模型进行水表检测，但精度较差；也可以采用分割方法，如本文使用的DBNet,Fast-SCNN等方法。Fast-SCNN是轻量化分割模型，可以部署到Android平台或者开发板上，在多线程或者GPU下，可以达到实时检测效果
（2）水表(文本)数字识别：主要实现水表数字识别，项目支持CRNN或LPRNet文本识别算法；为方便后续工程化，项目对CRNN模型进行魔改，提出一个PlateNet模型，用于支持部署到Android平台或者开发板上
3. 水表数字识别数据集
目前收集了2个水表数字的检查数据集：Water-Meter-Det1和Water-Meter-Det2，总数约6000+张图片，主要用于水表数字检测模型或分割模型训练和开发；
具体介绍，请参考:《水表数字识别1：水表数字数据集说明(含下载链接)》
4. 水表数字分割模型训练
（1）项目安装
.
├── configs # 项目配置文件
├── segment # 分割模型代码
├── data # 项目相关数据
├── docs # 一些说明文档
├── libs # 第三方依赖库
├── output # 运行输出结果
├── README.md # 项目说明文档
├── demo.py # 项目Demo测试文档
├── demo.sh # 项目Demo测试脚本
├── train.py # 项目训练文件
└── train.sh # 项目训练脚本
推荐使用Python3.8或Python3.7，更低版本可能存在版本差异问题，Python依赖环境，使用pip安装即可，项目代码都在Ubuntu系统和Windows系统验证正常运行，请放心使用；若出现异常，大概率是相关依赖包版本没有完全对应
##
Cython==3.0.2
easydict==1.10
editdistance==0.6.2
efficientnet-pytorch==0.7.1
imageio==2.31.1
imgaug==0.4.0
imgviz==1.7.5
matplotlib==3.3.4
numpy==1.24.4
onnx==1.13.1
onnx-simplifier==0.4.33
onnxruntime==1.14.1
onnxruntime-gpu==1.15.1
onnxsim==0.4.33
opencv-contrib-python==4.8.1.78
opencv-python==4.8.0.76
Pillow==9.5.0
pyclipper==1.3.0.post5
pycocotools==2.0.6
PyQt5==5.13.2
PyQt5-Qt5==5.15.2
PyQt5-sip==12.13.0
PySocks==1.7.1
PythonWebHDFS==0.2.3
pytools==2023.1.1
PyYAML==6.0
QtPy==2.3.1
scikit-image==0.21.0
scikit-learn==1.2.2
scipy==1.10.1
seaborn==0.12.2
segmentation-models-pytorch==0.3.3
semantic-version==2.10.0
sentencepiece==0.1.99
stack-data==0.6.2
starlette==0.27.0
tensorboard==2.13.0
tensorboard-data-server==0.7.1
tensorboardX==2.6.1
timm==0.9.2
toolz==0.12.0
torch==1.13.1+cu117
torchaudio==0.13.1+cu117
torchinfo==1.8.0
torchstat==0.0.7
torchsummary==1.5.1
torchvision==0.14.1+cu117
tqdm==4.65.0
typing_extensions==4.6.3
transformers==4.31.0
Werkzeug==2.3.6
urllib3==1.26.16
xmltodict==0.13.0
basetrainer==0.8.4
pybaseutils==2.0.0项目安装教程请参考（初学者入门，麻烦先看完下面教程，配置好开发环境）：
- 项目开发使用教程和常见问题和解决方法
- 视频教程：1 手把手教你安装CUDA和cuDNN(1)
- 视频教程：2 手把手教你安装CUDA和cuDNN(2)
- 视频教程：3 如何用Anaconda创建pycharm环境
- 视频教程：4 如何在pycharm中使用Anaconda创建的python环境
- 推荐使用Python3.8或Python3.7，更高版本可能存在版本差异问题
（2）构建Train和Test水表数据集
下载水表检测数据集：Water-Meter-Det1和Water-Meter-Det2，具体介绍，请参考:《水表数字识别1：水表数字数据集说明(含下载链接)》，项目支持在该数据集直接训练，无须进行格式转换。
（3）构建模型
项目提供两个版本的水表数字分割模型DBNet和Fast-SCNN模型；DBNet属于高精度版本，参数量和计算量较大，检测精度较高，但比较耗时；Fast-SCNN模型属于轻量化版本，参数量和计算量较小，检测精度一般，速度较快，适合移动端部署。下表给出计算量和参数量：
| 模型 | input-size | params(M) | GFLOPs |
DBNet |
320×320 |
9722.27M |
12.22M |
Fast-SCNN |
320×320 |
1.24M |
939.01M |
- DBNet: 是一种基于分割的文本检测算法，其核心思路是引入一个可微分二值化模块(Differentiable Binarization)，生成一个的阈值图，使得模型分割能够自适应进行二值化GitHub - WenmuZhou/DBNet.pytorch: A pytorch re-implementation of Real-time Scene Text Detection with Differentiable Binarization
- Fast-SCNN：是一种快速分割卷积神经网络（Fast-SCNN），是针对高分辨率图像数据的实时语义分割模型，适用于低内存嵌入式设备上的高效计算。https://github.com/Tramac/Fast-SCNN-pytorch
（4）修改配置文件：configs/config_labelme_db.yaml
准备好数据好，下一步是修改配置文件configs/config_labelme_db.yaml的数据路径，其他参数默认即可：
- 修改train_data和test_data为你自己的数据路径
- 其他参数保持默认即可
train_data:
- "/home/Pan/WaterMeter/Water-Meter-Det1/train/json"
- "/home/Pan/WaterMeter/Water-Meter-Det2/train/json"
test_data: '/home/Pan/WaterMeter/Water-Meter-Det1/val/json'
class_name: [ "BACKGROUND", "unique" ]
use_rgb: False
train_transform: "db_train"
test_transform: "db_test"
data_type: "labelme_db"
target: "regress" # matting,segment
padding: False
resample: False
work_dir: "work_space/WaterMeter_regress"
net_type: "dbnet_resnet18" # dbnet_MobileNetV3,dbnet_resnet18
loss_type: "DBLoss" # FocalLoss,CrossEntropyLoss,LabelSmoothing,MODLoss,PaddleMODLoss,SmoothL1Loss
width_mult: 1.0
flag: "sr09"
input_size: [ 320, 320 ]
rgb_mean: [ 0.5, 0.5, 0.5 ] # for normalize inputs to [-1, 1],Sequence of means for each channel.
rgb_std: [ 0.5, 0.5, 0.5 ] # for normalize,Sequence of standard deviations for each channel.
batch_size: 32
lr: 0.01
optim_type: "SGD" # SGD,Adam
momentum: 0.9 # SGD momentum
num_epochs: 200
num_warn_up: 3
num_workers: 8
scheduler: "multi-step"
milestones: [ 60,130,160 ]
weight_decay: 0.0005 #5e-4
gpu_id: [ 0 ]
start_save: -1
log_freq: 10
progress: True
check: False
pretrained: False
finetune: ""
配置文件每个参数含义如下：
| 参数 | 类型 | 参考值 | 说明 |
|---|---|---|---|
| train_data | str, list | - | 训练数据文件，可支持多个文件 |
| test_data | str, list | - | 测试数据文件，可支持多个文件 |
| data_type | str | labelme_db | 数据类型 |
| class_name | str,list | - | 类别文件 |
| train_transform | str | train | 训练数据数据处理方法 |
| test_transform | str | test | 测试数据数据处理方法 |
| work_dir | str | work_space | 训练输出工作空间 |
| target | str | regress | 任务，regress表示回归任务，segment是分类任务 |
| net_type | str | dbnet_resnet18 | 骨干网络,支持dbnet_resnet18 和fast_scnn_reg等模型 |
| intput_size | list | [320,320] | 模型输入大小 |
| rgb_mean | list | [0.5,0.5,0.5] | 图像归一化均值 |
| rgb_std | list | [0.5,0.5,0.5] | 图像归一化方差 |
| batch_size | int | 64 | 批训练大小 |
| lr | float | 0.001 | 初始学习率大小 |
| optim_type | str | Adam | 优化器，{SGD,Adam} |
| milestones | list | [30,80,100] | 降低学习率的节点 |
| momentum | float | 0.9 | SGD动量因子 |
| num_epochs | int | 200 | 循环训练的次数 |
| num_workers | int | 8 | DataLoader开启线程数 |
| weight_decay | float | 5e-4 | 权重衰减系数 |
| gpu_id | list | [ 0 ] | 指定训练的GPU卡号，可指定多个 |
| log_freq | int | 10 | 显示LOG信息的频率 |
| pretrained | str | model.pth | pretrained的模型 |
（5）开始训练
整套训练代码非常简单操作，项目源码已经给出DBNet和Fast-SCNN模型配置文件；用户配置好Python环境，只需要修改好配置文件的的数据路径，即可开始训练了。
- 训练DBNet模型
python train.py -c configs/config_labelme_db.yaml- 训练Fast-SCNN模型
python train.py -c configs/config_labelme_reg.yaml
（6）可视化训练过程
训练过程可视化工具是使用Tensorboard，使用方法：
# 基本方法
tensorboard --logdir=path/to/log/
# 例如（请修改自己的训练的模型路径）
tensorboard --logdir work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/log
Tensorboard的使用方法可以参考这里：项目开发使用教程和常见问题和解决方法_pip安装tensorboard-CSDN博客
训练完成后，DBNet模型的测评指标均方误差MSE约0.1508左右；轻量化模型Fast-SCNN的均方误差MSE约0.1997左右；下表格给出水表数字检测模型DBNet和Fast-SCNN的计算量和参数量，以及其预测结果的均方误差MSE和mIOU：
指标说明：DBNet训练时，数据处理需要生成缩小轮廓的概率图和增大轮廓的阈值图，导致与真实的轮廓有差异，从而导致最终的测评指标mIOU的结果偏低，但从指标均方误差MSE看，DBNet明显比Fast-SCNN效果好的
| 模型 | input-size | params(M) | GFLOPs | MSE | mIOU |
DBNet |
320×320 |
9722.27M |
12.22M |
0.1508 |
0.9333 |
Fast-SCNN |
320×320 |
1.24M |
939.01M |
0.1997 |
0.9531 |
5. 水表数字识别模型训练
本篇主要介绍水表数字分割模型训练，关于水表数字识别模型训练，请参考《
水表数字识别3：Pytorch CRNN实现水表数字识别(含训练代码和数据集)》
6. 水表数字检测效果（Python版本）
demo.py文件用于推理和测试模型的效果，填写好模型文件以及测试图片即可运行测试了
demo.py源码：
测试图片
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --image_dir data/test_image
测试视频文件(video_file填写视频文件路径，如data/test-video.mp4)
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --video_file data/test-video.mp4
测试摄像头(video_file填写摄像头USB ID号，一般是0，1，2)
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --video_file 0
水表数字分割Demo效果展示（左是原图输入，中是模型输出分割效果，右是透视矫正后的效果）：
7. 水表数字检测效果（Android版本）
已经完成Android版本水表数字检测分割和识别算法开发，APP在普通Android手机上可以达到实时的检测和识别效果，CPU(4线程)约40ms左右，GPU约30ms左右 ，基本满足业务的性能需求。详细说明请查看：水表数字识别5：Android实现水表数字识别(含源码 可实时检测)
Android Demo体验：https://download.csdn.net/download/guyuealian/89537381
8. 水表数字分割项目源码下载
整套项目源码分为训练版本和推理版本，推理版本只提供推理代码和推理模型，不包含数据和训练代码；训练版本提供推理代码和推理模型，并提供训练数据和训练相关的整套代码。
（1）水表数字分割(推理版本)
下载地址：Pytorch DBNet实现水表数字检测(Python推理版本)
- 提供水表数字分割模型的推理和测试代码，不含水表数字识别模型
- 提供高精度版本DBNe模型，参数量和计算量较大，检测精度较高，比较耗时；
- 提供轻量化版本Fast-SCNN模型，参数量和计算量较小，检测精度一般，速度较快；
- 提供DBNe和Fast-SCNN模型训练好的模型权重文件，可以直接使用，配置好环境，可直接运行demo.py
- 提供推理测试文件demo.py，支持图片，视频和摄像头测试
（2）水表数字分割(训练版本)
下载地址：资源整理中。。。
水表数字数据集+水表数字分割训练代码和测试代码（Pytorch）
- 提供整套项目水表数字分割模型推理和训练的完整代码，支持模型训练和测试，不含水表数字识别模型
- 提供高精度版本DBNe模型，参数量和计算量较大，检测精度较高，比较耗时；
- 提供轻量化版本Fast-SCNN模型，参数量和计算量较小，检测精度一般，速度较快；
- 提供DBNe和Fast-SCNN模型训练好的模型权重文件，可以直接使用，配置好环境，可直接运行demo.py
- 提供推理测试文件demo.py，支持图片，视频和摄像头测试
- 提供水表数字数据集：Water-Meter-Det1和Water-Meter-Det2，总数约6000+张图片，主要用于水表数字检测模型或分割模型训练和开发；Water-Meter-Rec1和Water-Meter-Rec2，总数约12000+张图片,主要用于水表数字识别模型训练和开发
本篇是水表数字分割内容，如果需要实现水表数字识别，请参考第三篇文章：