Skip to content
yolo3+ocr
Python JavaScript CSS Jupyter Notebook HTML Dockerfile Shell
Branch: app
Clone or download
Latest commit 55336c9 Oct 12, 2019
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
apphelper 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 6, 2019
application 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
crnn 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
darknet @ f6d8617 修正部分bug,新增ocr训练 Nov 13, 2018
models 优化代码结构,新增pytorch转keras模型代码,新增darknet训练代码,优化web界面显示,更新相关模型 Apr 3, 2019
static 优化代码结构,新增pytorch转keras模型代码,新增darknet训练代码,优化web界面显示,更新相关模型 Apr 3, 2019
templates 优化代码结构,新增pytorch转keras模型代码,新增darknet训练代码,优化web界面显示,更新相关模型 Apr 3, 2019
test 优化代码结构,新增pytorch转keras模型代码,新增darknet训练代码,优化web界面显示,更新相关模型 Apr 3, 2019
text 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
tools add keras model to tf pb model for opencv dnn Sep 3, 2019
.gitignore add keras text detect / add tf angle detect /fit errors Dec 22, 2018
.gitignore.swp 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
.gitmodules add darknet repo as a submodule of this project. Aug 23, 2018
Dockerfile 新增docker镜像构建 May 6, 2019
LICENSE Create LICENSE Oct 9, 2018
README.md Update README.md Oct 12, 2019
app.py fix error #339 Aug 25, 2019
config.py fix error #339 Aug 25, 2019
docker.sh 新增docker镜像构建 May 6, 2019
main.py 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
ocrjob.py 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
post-demo.py 解决多请求报错、内存耗尽文件 Aug 17, 2019
requirements.txt add keras text detect / add tf angle detect /fit errors Dec 22, 2018
run.py 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
setup-cpu.md 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
setup.md 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019
test.ipynb 优化代码,替换cpython\python\gpunms 为opencv dnn.nms; Aug 5, 2019

README.md

本项目基于yolo3crnn 实现中文自然场景文字检测及识别

由于本项目融合多个框架,维护较困难,为了更好的部署应用,后续将只围绕darknet框架进行开发,不在支持keras、tensorflow、pytorch。

新的项目地址:https://github.com/chineseocr/darknet-ocr.git

实现功能

  • 文字方向检测 0、90、180、270度检测(支持dnn/tensorflow)
  • 支持(darknet/opencv dnn /keras)文字检测,支持darknet/keras训练
  • 不定长OCR训练(英文、中英文) crnn\dense ocr 识别及训练 ,新增pytorch转keras模型代码(tools/pytorch_to_keras.py)
  • 支持darknet 转keras, keras转darknet, pytorch 转keras模型
  • 身份证/火车票结构化数据识别
  • 新增CNN+ctc模型,支持DNN模块调用OCR,单行图像平均时间为0.02秒以下
  • CPU版本加速
  • 支持基于用户字典OCR识别
  • 新增语言模型修正OCR识别结果
  • 支持树莓派实时识别方案

环境部署

GPU部署 参考:setup.md
CPU部署 参考:setup-cpu.md

下载编译darknet(如果直接运用opencv dnn或者keras yolo3 可忽略darknet的编译)

git clone https://github.com/pjreddie/darknet.git 
mv darknet chineseocr/
##编译对GPU、cudnn的支持 修改 Makefile
#GPU=1
#CUDNN=1
#OPENCV=0
#OPENMP=0
make 

修改 darknet/python/darknet.py line 48
root = '/root/'##chineseocr所在目录
lib = CDLL(root+"chineseocr/darknet/libdarknet.so", RTLD_GLOBAL)

下载模型文件

模型文件地址:

复制文件夹中的所有文件到models目录

模型转换

pytorch ocr 转keras ocr

python tools/pytorch_to_keras.py  -weights_path models/ocr-dense.pth -output_path models/ocr-dense-keras.h5

darknet 转keras

python tools/darknet_to_keras.py -cfg_path models/text.cfg -weights_path models/text.weights -output_path models/text.h5

keras 转darknet

python tools/keras_to_darknet.py -cfg_path models/text.cfg -weights_path models/text.h5 -output_path models/text.weights

编译语言模型(可选)

git clone --recursive https://github.com/parlance/ctcdecode.git   
cd ctcdecode   
pip install .  

下载语言模型 (可选)

wget https://deepspeech.bj.bcebos.com/zh_lm/zh_giga.no_cna_cmn.prune01244.klm
mv zh_giga.no_cna_cmn.prune01244.klm chineseocr/models/

模型选择

参考config.py文件

构建docker镜像

##下载Anaconda3 python 环境安装包(https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh) 放置在chineseocr目录下   
##建立镜像   
docker build -t chineseocr .   
##启动服务   
docker run -d -p 8080:8080 chineseocr /root/anaconda3/bin/python app.py

web服务启动

cd chineseocr## 进入chineseocr目录
python app.py 8080 ##8080端口号,可以设置任意端口

访问服务

http://127.0.0.1:8080/ocr

识别结果展示

参考

  1. yolo3 https://github.com/pjreddie/darknet.git
  2. crnn https://github.com/meijieru/crnn.pytorch.git
  3. ctpn https://github.com/eragonruan/text-detection-ctpn
  4. CTPN https://github.com/tianzhi0549/CTPN
  5. keras yolo3 https://github.com/qqwweee/keras-yolo3.git
  6. darknet keras 模型转换参考 参考:https://www.cnblogs.com/shouhuxianjian/p/10567201.html
  7. 语言模型实现 https://github.com/lukhy/masr
You can’t perform that action at this time.