Skip to content

使用OpenCV部署图像描述Image_Captioning,包含C++和Python两个版本的程序

Notifications You must be signed in to change notification settings

hpc203/image_captioning-opencv-onnxrun

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 

Repository files navigation

本套程序里的模型使用传统CNN做图像描述的,通俗来讲就是输入一张图片,输出一句描述图片里的内容的文字,简称图片生成文字,看图说话,这个功能可以用在智能相册里。

包含encoder和decoder两个模块,其中decoder模块的输入张量是二维的,opencv-dnn在输入这样形状的张量时推理报错,因此decoder模块 使用onnxruntime做推理引擎。 onnx文件在百度云盘, 链接:https://pan.baidu.com/s/1mVI7_ey_Iu2r_X9DEwAbtg 提取码:vbo9

训练源码在https://github.com/ruotianluo/ImageCaptioning.pytorch

现在火热的多模态大模型clip,连接了图像和语义文字两个领域的。 这使得clip天生就适合做图片描述的,但是模型太大,在我的个人笔记本电脑运行会占用大量内存,因此我暂时没有编写用clip做图片生成文字的程序。

About

使用OpenCV部署图像描述Image_Captioning,包含C++和Python两个版本的程序

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published