一、介绍

VideoPipe 是一个用于视频分析和结构化的框架，采用 C++ 编写、依赖少、易上手。它像管道一样，其中每个节点相互独立并可自行搭配，VideoPipe 可用来构建不同类型的视频分析应用，适用于视频结构化、图片搜索、人脸识别、交通/安防领域的行为分析（如交通事件检测）等场景。

二、优势和特点

VideoPipe 类似于英伟达的 DeepStream 和华为的 mxVision 框架，但它更易于使用、更具备可移植性。

名称	是否开源	学习门槛	适用平台	性能	三方依赖
DeepStream	否	高	仅限英伟达	高	多
mxVision	否	高	仅限华为	高	多
VideoPipe	是	低	不限平台	中	少

VideoPipe 采用面向插件的编码风格，可以根据不同的需求按需搭配，我们可以使用独立的插件（即框架中的 Node 类型），来构建不同类型的视频分析应用。你只需准备好模型并了解如何解析其输出即可，推理可以基于不同的后端实现，如 OpenCV::DNN（默认）、TensorRT、PaddleInference、ONNXRuntime 等，任何你喜欢的都可以。

三、演示

similiarity_search_sample.mp4

播放器右下角全屏观看，更多视频演示

四、功能

VideoPipe 是一个让计算机视觉算法模型集成更加简单的框架，注意它不是像 TensorFlow、TensorRT 类似的深度学习框架。VideoPipe主要功能如下：

• 流读取：⽀持主流的视频流协议，如 udp、rtsp、rtmp、file、application。同时支持图片读取。
• 视频解码：⽀持基于 OpenCV/GStreamer 的视频和图片解码（⽀持硬件加速）。
• 算法推理：⽀持基于深度学习算法的多级推理，例如⽬标检测、图像分类、特征提取、图像生成等相关网络集成。同时支持传统图像算法集成。
• ⽬标跟踪：⽀持⽬标追踪，例如 IOU、SORT 跟踪算法等。
• ⾏为分析（BA）：⽀持基于跟踪的⾏为分析，例如越线、停⻋、违章等交通行为判断。
• 业务逻辑：支持任意自定义业务逻辑的集成，可以与业务强相关。
• 数据代理：⽀持将结构化数据（json/xml/⾃定义格式）以 kafka/Sokcet 等⽅式推送到云端、文件或其他第三⽅平台。
• 录制：⽀持特定时间段的视频录制，特定帧的截图，并存文件。
• 屏幕显⽰（OSD）：支持将结构化数据、业务逻辑处理结果绘制到帧上。
• 视频编码：⽀持基于 OpenCV/GStreamer 的视频和图片编码（⽀持硬件加速）。
• 流推送：⽀持主流的视频流协议，如 udp、rtsp、rtmp、file、application。同时支持图片推送。

五、快速上手

5.1 依赖

平台

• Ubuntu 18.04 x86_64 NVIDIA rtx/tesla GPUs
• Ubuntu 18.04 aarch64 NVIDIA jetson serials device，tx2 tested
• Ubuntu 18.04 x86_64 Cambrian MLU serials device, MLU 370 tested (code not provided)
• Ubuntu 18.04 aarch64 Rockchip RK35** serials device, RK3588 tested (code not provided)
• Wait for your test

基础

• C++ 17
• OpenCV >= 4.6
• GStreamer 1.14.5 (Required by OpenCV)
• GCC >= 7.5

可选，如果你需要实现自己的推理后端，或者使用除 opencv::dnn 之外的其他推理后端.

• CUDA
• TensorRT
• Paddle Inference
• ONNX Runtime
• Anything you like

如何安装CUDA和TensorRT

如何安装Paddle_Inference

5.2 编译和调试

1. 运行 git clone https://github.com/sherlockchou86/VideoPipe.git
2. 运行 cd VideoPipe
3. 运行 mkdir build && cd build
4. 运行 cmake ..
5. 运行 make -j8

编译完成后，所有的库文件存放在 build/libs 中，所有的 Sample 运行文件存放在 build/bin 中。在执行第 4 步的时候，可以添加一些编译选项：

• -DVP_WITH_CUDA=ON （编译 CUDA 相关功能，默认为 OFF）
• -DVP_WITH_TRT=ON （编译 TensorRT 相关功能和 Samples，默认为 OFF）
• -DVP_WITH_PADDLE=ON （编译 PaddlePaddle 相关功能和 Samples，默认为 OFF）
• -DVP_WITH_KAFKA=ON （编译 Kafka 相关功能和 Samples，默认为 OFF）
• -DVP_BUILD_COMPLEX_SAMPLES=ON （编译高级 Samples，默认为 OFF）

比如需要开启CUDA和TensorRT相关的模块，可以运行 cmake -DVP_WITH_CUDA=ON -DVP_WITH_TRT=ON ..。如果只运行 cmake ..，那么所有代码运行在 CPU 上。

# 开启全部
cmake -DVP_WITH_CUDA=ON \
-DVP_WITH_TRT=ON \
-DVP_WITH_PADDLE=ON \
-DVP_WITH_KAFKA=ON \
-DVP_BUILD_COMPLEX_SAMPLES=ON ..

# 关闭全部（默认）
cmake ..

如果要运行编译生成的 Samples，先下载模型文件和测试数据：

1. 谷歌网盘下载测试文件和模型
2. 百度网盘下载测试文件和模型

将下载好的目录（名称为 vp_data）放在任何位置（比如放在 /root/abc 下面），然后在 同一目录 下运行 Sample，比如在 /root/abc 下面执行命令：[path to VideoPipe]/build/bin/1-1-1_sample 即可运行 1-1-1_sample。

注意：./third_party/ 下面都是独立的项目，有的是 header-only 库，被 VideoPipe 直接引用；有的包含有 cpp 文件，可以独立编译或运行，VideoPipe 依赖这些库，在编译 VideoPipe 的过程中会自动编译这些库。这些库也包含自己的 Samples，具体使用方法可参见对应子目录下的 README 文件.

5.3 如何使用

1. 先将 VideoPipe 编译成库，然后引用它.
2. 或者直接引用源代码，然后编译整个Application.

下面是一个如何构建 Pipeline 然后运行的 Sample(请先修改代码中的相关文件路径)：

#include "../nodes/vp_file_src_node.h"
#include "../nodes/infers/vp_yunet_face_detector_node.h"
#include "../nodes/infers/vp_sface_feature_encoder_node.h"
#include "../nodes/osd/vp_face_osd_node_v2.h"
#include "../nodes/vp_screen_des_node.h"
#include "../nodes/vp_rtmp_des_node.h"
#include "../utils/analysis_board/vp_analysis_board.h"

/*
* 名称：1-1-N sample
* 完整代码位于：samples/1-1-N_sample.cpp
* 功能说明：1个视频输入，1个视频分析任务（人脸检测和识别），2个输出（屏幕输出/RTMP推流输出）
*/

int main() {
    VP_SET_LOG_INCLUDE_CODE_LOCATION(false);
    VP_SET_LOG_INCLUDE_THREAD_ID(false);
    VP_LOGGER_INIT();

    // 1、创建节点
    // 视频获取 Node
    auto file_src_0 = std::make_shared<vp_nodes::vp_file_src_node>("file_src_0", 0, "./test_video/10.mp4", 0.6);
    // 2、模型推理 Node
    // 一级推理：人脸检测
    auto yunet_face_detector_0 = std::make_shared<vp_nodes::vp_yunet_face_detector_node>("yunet_face_detector_0", "./models/face/face_detection_yunet_2022mar.onnx");
    // 二级推理：人脸识别
    auto sface_face_encoder_0 = std::make_shared<vp_nodes::vp_sface_feature_encoder_node>("sface_face_encoder_0", "./models/face/face_recognition_sface_2021dec.onnx");
    // 3、OSD Node
    // 处理结果绘制到帧上
    auto osd_0 = std::make_shared<vp_nodes::vp_face_osd_node_v2>("osd_0");
    // 屏幕展示
    auto screen_des_0 = std::make_shared<vp_nodes::vp_screen_des_node>("screen_des_0", 0);
    // 推流展示
    auto rtmp_des_0 = std::make_shared<vp_nodes::vp_rtmp_des_node>("rtmp_des_0", 0, "rtmp://192.168.77.60/live/10000");

    // 构建管道，将节点的处理结果关联起来
    yunet_face_detector_0->attach_to({file_src_0});
    sface_face_encoder_0->attach_to({yunet_face_detector_0});
    osd_0->attach_to({sface_face_encoder_0});

    // 管道自动拆分，通过屏幕/推流输出结果
    screen_des_0->attach_to({osd_0});
    rtmp_des_0->attach_to({osd_0});

    // 启动管道
    file_src_0->start();

    // 可视化管道
    vp_utils::vp_analysis_board board({file_src_0});
    board.display();
}

上面代码运行后，会出现 3 个画面:

1. 管道的运行状态图，状态自动刷新
2. 屏幕显示结果（GUI）
3. 播放器显示结果（RTMP）

5.4 案例原型

ID	Sample	截图
1	face_tracking_sample
2	vehicle_tracking_sample
3	mask_rcnn_sample
4	openpose_sample
5	face_swap_sample

共计 40 多个原型案例，点击查看更多。

六、更多资料

• Sample Code
• Node Table
• How VideoPipe Works
• Development Environment For Reference

扫码入群交流

鸣谢