search_from_videos

基于Python的机器学习应用，针对监控视频完成行人轨迹搜索。通过一张目标图像，能自动从大量视频中搜索出包含目标的视频片段，并标记目标。此项目为本人本科毕业设计项目，引用请注明出处。

运行环境

Python 3.6.2
TensorFlow-GPU 1.6.0
opencv-python
numpy 1.18.1
keras 2.2.0
scikit-learn
pillow

额外依赖项下载（由于Github上传文件大小限制，我所使用的模型文件上传到百度云，读者也可根据后续教程自己获得）：

文件名：yolo.h5
目标文件夹：search_from_videos\edg_code\model_data\
链接：https://pan.baidu.com/s/1_oCYDz3Gpcn-WEr6qcqtsA 
提取码：yimi

文件名：yolov3.weights
目标文件夹：search_from_videos\edg_code\
链接：https://pan.baidu.com/s/1mNMwqp_R2-0G586hG9nmSA 
提取码：zkvu 

适用平台

笔者在Windows 10上基于Visual Stdio Code开发，但并不代表此项目存在平台限制

项目算法简述

预处理过程(edg_code)，图见edg_algorithm_structure.png

1. 基于三帧差分法，结合阈值法，对数据量庞大的监控视频文件进行预处理，去除其中的无意义部分（无行人出现），分割视频得到大量的视频片段。
2. 对每个视频片段基于YOLO算法，进行行人识别 [此处算法以及模型来源详见引用]
3. 结合YOLO和Deep Sort进行行人轨迹追踪 [此处算法以及模型来源详见引用]
4. 基于Caffe算法对行人人脸进行识别并评分，缓存评分较高的人脸（存在最大数量限制）
5. 基于EigenFace/LBPHFace, 对前面缓存的人脸建立模型文件
6. 将行人轨迹缓存结果与人脸模型文件关联，即预处理结果

搜索过程(client)，图见client_algorithm_structure.png

1. 对输入图片基于caffe算法截取人脸部分
2. 基于EigenFace/LBPHFace, 将目标人脸与预处理得到的人脸模型比对，得到置信度
3. 通过对置信度排序，并截取适当比例的结果，作为搜索结果输出

运行说明

code for edg（执行过程耗时）

下面的main.py统一指代为 search_from_videos/edg_code/main.py

# 将待处理的单个/多个视频文件（支持mp4）放入main.py中row_path指定的目录中

python main.py      # 根据环境自动修正设置

# 程序将自动在main.py中video_path和save_path指定路径生成处理参数

code for client（运行过程快速）

下面的main.py统一指代为 search_from_videos/client/main.py

# 在main.py中image_path指定待搜索的目标人物的照片
# main.py中的pre_dict和result_dict指向为edg_code生成的对应目录video_path和save_path

python main.py      # 根据环境自动修正设置

# 程序会自动在main.py中search_result_path指定路径生成搜索结果

修改方向

本项目仅为原型机，尚未提供可视化调用接口。可以考虑采用B/S架构，将其升级为真实可用的saas应用

引用

YOLO算法: 
Redmon J , Divvala S , Girshick R , et al. You Only Look Once: Unified, Real Time Object Detection[C].The IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2016 ,01.779-788

行人轨迹追踪：https://github.com/Qidian213/deep_sort_yolov3