[参赛项目] 基于GStreamer + Pravega + Flink 的实时生产线品质管控平台

[yaol7]

项目简述

提出基于GStreamer + Pravega + Flink 实时视频处理分析的解决方案，实现视频数据的实时和历史数据分析处理，并应用到芯片生产制造上，以提高芯片生产的质量和效率。

背景

在工业制造流水线上，对于产品的品控监测是非常重要的环节。在传统工业制造中，都是通过人工检测，有以下几种局限：

1. 人力成本高，需要专业技术的培养；
2. 人工检测不确定因素比较大，更容易出错；
3. 人工检测效率低下；

目前常用的自动检测解决方案是视频拍摄+计算机算法识别的方法。但是都需要从视频采集，存储，分析等一步步从0搭建起来，技术难度和成本都比较大。基于以上的种种局限性，提出一种新的基于gstreamer+pravega+flink实时视频分析处理的解决方案，该解决方案不仅能够解决工业制造流水线上的问题，让每个公司只需要关注自己产品的质量检测方法，而不用考虑其他技术细节。此外，该解决方案既支持对于产品的实时检测和预警，又能对于历史数据提供自动化报表进行统计和管理，实现流批一体。

此外，该解决方案还可以推广到任何需要实时视频处理分析的行业，如：交通流量疏导，银行的欺诈检测，医疗诊断，警察刑侦等。

目标

1. 减少人工干预，让工作人员从环境部署搭建解脱出来，专注于产品质量上
2. 利用自动检测，挺高检测的准确率
3. 进一步提高检测产品的质量

实施方案

该解决方案的整体架构图如上图所示，整体架构涉及的技术包括：GStreamer，Pravega, Flink和ElasticSearch，数据处理分成edge端和data center.

1. Edge端

在每个工厂部署一批摄像头，负责拍摄主板生产的视频（样例的视频如下图所示），Eedge端详细的架构图如下图2所示， GStreamer负责接入视频流数据然后sink到Pravega stream，以保存视频raw data, 利用NVIDIA的机器学习算法对视频数据进行检测分析，识别出有问题的主板针脚信息，有问题的针脚会以红色标记出来，标记出来的结果以视频形式保存到结果视频stream里，即video result stream， 另一方面，detection的结果即metadata数据还以json的格式被sink到Pravega metadata stream， 通过Pravega的flink source connector接入Flink，Flink对metadata进行如下处理：

• 实时自动化告警功能：利用Flink的窗口功能，对窗口内的数据聚合计算坏针脚的数量，当超过一定阈值，触发自动化告警，及时通知工作人员进行人工干预， 自动化告警通过Grafana Alert Engine及时通知工作人员，如：钉钉，邮件等
• 历史数据查询分析处理：所有的检测metadata通过Flink的ES sink connector推送到数据中心。见第2小节.

2. Data Center

在数据中心，部署Flink, ElasticSearch(简称：ES)集群，主要进行如下处理：

• ES对所有的历史数据Metadata构建索引，创建自动化查询报表，帮助工作人员快速了解所有工厂的主板生产状况，如：每天主板的生产量，主板坏损率，每个工厂的生产效率等等，
• 针对全集Metadata数据，利用Flink AI算法对历史数据进行训练学习或预测分析

成员介绍

• 天池昵称：zj27jk， jj0123，ylcrqwkk