西浦工业人工智能研究与实践项目

课程简介

以工业场景为模块，学习基础理论知识、关键技术、实际案例。通过案例，从问题描述、数据资源和解决方案三个方面，实践用人工智能理论和技术解决工业问题的方法，包括故障预诊断和设备健康管理PHM、基于计算机视觉的智能质检、基于时序数据分析技术的生产运营优化、排程排产、生产质量分析方法、生产故障缺陷检查与定位、机器人技术、工业知识管理之故障预警知识库等专题。

学生任务

学习工业大数据分析和人工智能的基本理论和技术，通过实际案例理解相关理论和技术的具体应用，掌握用理论和技术解决工业问题的基本方法。熟悉科学和工程实践过程，培养科学和工程实践能力。

预期成果

• 运用人工智能理论解决工业制造具体问题的相关模型设计和实现，提交项目报告。
• 可根据自己的实践目的设定以下不同初、中、高级目标 课程的学习要求

项目安排

专题内容参考

工业人工智能九个专题

• 注：此专题内容原面向企业工程师。

专题一：工业智能基础、设备及生产管理

1.1理论知识要点

• CRISP-DM方法论的流程中有哪些需要注意的问题？
• 如何理解CPS的概念？
• 如何从业务、应用、功能、执行等角度写好工业4.0的应用案例？
• 如何使用数据分析调查表？
• 深度学习、表示学习和机器学习的关系是怎样的？
• 计算机视觉和机器视觉的差别是什么？
• 有哪些计算机视觉的模型？
• 计算机视觉面临哪些困难？
• 图像识别有哪四类任务？
• 分类学习的评价指标有哪些？

1.2 实践

参考资料

• Pytorch 教程1 视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=6
• Pytorch 教程2 视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=7
• 如何用TensorFlow玩转深度学习
• 代码 https://github.com/pytorch/examples/blob/main/mnist/main.py

实践要点

• 如何用Anaconda建立Python环境？如何安装环境依赖的库？
• 用Pytorch构建和训练神经网络模型的步骤是？
• 如何选择合适的高性能计算环境训练神经网络模型？如何选择GPU？
• 训练神经网络训练模型时，如何设置损失函数，如何选择优化器，如何调整学习率？

专题二：故障预诊断和设备健康管理（预测方法在产品和设备管理中的应用）

2.1 理论知识要点

• 如何理解分析模型与机理模型的融合？
• 故障预诊断和设备健康管理PHM应用在哪些情境？
• 回归分析、决策树、逻辑回归、随机森林预测的特点是什么，分别适用于哪些情境？
• 设备健康管理需要考虑哪三个方面？
• 剩余寿命预测有哪些无监督方法？
• 设备寿命预测有哪些方法？数据较多和较少的时候分别用什么方法？
• 生存分析与其他多因素分析方法的区别是？
• 数据的经验模态分解方法适合解决怎样的问题？
• 工业大数据分析的适用情境和不适用情境分别是？
• 为什么说数据量大比维度大这个观点不对？
• 什么样的模型是好模型？
• 如何应对传感器偏差、机理复杂、工况复杂和样本严重不均衡的挑战？

2.2 实践

参考资料

• 作业1预测 COVID-19 Cases说明 视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=11
• 如何通过调整超参数优化模型？
• 参考代码：https://github.com/virginiakm1988/ML2022-Spring/blob/main/HW01/HW01.ipynb 以及 https://github.com/ga642381/ML2021-Spring/blob/main/HW01/HW01.ipynb

实践要点

• 理解基本代码
• 特征选择方法
• 微调模型架构和优化器算法
• L2 regularization，即优化器权重衰减

专题三：计算机视觉技术在设备及生产管理中的应用

3.1 理论知识要点

• 图像分类面临哪些困难？
• 对象检测的步骤是？
• 能否简单描述你对CNN4个方面的理解？
• 如何调节超参数改变模型的能力？
• CNN模型适用和不适用的情境分别是？
• 什么是端到端学习？
• 对象检测常用算法包括哪些？比较AlexNet、VGG、ResNet，SqueezeNet
• FasterRCNN
• 半监督学习的原理是？
• 伪标签方法的4个步骤是？

3.2 实践

参考资料

• 多分类图像识别 视频链接 https://www.bilibili.com/video/BV1Wv411h7kN?p=35
• 参考代码：https://github.com/virginiakm1988/ML2022-Spring/blob/main/HW03/HW03.ipynb
• 多分类模型评价标准mAP
• 对象检测的模型评价标准

实践要点

• 大规模分布式模型训练的方法：数据并行和模型并行方法
• 批量标准化适用于哪些场景？
• 用数据增强和调整模型方法来提高性能
• Test Time Augmentation
• 交叉验证方法和集成方法
• 了解如何利用未标记的数据以及它的好处
• 对象检测模型YOLO

专题四 生产运营优化：时序分析技术的应用

4.1 理论知识要点

• 软测量方法是如何使工业系统中隐性的问题显性化的？
• 时间序列两种分析方法的区别是？
• 时间序列数据分析的经典方法有哪些？
• 具有不同特性的时间序列对应哪些分析算法？
• 时间序列数据挖掘算法有哪些？
• 经典的时序预测方法有哪些？
• 新兴的时间序列预测方法有哪些？
• PCA方法降维的基本原理是什么？
• 隐马尔可夫为何具有丰富的应用场景？
• 注意力机制能解决什么样的问题？为什么需要多头注意力机制？自注意力机制能解决怎样的问题？
• TST为什么具有很强的能力？
• 集成学习有哪些基本技术？集成学习的好处是？何时需要使用集成学习？

4.2 实践

参考资料

• tsai https://timeseriesai.github.io/tsai/
• 参考 https://github.com/bettermorn/IAICourse/wiki/%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B#5-%E4%BD%BF%E7%94%A8inceptiontimeminirocket%E5%92%8Ctransformer%E6%A8%A1%E5%9E%8B%E5%88%86%E7%B1%BB%E5%92%8C%E9%A2%84%E6%B5%8B%E6%97%B6%E5%BA%8F%E6%95%B0%E6%8D%AE
• 参考代码 https://github.com/timeseriesAI/tsai/tree/main/tutorial_nbs/04_Intro_to_Time_Series_Regression.ipynb
• 参考代码 https://github.com/timeseriesAI/tsai/tree/main/tutorial_nbs/10_Time_Series_Classification_and_Regression_with_MiniRocket.ipynb
• 参考代码 https://github.com/timeseriesAI/tsai/tree/main/tutorial_nbs/01_Intro_to_Time_Series_Classification.ipynb

实践要点

• 熟悉时序数据结构
• 使用InceptionTime、MiniRocket和transformer模型分类和预测时序数据
• 理解Transformer原理

专题五：生产优化之排程排产

5.1 理论知识要点

• 排程的目的是什么？
• APS需要满足哪些条件？APS为那些制造模型提供解决方案？APS涉及哪些数学算法？
• 群智优化算法包括哪些？
• 什么时候需要使用运筹方法？
• 如何实现遗传算法？遗传算法的优点和缺点是什么？
• 金融科技面临哪些挑战？
• 为什么需要循环神经网络RNN？为什么训练RNN很困难？LSTM的优点是什么？
• Transformer为什么能力很强？

5.2 实践

参考资料

• 使用遗传算法解决TSP问题 https://github.com/bettermorn/IAICourse/wiki/%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B#6-%E7%94%A8%E9%81%97%E4%BC%A0%E7%AE%97%E6%B3%95%E8%A7%A3%E5%86%B3%E6%97%85%E8%A1%8C%E6%8E%A8%E9%94%80%E5%91%98%E9%97%AE%E9%A2%98tsp
• 使用RNN和Transformer实现机器翻译：https://github.com/bettermorn/IAICourse/wiki/%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B#7-%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B9%8B%E6%9C%BA%E5%99%A8%E7%BF%BB%E8%AF%91%E4%BD%BF%E7%94%A8seq2seq%E5%92%8Ctransformer

实践要点

• 如何定义成本函数？
• 学习率规划与RAdam
• 比较RNN与Transformer的不同
• back translation
• 调整超参数

专题六：生产质量分析方法与生成式模型

6.1 理论知识要点

• 质量数据的分析场景有哪些？
• 现有质量管理体系如何与大数据融合？
• 5类质量分析问题的前提条件和应用模式
• 典型行业的质量分析问题有哪些？
• 如何应用CAPE方法？
• 如何使用不同的特征提取方法？
• 如何应用质量时空模式分析？
• 对比类别变量有哪些方法？
• 质量异常预警有哪些技术路线？
• 优化控制参数需要注意哪些方面？
• 质量根因分析有哪些方法？
• PQM数据模型包括哪些方面？
• PQM系统架构，如何整合数据？
• 相关性分析方法、因子分析方法、多因子分析方法是怎样的？
• 如何使用分值图、碎石图、特征图？
• GAN背后的理论是怎样的？GAN与一般生成模型的区别是怎样的？如何训练GAN？WGAN-GP和Cycle GAN产生的原因是？

6.2 实践

参考资料

• 生成图片说明 视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=70
• 代码：https://github.com/virginiakm1988/ML2022-Spring/blob/main/HW06/HW06.ipynb

实践要点

• DCGAN
• WGAN WGAN-GP
• StyleGAN

专题七

7.1 理论知识要点

7.2 实践

参考资料

实践要点

学习参考

• https://github.com/virginiakm1988/ML2022-Spring
• 人工智能中的数学
• 机器学习基础知识
• 时间序列数据分析
• 参考学习资料
• 实战案例
• 机器学习实战技能

项目日程

日期	任务	学生成果	备注
6月1日-6月10日	导师准备课程资源	准备程序设计语言、环境和算力	算力参考典型深度神经网络模型训练服务器配置
6月11日-6月30日	导师授课专题一、二	阅读相关论文，熟悉理论知识，训练模型，掌握调试方法
7月1日-7月31日	导师授课专题三、四	阅读相关论文，熟悉理论知识，训练模型，掌握调试方法
8月1日-8月31日	导师授课专题五、六、七	阅读相关论文，熟悉理论知识，训练模型，掌握调试方法
9月1日-9月30日	导师授课专题八、九	阅读相关论文，熟悉理论知识，训练模型，掌握调试方法
10月1日-10月31日	学生分组实践和研究	方向1.解决具体工业问题，小组协作撰写研究报告 方向2. 研究相关领域理论知识，小组协作撰写论文	可提前准备好要研究和实践的问题 模拟问题可参考历届工业大数据竞赛题 1. 全国工业互联网数据创新应用大赛， 2. 工业大数据创新竞赛白皮书2017——风机结冰故障分析指南 3. 工业大数据创新竞赛2018-2019白皮书 4. 工业大数据分析指南 可考虑参加今年的工业互联网数据创新应用大赛（工业互联网产业联盟举办） 真实问题可寻找相关资源

沟通方式

任务	形式	频度	时间安排
授课	线上视频会议或者录制视频，每个专题3小时	每个月2到3次	中文授课，一般安排在周末下午或者晚上
课后研究	阅读相关论文，熟悉理论知识，训练模型，掌握调试方法	每个专题1次	自由安排，每个专题至少2小时
校内辅导	见面交流	每月尽可能有1到2次	一般安排在周末下午 2个小时
日常沟通	微信群通知必要的消息，在本github项目仓库issue，wiki，Code等讨论和提交成果	每周和每个阶段	根据具体需要

报告格式

• 报告和论文语言：自选，英文中文均可。

1. 学习线路及总结 包括但不限于以下内容：

• 1）为什么用这种方法或者要解决什么问题？
• 2）实现的方法描述
• 3）存在的优点和缺点
• 4）和其他同类方法或者算法的比较
• 5）需要的基础知识
• 6）适用场景或者应用领域
• 7）用于实验的平台或者（一系列）工具
• 8）学习参考文献 注：标识较早及优秀研究者的论文文献及参考资料，尽量不引用知乎文档

2. POC（概念验证）案例

• 包括源代码
• 案例描述文档：

• 问题描述
• 建模方法和核心算法
• 实现难点描述
• 代码结构、部署和运行方式

创新方案的描述

1. 问题陈述：解决的挑战是什么？为什么从技术和商业角度来看都很重要？换句话说，为什么这对工业很重要？
2. 我们的解决方案：我们如何解决问题；描述我们在解决方案过程中创建的技术创新领域。
3. 解决方案有效的证据：解决方案的最终用户表明您已经有效解决了原始问题，或者其他有说服力的证明该建议证实了自己的优点。
4. 竞争性方法：外部文献或其他竞争对手针对相同问题的其他方法，包括您的解决方案与其解决方案之间的比较（同时指出技术和业务方法，优点和优点/缺点）。
5. 当前状态：我们将这种解决方案用于我们的业务有多远？
6. 后续步骤：在解决实际业务问题或仍需要进一步工作的领域中，有什么有趣的方法可以使用此解决方案？

参加项目前的准备工作

• 请阅读 【实战技能】软件工程师与AI工程师的区别是什么？
• 请理解人工智能模型训练硬件环境，可参考 典型深度神经网络模型训练服务器配置
• 请查看 学习之前的准备工作和Anaconda常见问题解决方法
• 可查看 工业智能资源汇总

锻炼科学和工程实践能力

结合以下三个角度锻炼科学和工程实践能力。

科学和工程实践 Scientific and Engineering Practices

1. Asking questions (for science) and defining problems (for engineering)
2. Developing and using models
3. Planning and carrying out investigations
4. Analyzing and interpreting data
5. Using mathematics and computational thinking
6. Constructing explanations (for science) and designing solutions (for engineering)
7. Engaging in argument from evidence
8. Obtaining, evaluating, and communicating information

跨领域概念 Crosscutting Concepts

1. Patterns
2. Cause and effect: Mechanism and explanation
3. Scale, proportion, and quantity
4. Systems and system models
5. Energy and matter: Flows, cycles, and conservation
6. Structure and function
7. Stability and change

学科核心概念 Disciplinary Core Ideas

1. 模型相关概念
2. 模型优化概念：欠拟合过拟合
3. 模型测试概念：