Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【华为云 ModelArts-Lab AI实战营】第三期:图像分类 (III) 模型参数&网络调优 #219

Closed
fivestarsky opened this issue Jul 3, 2019 · 98 comments

Comments

@fivestarsky
Copy link
Contributor

fivestarsky commented Jul 3, 2019

【华为云 ModelArts-Lab AI实战营】第三期:图像分类 (III) 模型参数&网络调优

本期实战营参与说明

本期实战为图像分类第三期。本期实战,本期我们将会以 “VGG16模型” 为例,讲解深度学习中模型调参和网络优化的技巧。

  1. 【本期实战内容】
  2. 【加入实战微信群】
    • 欢迎您自由加入本期实战营的微信群,与 ModelArts 社区开发者一起交流
    • 请添加 “华为云 EI 微信小助手” 后,拉您入群(微信号:huaweisecretary)
  3. 【留下实战记录】
    • 请您在本则 Issue 下方跟帖反馈:华为云账号 + 完成实战的截图
    • 反馈信息格式,请参考如下 @sunbo57123 的样例:
  4. 【本期积分规则】
    • 第三期任务00-03,完成后按照老规矩获得1个积分。调参没有固定规则,经验总结十分重要,除了实验中进行讲解的调优方法,希望各位AI大神能够将将自己的调优经验分享出来。网络不设限制,比如 ResNet、ResNet+FPN(ROI IoU 等)、MobileNet 调优等,内容随心您定,调优的方法、思路、实践过程等等,鼓励干货满满的原创案例分享。扩展案例的提交形式统一为 ModelArts Notebook 为载体,能够复现为核心,提交评分采用社区commiter 讨论的形式,内容相似度过高的文章,按照提交时间+能够有效复现的形式取第1篇哦

00任务中:

  • 反馈两次各训练 5个epoch(共10个epoch)后的运行结果+准确率变化折线图
  • 反馈带有早停的运行结果

01任务中:

  • 任意一个优化器的结果和准确率折线图(5 epoch)

02任务中:

数据增广案例训练时间较长,为了防止ipynb文件运行时丢失kernel的链接,导致无法查看结果,建议开发者实践时将ipynb文件转换为py文件,并在terminal中执行。步骤如下:

  1. ipynb文件转换成py文件
    ipynb-to-py

转换后得到一个同名的.py文件,由于ipynb中编写了很多jupyter环境中支持的特定命令,因此需要将一些特定命令进行处理,包括:

1. 以 ! 开头的shell命令,使用Python subprocess库代替
2. %matplotlib inline 声明,无法在python环境中运行,直接删除
3. matplotlib的plot命令,在Terminal中无法直接使用,需要设定matplotlib.use('Agg')

由于处理过程较为复杂,我们直接提供了转换好的02_data_augumentation.py

  1. 在Terminal中执行命令

首先,新建一个terminal:

open-terminal

在terminal中,先更新conda相关环境变量,执行命令source /opt/conda/etc/profile.d/conda.sh,然后执行conda env list命令,查看conda环境,并切换到/home/ma-user/anaconda3/envs/TensorFlow-1.13.1环境(根据Notebook规格,环境名称可能有所不同):

进入Python环境

执行py文件:nohup python 02_data_augumentation.py > data-aug.log &,然后再敲一个回车键。这样,我们用nohup启动了一个后台执行的进程,并将训练的结果输入到data-aug.log文件中,在Terminal中,可以使用tail命令查看日志文件的内容,执行tail -f data-aug.log

nohup-tail

后台进程运行结束后,我们得到data-aug.logdata-aug-plot.png两个文件

积分所需文件

  • data-aug.log文件
  • matplot保存的准确率曲线图data-aug-plot.png

03任务中:

  • 只训练分类层的日志和准确率曲线图:
  • 训练所有参数的日志和准确率曲线图:
  1. 【手动停止服务】

    • 实验完成后,请手动停止占用云资源的服务,如:停止 “开发环境” 中所创建的 Notebook 以及 “部署上线”-“在线服务” 中所部署的在线服务,以避免因持续占用云资源导致资源包无谓消耗和欠费发生。需使用时,再启动即可。
  2. 【获得实践积分】

点击此,跟帖反馈本期实战截图

@sunbo57123
Copy link
Collaborator

sunbo57123 commented Jul 4, 2019

华为云账号:S57123001

00任务

两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图

image
image

带有早停的运行结果

image

01任务

任意一个优化器的结果和准确率折线图(5epoch)运行结果

image

任意一个优化器的结果和准确率折线图(5epoch)准确率折线图

image

02任务

data-aug.log文件 链接

matplot保存的准确率曲线图data-aug-plot.png

image

03任务

只训练分类层的日志和准确率曲线图:

image
image

训练所有参数的日志和准确率曲线图:

image
image

@crystaldust crystaldust changed the title [WIP]未开始请勿参加【华为云 ModelArts-Lab AI实战营】第三期 图像分类模型参数&网络调优(III) 【华为云 ModelArts-Lab AI实战营】第三期 图像分类模型参数&网络调优(III) Jul 5, 2019
@richardllin richardllin changed the title 【华为云 ModelArts-Lab AI实战营】第三期 图像分类模型参数&网络调优(III) 【华为云 ModelArts-Lab AI实战营】第三期:图像分类 (III) 模型参数&网络调优 Jul 5, 2019
@benmcq2019
Copy link
Contributor

华为云账号:maomaode
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
个人想简单了直接上了17进行运行。
QQ截图20190704232023
QQ截图20190704225110
根据上图选择了12次进行运行:
QQ截图20190705141025

带有早停的运行结果
设置早停


01任务
任意一个优化器的结果和准确率折线图(5epoch)运行结果
1-1

rmsprop优化器

1-2rmsprop

Adam优化器

1-3Adam


02任务
data-aug.log文件 链接:https://pan.baidu.com/s/1S29pbeJt_zp0vOZgP5MtBg 提取码:vgv4
matplot保存的准确率曲线图data-aug-plot.png:
data-aug-plot


03任务
只训练分类层的日志和准确率曲线图:

image

QQ截图20190705195815

训练所有参数的日志和准确率曲线图:
image
QQ截图20190705201403

@xyl1null
Copy link
Contributor

xyl1null commented Jul 5, 2019

华为云账号: pr0d1gy

0. epochs和callbacks

  • 两次各训练 5个epoch (共10个epoch)后的运行结果

Screenshot 2019-07-05 at 23 46 53

  • 准确率变化折线图

Screenshot 2019-07-05 at 23 50 50

  • 带有早停的运行结果

Screenshot 2019-07-05 at 23 52 38

1. 学习率和优化器

  • 任意一个优化器运行结果

Screenshot 2019-07-06 at 00 00 59

  • 任意一个优化器准确率折线图

Screenshot 2019-07-06 at 00 01 05

2. 数据增广

3. 使用预训练权重

  • 只训练分类层的日志

Screenshot 2019-07-06 at 00 09 25

  • 只训练分类层的准确率折线图

Screenshot 2019-07-06 at 00 10 24

  • 训练所有参数的日志

Screenshot 2019-07-06 at 00 11 56

  • 训练所有参数的准确率曲线图

Screenshot 2019-07-06 at 00 12 17

xyl1null added a commit to xyl1null/ModelArts-Lab that referenced this issue Jul 5, 2019
* leighshanie:3个积分,贡献点:
     * 完成案例:[第一期](huaweicloud#49 (comment)) [第二期](huaweicloud#113 (comment)) [第三期](huaweicloud#219 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例
     * 微认证:
@bochuan007
Copy link
Contributor

华为云账号:bochuan007

00任务中:

反馈两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图

华为测试2019070501
华为测试2019070502
华为测试2019070503
华为测试2019070504

反馈带有早停的运行结果

华为测试2019070505
华为测试2019070506

拓展(非必选):可以尝试自己定义学习率衰减规律。使用LearningRateScheduler方法,自己定义学习率衰减。

华为测试2019070507
华为测试2019070508

01任务中:

任意一个优化器的结果和准确率折线图(5epoch)

华为测试2019070509
华为测试2019070510

拓展(非必选):多epoch(epoch>30)在不同优化器下的代码和运行结果及准确率折线图

华为测试2019070511
华为测试2019070512
华为测试2019070513

02任务中:

data-aug.log文件

data-aug.log

matplot保存的准确率曲线图data-aug-plot.png

data-aug-plot

03任务中:

只训练分类层的日志和准确率曲线图:

华为测试2019070514
华为测试2019070515

训练所有参数的日志和准确率曲线图:

华为测试2019070516
华为测试2019070517

拓展,尝试使用更深层的网络,此处使用VGG19

华为测试2019070518
华为测试2019070519

@leewishyuanfang
Copy link
Contributor

华为云账号:leewish_yuanfang
00任务中:
反馈两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
第一次5个epoch
第一个五次epoch
第一个5次epoch的精确度曲线
第二次5个epoch
第二个五次epoch
第二个5次epoch的精确度曲线

反馈带有早停的运行结果
带有早停的运行结果
带有早停的运行结果-精确度曲线

01任务中:
任意一个优化器的结果和准确率折线图(5epoch)
rmsprop优化器
rmsprop优化器的结果
rmsprop优化器的准确率曲线图
adam优化器
adam优化器的结果
adam优化器的准确率曲线图
sgd优化器-学习率0.0001
sgd优化器的结果
sgd优化器的准确率曲线图
sgd优化器-学习率0.001
sgd优化器的结果-学习率0 001
sgd优化器的准确率曲线图-学习率0 001

02任务中:
data-aug.log文件
data-aug.log

matplot保存的准确率曲线图data-aug-plot.png
data-aug-plot

03任务中:
只训练分类层的日志和准确率曲线图:
训练所有参数的日志
训练所有参数的精确度曲线

训练所有参数的日志和准确率曲线图:

只训练分类层的日志
只训练分类层的精确度曲线

JinhengZhang pushed a commit that referenced this issue Jul 6, 2019
* leighshanie:3个积分,贡献点:
     * 完成案例:[第一期](#49 (comment)) [第二期](#113 (comment)) [第三期](#219 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例
     * 微认证:
@cnfox0273
Copy link
Contributor

华为云账号:cnfox0273

00任务中:
反馈两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图

第一次5个epoch:
Snip20190706_20
Snip20190706_21
Snip20190706_22

第二次5个epoch:
Snip20190706_23
Snip20190706_24
Snip20190706_25

反馈带有早停的运行结果:
Snip20190706_26
Snip20190706_27
Snip20190706_28

01任务中:
任意一个优化器的结果和准确率折线图(5epoch)
Snip20190706_29
Snip20190706_30
Snip20190706_31

02任务中:
data-aug.log文件
data-aug.log

matplot保存的准确率曲线图data-aug-plot.png
data-aug-plot

03任务中:
只训练分类层的日志和准确率曲线图:
Snip20190707_33
Snip20190707_34

训练所有参数的日志和准确率曲线图:
Snip20190707_35
Snip20190707_36

cnfox0273 added a commit to cnfox0273/ModelArts-Lab that referenced this issue Jul 6, 2019
* cnfox0273: 4个积分,贡献点:
     * 完成案例:[第一期](huaweicloud#49 (comment)) [第二期](huaweicloud#113 (comment)) [第三期](huaweicloud#219 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:
     * 微认证:[ModelArts实现零售商客户分群](huaweicloud#177 (comment))
@skyonedot
Copy link
Contributor

华为云账号 s1119858711

00任务

image
image
带有早停的结果
image

01任务

Adam加速器
image

Adam加速器图片
image

02任务

image
data-aug.log文件
data-aug .log

03任务

只训练分类层的日志和准确率曲线图:
image

训练所有参数的日志和准确率曲线图:
image

@skyonedot skyonedot mentioned this issue Jul 7, 2019
benmcq2019 added a commit to benmcq2019/ModelArts-Lab that referenced this issue Jul 7, 2019
追加自己的积分跟新信息如下:
* 完成案例:[第三期](huaweicloud#219 (comment))
* 体验文章:(huaweicloud#277)
JinhengZhang added a commit that referenced this issue Jul 7, 2019
* cnfox0273: 4个积分,贡献点:
     * 完成案例:[第一期](#49 (comment)) [第二期](#113 (comment)) [第三期](#219 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:
     * 微认证:[ModelArts实现零售商客户分群](#177 (comment))
@skyonedot skyonedot mentioned this issue Jul 7, 2019
@jimmy9778
Copy link
Contributor

jimmy9778 commented Jul 8, 2019

华为云账号:jimmybhb

00任务:epochs和callbacks
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
1562570914(1)
1562571003(1)
1562571083(1)
1562571360(1)
1562571497(1)
1562571528(1)
带有早停的运行结果
1562572356(1)
01任务:学习率和优化器
Adam优化器的结果和准确率折线图(5epoch)运行结果
1562585477(1)
1562585528(1)
1562585502(1)
02任务:数据增广
1562660489(1)
02任务:通过终端执行结果
data-aug.log
data-aug-plot

03任务:使用预训练权重
只训练分类层的日志和准确率曲线图:
1562732486(1)
1562732557(1)
1562732601(1)
训练所有参数的日志和准确率曲线图:
1562732922(1)
1562732936(1)

@15940983626
Copy link
Contributor

15940983626 commented Jul 8, 2019

华为云账号:15940983626
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
10
11

带有早停的运行结果
12

01任务
任意一个优化器的结果和准确率折线图(5epoch)运行结果
13
14

02任务
data-aug.log
data-aug-plot

03任务
只训练分类层的日志和准确率曲线图:
16
17

训练所有参数的日志和准确率曲线图:
18
19

xyl1null added a commit to xyl1null/ModelArts-Lab that referenced this issue Jul 8, 2019
* leighshanie:4个积分,贡献点:
     * 完成案例:[第一期](huaweicloud#49 (comment)) [第二期](huaweicloud#113 (comment)) [第三期](huaweicloud#219 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例
     * 微认证:[ModelArts实现零售商客户分群](huaweicloud#177 (comment))
@work2020
Copy link
Contributor

work2020 commented Jul 8, 2019

华为云账号 huawei018
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
image
image
带有早停的运行结果
image

01任务
任意一个优化器的结果和准确率折线图(5epoch)运行结果
image
image

02任务
data-aug.log
准确率曲线图
image

03任务
只训练分类层的日志和准确率曲线图:
image
image
训练所有参数的日志和准确率曲线图:
image
image

@skyonedot skyonedot mentioned this issue Jul 10, 2019
@fesayumi
Copy link
Contributor

华为云账号: hwstaff_t00322865
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
image

image

image

带早停结果:
image

image

01任务
SDG运行结果:
image

image

02任务
data-aug.log文件:data-aug.log

matplot保存的准确率曲线图:
data-aug-plot

03任务
只训练分类层的日志和准确率曲线图:
image

image

训练所有参数的日志和准确率曲线图:

image

image

shanchenqi pushed a commit that referenced this issue Nov 1, 2019
* hw60990420 :10个积分,贡献点:
     * 完成案例:[第一期](#49 (comment))
                [第二期](#113 (comment))
		[第三期](#219 (comment))
		[第四期](#402 (comment))
		[第六期](#837 (comment))
		[第七期](#931 (comment))
		[第十一期](#1177 (comment))
		[第十二期](#1248 (comment))
		[第十三期](#1343 (comment))
		[第十四期](#1364 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:    
     * 微认证:
Assassinbelief added a commit to Assassinbelief/ModelArts-Lab that referenced this issue Nov 2, 2019
* hw60990420 :15个积分,贡献点:
     * 完成案例:[第一期](huaweicloud#49 (comment))
                [第二期](huaweicloud#113 (comment))
		[第三期](huaweicloud#219 (comment))
		[第四期](huaweicloud#402 (comment))
		[第六期](huaweicloud#837 (comment))
		[第七期](huaweicloud#931 (comment))
		[第八期](huaweicloud#1025 (comment))
		[第九期](huaweicloud#1087 (comment))
		[第十期](huaweicloud#1111 (comment))
		[第十一期](huaweicloud#1177 (comment))
		[第十二期](huaweicloud#1248 (comment))
		[第十三期](huaweicloud#1343 (comment))
		[第十四期](huaweicloud#1364 (comment))
		[第十五期](huaweicloud#1395 (comment))
		[第十六期](huaweicloud#1445 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:    
     * 微认证:
shanchenqi pushed a commit that referenced this issue Nov 2, 2019
* hw60990420 :15个积分,贡献点:
     * 完成案例:[第一期](#49 (comment))
                [第二期](#113 (comment))
		[第三期](#219 (comment))
		[第四期](#402 (comment))
		[第六期](#837 (comment))
		[第七期](#931 (comment))
		[第八期](#1025 (comment))
		[第九期](#1087 (comment))
		[第十期](#1111 (comment))
		[第十一期](#1177 (comment))
		[第十二期](#1248 (comment))
		[第十三期](#1343 (comment))
		[第十四期](#1364 (comment))
		[第十五期](#1395 (comment))
		[第十六期](#1445 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:    
     * 微认证:
@Rrrocky98
Copy link
Contributor

华为云账号:Rocky98
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图

1

2

带有早停的运行结果

3

01任务
任意一个优化器的结果和准确率折线图(5epoch)运行结果

41

42

02任务
data-aug.log文件
data-aug.log

matplot保存的准确率曲线图data-aug-plot.png
data-aug-plot

03任务
只训练分类层的日志和准确率曲线图:
5

6

训练所有参数的日志和准确率曲线图:
7

8

Assassinbelief added a commit to Assassinbelief/ModelArts-Lab that referenced this issue Nov 3, 2019
* hw60990420 :16个积分,贡献点:
     * 完成案例:[第一期](huaweicloud#49 (comment))
                [第二期](huaweicloud#113 (comment))
		[第三期](huaweicloud#219 (comment))
		[第四期](huaweicloud#402 (comment))
		[第五期](huaweicloud#637 (comment))
		[第六期](huaweicloud#837 (comment))
		[第七期](huaweicloud#931 (comment))
		[第八期](huaweicloud#1025 (comment))
		[第九期](huaweicloud#1087 (comment))
		[第十期](huaweicloud#1111 (comment))
		[第十一期](huaweicloud#1177 (comment))
		[第十二期](huaweicloud#1248 (comment))
		[第十三期](huaweicloud#1343 (comment))
		[第十四期](huaweicloud#1364 (comment))
		[第十五期](huaweicloud#1395 (comment))
		[第十六期](huaweicloud#1445 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:    
     * 微认证:
shanchenqi pushed a commit that referenced this issue Nov 4, 2019
* hw60990420 :16个积分,贡献点:
     * 完成案例:[第一期](#49 (comment))
                [第二期](#113 (comment))
		[第三期](#219 (comment))
		[第四期](#402 (comment))
		[第五期](#637 (comment))
		[第六期](#837 (comment))
		[第七期](#931 (comment))
		[第八期](#1025 (comment))
		[第九期](#1087 (comment))
		[第十期](#1111 (comment))
		[第十一期](#1177 (comment))
		[第十二期](#1248 (comment))
		[第十三期](#1343 (comment))
		[第十四期](#1364 (comment))
		[第十五期](#1395 (comment))
		[第十六期](#1445 (comment))
     * 体验文章:
     * 扩展案例:
     * 实际应用案例:    
     * 微认证:
This was referenced Nov 5, 2019
@Carex-Chunhui
Copy link
Contributor

华为云账号:hw28207081
00任务
两次各训练 5个epoch (共10个epoch)后的运行结果+准确率变化折线图
image
image
带有早停的运行结果
image
01任务
任意一个优化器的结果和准确率折线图(5epoch)运行结果
image
image
02任务
data-aug.log
准确率曲线图
image
03任务
只训练分类层的日志和准确率曲线图:
image
训练所有参数的日志和准确率曲线图:
image
image
image

@uflexnihao
Copy link
Contributor

华为云账号:uflexnihao

00任务
两次各训练5个epochs
2
3
1
4
5
早停结果
6
7

01任务
任意优化器
1
2

02任务
准确率曲线
data-aug-plot

data-aug.log文件
data-aug.log

03任务
只训练分类层
1
2
3
4
5

训练所有层
6
7
8
9

uflexnihao added a commit to uflexnihao/ModelArts-Lab that referenced this issue Nov 9, 2019
积分提交说明:(本次一次提交16个积分案例)
* uflexnihao:16个积分点,贡献点:
    * 完成案例:[第一期](huaweicloud#49 (comment))
				[第二期](huaweicloud#113 (comment))	
				[第三期](huaweicloud#219 (comment))		
				[第四期](huaweicloud#402 (comment))
				[第五期](huaweicloud#637 (comment))
				[第六期](huaweicloud#837 (comment))
				[第七期](huaweicloud#931 (comment))
				[第八期](huaweicloud#1025 (comment))
				[第九期](huaweicloud#1087 (comment))
				[第十期](huaweicloud#1111 (comment))
				[第十一期](huaweicloud#1177 (comment))
				[第十二期](huaweicloud#1248 (comment))
				[第十三期](huaweicloud#1343 (comment))
				[第十四期](huaweicloud#1364 (comment))
				[第十五期](huaweicloud#1395 (comment))
				[第十六期](huaweicloud#1445 (comment))
    * 体验文章:
    * 扩展案例:
    * 实际应用案例:
    * 微认证:
shanchenqi pushed a commit that referenced this issue Nov 9, 2019
* uflexnihao提交积分

积分提交说明:(本次一次提交16个积分案例)
* uflexnihao:16个积分点,贡献点:
    * 完成案例:[第一期](#49 (comment))
				[第二期](#113 (comment))	
				[第三期](#219 (comment))		
				[第四期](#402 (comment))
				[第五期](#637 (comment))
				[第六期](#837 (comment))
				[第七期](#931 (comment))
				[第八期](#1025 (comment))
				[第九期](#1087 (comment))
				[第十期](#1111 (comment))
				[第十一期](#1177 (comment))
				[第十二期](#1248 (comment))
				[第十三期](#1343 (comment))
				[第十四期](#1364 (comment))
				[第十五期](#1395 (comment))
				[第十六期](#1445 (comment))
    * 体验文章:
    * 扩展案例:
    * 实际应用案例:
    * 微认证:

* Update all_ranking.md
@chenliang613
Copy link
Collaborator

活动结束,本issue关闭!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests