Dataloader takes too long to load

[wangdazhong1112]

Why does the dataloader take so long? It takes about half an hour. I'm a 3060ti graphics card with 16g memory

[vefalun]

Thank you for using HTNet. For reference, the dataloader takes about 10 seconds.

[wangdazhong1112]

Thank you for your answer！
What is your configuration of graphics card and memory？
How about jumping into this cycle? My computer has been here for a long time. Debugging can't be carried out

[vefalun]

Please send your wechat account to cjl@stu.pku.edu.cn，I will help you out

[wangdazhong1112]

okay, thank you. I will send email via student email

[jianlai123-123]

Hello, can you achieve the effect in the paper by retraining the model without adding the refine parameter? @wangdazhong1112

[wangdazhong1112]

你好，请问在不加refine参数的情况下重新训练模型能达到论文中的效果吗？@wangdazhong1112

是的，大概差距为0.5左右

[jianlai123-123]

请问是直接运行python main.py --train 吗？我直接运行的话，效果达不到，而且学习率不是显示5个epoch下降一次，而是一个epoch就下降一次。还有如果要使用优化的话，是怎么运行的呢。期待您的回复，十分感谢。 @wangdazhong1112

[vefalun]

是运行python main.py --train，学习率是每个epoch变成前一个epoch学习率的95%，每五个epoch下降50%，优化部分我们采用了和mgcn一样的方式，可以参考他们的方法

…

---Original--- From: ***@***.***> Date: Tue, Mar 21, 2023 20:02 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [vefalun/HTNet] Dataloader takes too long to load (Issue #1) 请问是直接运行python main.py --train 吗？我直接运行的话，效果达不到，而且学习率不是显示5个epoch下降一次，而是一个epoch就下降一次。还有如果要使用优化的话，是怎么运行的呢。期待您的回复，十分感谢。 @wangdazhong1112 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[wangdazhong1112]

请问是直接运行python main.py --train 吗？我直接运行的话，效果达不到，而且学习率不是显示5个epoch下降一次，而是一个epoch就下降一次。还有如果要使用优化的话，是怎么运行的呢。期待您的回复，十分感谢。 @wangdazhong1112

python main.py --train默认的是使用cpn检测器数据集，需要改成gt真值的话可以通过修改opt.py文件，也可以命令行加上-k gt，使用refine进行优化可以在opt中修改默认值，改为开启。

[jianlai123-123]

你好，我直接运行python main.py --train的话，得到这样的结果。

[vefalun]

最终性能在不同环境，不同显卡中都不一样，48.8-49.5之间属于正常波动

…

---Original--- From: ***@***.***> Date: Tue, Mar 21, 2023 20:17 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [vefalun/HTNet] Dataloader takes too long to load (Issue #1) 你好，我直接运行python main.py --train的话，得到这样的结果。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[jianlai123-123]

你好，了解。如果是要使用优化的话。是不是把第一次没有使用优化参数训练得到的结果当作预训练模型。然后执行python main.py --train --lr_refine 1e-5 -k 'cpn_ft_h36m_dbb' -n 'your_model' --refine --refine_train_reload --previous_dir './ckpt/your_model' --previous_refine_name '预训练模型名称'。

[wangdazhong1112]

你好，了解。如果是要使用优化的话。是不是把第一次没有使用优化参数训练得到的结果当作预训练模型。然后执行python main.py --train --lr_refine 1e-5 -k 'cpn_ft_h36m_dbb' -n 'your_model' --refine --refine_train_reload --previous_dir './ckpt/your_model' --previous_refine_name '预训练模型名称'。

我并没有跑refine网络，不过你应该是对的

[jianlai123-123]

好的，谢谢。按照MGCN方法的话，把第一次跑的当作预训练模型，然后第二次使用refine，并且把第一次模型放进来，前五个epoch的话，结果很高，loss也很高。我就没再继续了。后面我还是用这样的方法跑30个epoch，看看具体的效果。