关于bottom up and top down模型的问题

[JimLee4530]

你好，
bottom up and top down的论文里说 60k iterations 训9个小时就能到达cider 120.1 的效果。
但我将你代码模型的参数修改成论文中的参数，并将attention lstm那块的输入修改成每个bounding box 的image feature的均值。但是也达不到论文里的效果。
想问问你，以你的经验来看，觉得会是什么原因呢？

[ruotianluo]

跟batch size有关。然后这个repo用的festure不是文章中用的feature。

[coldmanck]

@JimLee4530

I think you can try the pretrained features provided by the author here.

[JimLee4530]

thanks ，It achieve 1.20 Cider score on Karpathy's test split after self-critical training.

[HrsPythonix]

您好，请问您方便能分享一下训练时的具体参数嘛，比如rnn的hidden unit num，还有batch size等等

[JimLee4530]

我用的都是论文里提供的参数。batch size为100， rnn_hide_size为1000, embedding 为1000. attention hide size为512

[HrsPythonix]

你的max epoch设置的是30？ 然后最后没有Cider optimization的结果Bleu_1有0.770吗？

[JimLee4530]

对的，max epoch设置的是30， 当时的结果如下，Bleu_1好像没到0.770，未经过Cider optimization的结果如下：
{'CIDEr': 1.1534126230436987,
'Bleu_4': 0.3712410192810052,
'Bleu_3': 0.4753132784679994,
'Bleu_2': 0.6087557246854488,
'Bleu_1': 0.7656615739972887,
'ROUGE_L': 0.57175632862905756,
'METEOR': 0.2799153984204049}

[HrsPythonix]

好的 非常感谢

[deepylt]

@JimLee4530 你好，请问一下，我用跟你一致的参数设置，即--batch_size 100 --rnn_size 1000 --input_encoding_size 1000 --input_encoding_size 512, 但是学习率与scheduled samping 设置与ruotian的readme中的默认设置一致（adam, learning_rate: 5e-4 开始step下降， ss:0-0.25）,但是训练30epoch之后最高的CIDEr分数是1.11，比你跑的1.15低挺多的。我注意到top-down论文中是采用sgd更新策略，学习率从0.01下降，训练60k次迭代。请问下你有修改其他参数设置吗？

[JimLee4530]

我的设置你一样，并没有修改其他的。你的特征用了论文里的feature了吗？

[deepylt]

嗯是的，用了每个图片36个box的特征，请问你是用的10-100 adapt的还是36 fix的特征？

[JimLee4530]

我的是10~100 adapt的。

[deepylt]

我试试10-100的，谢谢！

[yangxuntu]

@JimLee4530 请问您是否可以给一下cider是1.20的详细的参数设置，我按照上面所说的参数设置最后发现并没有跑到1.20，只能跑到1.12多。我觉得应该是我的学习速率设置的不对，也有可能是eval时的参数设置的有问题。
所以希望您能够展示一下1.20的超参，谢谢了！

[JimLee4530]

python train.py --id topdown --caption_model topdown --input_json data/cocotalk.json --input_fc_dir data/cocotalk_fc --input_att_dir faster_rcnn_pool5 --input_label_h5 data/cocotalk_label.h5 --batch_size 100 --learning_rate 5e-4 --learning_rate_decay_start 0 --scheduled_sampling_start 0 --checkpoint_path log_topdown --save_checkpoint_every 6000 --val_images_use 5000 --max_epochs 30 --rnn_size 1000 --input_encoding_size 1000 --att_feat_size 2048 --att_hid_size 512

这是我设置的参数，其他的都是opt文件里默认的。

接下来是 eval
python eval.py --dump_images 0 --num_images 5000 --model log_topdown/model-best.pth --infos_path log_topdown/infos_topdown-best.pkl --language_eval 1 --beam_size 5
eval的参数应该会去读在 infos文件里读训练的参数。beam size 我设成5了。和论文一样的。不过换成3和2，结果差不多。

[yangxuntu]

@JimLee4530 非常感谢！！！

[ivy94419]

@JimLee4530 @yangxuntu @deepylt Can somebody share the 10-100 adapt or 30 fixed features? I download it from Chrome browser, but the speed is too slow and it often interrupts.

[yangxuntu]

I download all these features about 1-2 days, be patient...

[ivy94419]

@yangxuntu It always interrupts and redownload, it will start from the begin......

[yangxuntu]

I do not meet such problem...
Maybe you need to use a vpn or something else.

[ivy94419]

@yangxuntu what browser or tool you used for download? I have vpn in my computer

[yangxuntu]

I do not use any vpn. I just slowly download the features. And after one to two days, I finish downloading them.

[y657250418]

@ruotianluo @JimLee4530 请问有使用cider优化后的topdown模型在online（https://competitions.codalab.org/competitions/3221）上测评过吗？
我训练时得分很高
{
'CIDEr': 1.2122694918211574,
'Bleu_4': 0.3716883181404758,
'Bleu_3': 0.49495639150868476,
'Bleu_2': 0.6458257633211044,
'Bleu_1': 0.8147943927215487,
'ROUGE_L': 0.5806054907761705,
'METEOR': 0.2812694786562275
}

但是在online上测试时得分很低
{'reflen': 413361, 'guess': [425299, 384795, 344291, 303787], 'testlen': 425299, 'correct': [278690, 123972, 48991, 19223]}
ratio: 1.02888032495
Bleu_1: 0.655
Bleu_2: 0.459
Bleu_3: 0.311
Bleu_4: 0.209
computing METEOR score...
METEOR: 0.214
computing Rouge score...
ROUGE_L: 0.466
computing CIDEr score...
CIDEr: 0.691

是不是在测试输出json的文件时需要使用test2014的10-100的特征？
我是直接加载模型的参数没有更改，命令如下：
python eval.py --model log_td/model.pth --infos_path log_td/infos_td.pkl --image_folder data/test2014/ --dump_images 0 --coco_json image_info_test2014.json

想请问一下知道原因吗？感恩~~~

[JimLee4530]

首先 online 上的得分确实会低的。其次是你test的命令， 有用到beam search 吗？用了beam search 会高点。

[y657250418]

@JimLee4530 使用了beam search，beam_size=2，想请问一下您用原始模型在online上的得分大概是多少？方便分享一下吗？感谢

[yangxuntu]

没有测哎，你可以参考bottom up report的结果。ruotian luo的实现应该会比原来的版本高一些的。

…

________________________________ 发件人: y657250418 <notifications@github.com> 发送时间: 2019年4月15日 16:54 收件人: ruotianluo/self-critical.pytorch 抄送: #YANG XU#; Mention 主题: Re: [ruotianluo/self-critical.pytorch] 关于bottom up and top down模型的问题 (#31) @JimLee4530<https://github.com/JimLee4530> 使用了beam search，beam_size=2，想请问一下您用原始模型在online上的得分大概是多少？方便分享一下吗？感谢 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#31 (comment)>, or mute the thread<https://github.com/notifications/unsubscribe-auth/AkiaOh4ghObRCjeQFUwpXbh8es4NoHaYks5vhD44gaJpZM4RmG3L>.