-
Notifications
You must be signed in to change notification settings - Fork 21
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关于SMOID的测试实验结果 #21
Comments
SMOID论文中的网络为3D-UNet,在合成数据集上从头训练即可,本质上是比较不同论文中所使用网络在DAVIS合成数据集上的性能 |
原来如此 所以基于视频的方法(MBLLVEN和SMOID)都是需要在我们自己的合成数据上重新训练后再进行测试对吗 |
是的,这也是选择DAVIS视频数据集合成数据来进行benchmark的原因,需要给video-based方法提供训练数据 |
那前面几种基于图像的方法我们是否还需要利用DAVIS合成数据重新训练一个模型呢?还是直接使用官方已经训练好的模型在DAVIS数据集上测试就行? |
论文中对比方法模型都是用源代码重新训练的。 |
明白了!十分感谢~ |
我在合成数据集上重新训练的SMOID模型不能增强图像,请问您是直接用图片进行训练,还是将图片转成视频进行训练的?如果可以的话,能否提供您的SMOID的train的代码? 不胜感激 |
你使用的是自己实现的代码还是怎样训练的,SMOID的有官方代码,我用的就是其公布的源码 |
我使用的是SMOID的官方代码,您是直接使用自己的图片数据集进行训练的吗?还是将图片转成了视频然后再训练的 |
为什么需要将图片转成视频,源码中训练也只是16帧或者32帧一起送入网络这样实现的 |
|
我不记得SMOID的训练里有用到VGG loss呀,你再确认下是不是找错代码了,他们论文里也是说用L1 loss进行训练的。 |
这是链接 https://github.com/cchen156/Seeing-Motion-in-the-Dark |
我对比的SMOID是ICCV19的《Learning to see moving objects in the dark》,《Seeing Motion in the Dark》训练只能用静态视频,否则随机选不同帧时他的loss约束是不成立的。 |
所以是不能利用我们的DAVIS 合成数据集来训练 《Seeing Motion in the Dark》这个模型了吗 |
原理上是不行的,它需要从同一段视频中随机抽取不同帧来做一致性约束,对于动态场景不适用 |
|
你先检查下图片输入输出时RGB/BGR的格式,这个看起来是通道反了 |
我对network进行了修改,因为不修改的话无法训练起来,原来的network是用于处理raw格式的视频,下面这个是我修改后network的代码,我修改的正确吗?
我将原来的slim.conv3d中的12改为了3 并且省略了tf.concat的步骤 |
我是通过 img = cv2.imread( )来读取图片,所以是要加上 img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 这个过程来将 BGR的格式转化为RGB格式吗? |
我记得原代码中应该是首先将单通道的raw数据并预处理为4通道的格式,然后gt和输出都是4通道。 你直接用在DAVIS上的话输入输出都改为3通道应该就可以了 |
你可以把你之前那种测试结果不正常的图片读入并且转为RGB再可视化看看,我感觉可能是通道反了 |
您能否提供一下SMOID的训练代码呢 十分感谢!!
|
看样子颜色通道异常的问题已经解决了,我觉得现在的结果看起来知识有些过曝,你可以尝试把网络输出归一化或者截断到[0,1]范围内再可视化看看。 黑条应该是你修改crop没改对,你可以试试原来的crop,裁出0应该不会影响训练,很多时候对于尺寸不对的输入,都是通过pad 0来预处理的。 这个方法只是那篇论文里我选择对比的其中之一,现在要找到当时的代码比较麻烦。你也许可以发issue问问原作者。 |
@Ac2333 你需要理解raw格式的像素排列和rgb的对应关系,源代码中crop应该是对rggb排列的raw数据进行裁剪,也就是每2x2个像素对应rgb中的一个pixel,所以crop的时候*2了,你的修改可能有点问题。 其次,raw数据选用16bit只是因为数据本身是14或者12bit的,通过16bit的格式保存了。DAVIS数据本身是sRGB,只有8bit,你不需要改成24bit等操作,而且你所说的24深度也有歧义,有可能指的是8bit*3一共24深度,这和low light image enhancement中提到的bit位数有些差别,你需要注意区分。 而且从你最新的结果图可以看出,网络是可以正常输出的,low light图是能够被网络提高亮度的,只是你的预处理和后处理可能还存在问题,你排查一下,相信对你理解这整个处理流程也有帮助。 |
好的 十分感谢您的帮助! |
你好,请问大佬是否有Learning to See Moving Objects in the Dark论文中的SMOID数据集呢?现在从论文作者的github网址https://github.com/MichaelHYJiang/Learning-to-See-Moving-Objects-in-the-Dark执行python download_dataset.py |
抱歉,我没有SMOID数据集,你也许可以给通讯作者Yinqiang Zheng发信问一下。 |
感谢回复,我在论文作者的github项目主页上提问没有回复,我尝试给通讯作者发信问一下。 |
SMOID这篇论文利用了一个共轴光学系统建立了一个SMOID的数据集,所以不应该是只能在SMOID这个数据集上测试吗?您是如何在自己创建的DAVIS数据集上测试SMOID模型的?
The text was updated successfully, but these errors were encountered: