Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Some questions about the dataset #2

Closed
IDKiro opened this issue Apr 24, 2020 · 2 comments
Closed

Some questions about the dataset #2

IDKiro opened this issue Apr 24, 2020 · 2 comments

Comments

@IDKiro
Copy link

IDKiro commented Apr 24, 2020

Congratulations on your paper accepted by CVPR!
我提几个关于数据集的问题(问题有点多,我先直接用中文提问了,介意的话我可以直接删除问题并关闭issue):

  1. 感觉你们收集真实视频数据集的部分类似于定格动画?
  2. 每段视频帧数较少(因为难度大所以好像总量也不多),而且帧与帧之间的差异有点大,体现在视频上相当于运动速度很大?
  3. 真实的视频拍摄时会因为曝光时间产生运动模糊,这是否是这个方法生成的视频序列与真实视频序列最大的差别?
  4. GT使用的是多帧平均,但是低光高ISO时的噪声是非零均值的(参考文献中的SIDD收集时有提到),这导致多帧平均会造成强度偏移,你们是如何处理的?(以及可能存在的对齐的问题)
  5. 有一些GT依旧包含明显的噪声,所以你们使用了BM3D,把其他方法得到的图像作为GT是不是不足够合理?
  6. 合成数据集部分使用的噪声模型可能有点老,不够准确(比如没考虑横条纹噪声)?
  7. 预去噪部分为什么要用SID,SID的GT也是有比较明显的噪声的,如果要RAW图像应该选择FiveK?
  8. 结果中包含在混合数据集以及单纯合成数据集上训练的结果,有没有在单纯真实数据集上训练的结果?
@IDKiro IDKiro changed the title Some question about the dataset Some questions about the dataset Apr 24, 2020
@zhaowei11594
Copy link

同问,同时请把补充材料也一并给出,谢谢

@cao-cong
Copy link
Owner

cao-cong commented May 9, 2020

Thanks.

  1. 是。
  2. 是的,相当于拍摄目标的速度比较大。或者说也相当于拍摄帧率比较低。
  3. 是的,这个没有运动模糊。另外一个差别就是帧率的差别。
  4. 我们只做了多帧平均,这样的确会出现SIDD里所说的 “(2) when there are clipped pixel intensities due to low-light conditions or over-exposure, which causes the noise to be non-zero-mean and direct averaging to be biased“,我们可能会在后续工作中修正这一点,并发布更好的数据集。关于对齐,我们在多帧平均之后会检查noisy和clean图像,有问题的数据均已舍弃,并进行重拍,所以基本不存在对齐的问题。
  5. 虽然使用了BM3D,但滤波参数非常小,所以影响不大。
  6. 在特别暗的情况下会出现横条纹噪声,但我们的目标场景不是极暗。我们没有在所拍摄数据中发现横条纹噪声。
  7. Predenoising只是用来辅助alignment的计算,简便起见我们用了SID数据,当然也可以换成别的数据集来训练。但predenoising的结果对最终去噪结果的影响不是决定性的,所以换不同的数据集进行训练差异不会很大。
  8. 未在单纯真实数据集上训练,因为真实数据集拍摄难度大,采集的数据量少,我们后期会探索更智能化的采集方式。

Supplementary material is in folder "pdf".

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants