Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

测试指标和原文有出入 #49

Closed
Zency-Sun opened this issue Mar 1, 2023 · 17 comments
Closed

测试指标和原文有出入 #49

Zency-Sun opened this issue Mar 1, 2023 · 17 comments

Comments

@Zency-Sun
Copy link

非常感谢各位的工作，你们出彩的工作使得超分辨领域有了更新的进展！
我在使用本仓库提供的预训练模型HAT_SRx2.pth、HAT_SRx3.pth、HAT_SRx4.pth验证Set5数据集时，发现数据和原文有了部分出入，详情如下：

  • 测试1
    采用的数据集：Set5的HR均是原图的png格式，图像大小未使用mod（如baby.png为512x512），LR是HR直接降采样获得的（如baby.png降采样2倍为256x256）
    测试结果：2/3/4倍的PSNR测试结果分别比文章中少0.03，0，0，SSIM指标分别比文章少0.0001，0.0001，0.0001
  • 测试2
    采用的数据集：Set5的HR均是原图mod12的png格式，（如baby.png为504x504），LR是HR直接降采样获得的（如baby.png降采样2倍为252x252）
    测试结果：2/3/4倍的PSNR测试结果分别比文章中少0.07，0.03，0.03，SSIM指标分别比文章多0.0003，0.0002，0.0004

请问你们获得文中的结果是使用的何种方式制备的测试集？期待恢复！
@chxy95
Copy link
Member

chxy95 commented Mar 1, 2023

2倍mod2, 3倍mod3, 4倍mod4

@Zency-Sun
Copy link
Author

我刚刚按照您给的方法进行了新的测试，使用Set5数据集测试了HAT_SRx2.pth、HAT_SRx3.pth、HAT_SRx4.pth，结果如下：
2023-03-01 19:09:39,193 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx2.pth, with param key: [params_ema]. 2023-03-01 19:09:39,283 INFO: Model [HATModel] is created. 2023-03-01 19:09:39,283 INFO: Testing Set5... 2023-03-01 19:09:42,956 INFO: Validation Set5 # psnr: 38.6039 Best: 38.6039 @ HAT_SRx2 iter # ssim: 0.9629 Best: 0.9629 @ HAT_SRx2 iter
2023-03-01 19:12:24,515 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx3.pth, with param key: [params_ema]. 2023-03-01 19:12:24,607 INFO: Model [HATModel] is created. 2023-03-01 19:12:24,607 INFO: Testing Set5... 2023-03-01 19:12:26,698 INFO: Validation Set5 # psnr: 35.0567 Best: 35.0567 @ HAT_SRx3 iter # ssim: 0.9328 Best: 0.9328 @ HAT_SRx3 iter
2023-03-01 19:12:56,934 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx4.pth, with param key: [params_ema]. 2023-03-01 19:12:57,023 INFO: Model [HATModel] is created. 2023-03-01 19:12:57,023 INFO: Testing Set5... 2023-03-01 19:12:59,043 INFO: Validation Set5 # psnr: 33.0383 Best: 33.0383 @ HAT_SRx4 iter # ssim: 0.9055 Best: 0.9055 @ HAT_SRx4 iter

  • x2的测试结果为PSNR=38.60，SSIM=0.9629，PSNR比论文少0.03，SSIM比论文少0.0001。
  • x3的测试结果为PSNR=35.06，SSIM=0.9328，PSNR与论文一致，SSIM比论文少0.0001。
  • x4的测试结果为PSNR=33.04，SSIM=0.9055，PSNR与论文一致，SSIM比论文少0.0001。

请问结果有差别可能的原因是什么？测试的结果在可接受的范围之内吗？您认为测试结果在±多少范围内可接受？期待您的回答！

@chxy95
Copy link
Member

chxy95 commented Mar 1, 2023

目前这个测试结果应该可接受的。不过有0.03的差异确实还是挺奇怪的。我这边测试是没问题的，可能数据来源不完全一样，有一些细微差别。你可以先用release的结果验证一下计算函数是不是有区别。

@Zency-Sun
Copy link
Author

我同意您的观点，可能是数据来源的问题或是计算函数的问题，但我更认同前者。
我上次测试使用的是RCAN下载的数据集，他们的数据集是使用matlab生成的GTmod2/3/4/8，见该链接
请问您在准备测试集的时候使用的方法和RCAN一致吗？如果方便的话可以分享一下程序吗？
期待您的回复！

@chxy95
Copy link
Member

chxy95 commented Mar 2, 2023

https://github.com/XPixelGroup/BasicSR/blob/master/scripts/matlab_scripts/generate_bicubic_img.m

@Zency-Sun
Copy link
Author

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

@chxy95 chxy95 mentioned this issue Nov 21, 2023
Open
@xuxuduoduomeiGithub
Copy link

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007
请问我这是哪里有问题呢？期待回复！

@Zency-Sun
Copy link
Author

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007 请问我这是哪里有问题呢？期待回复！

x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理，详见本issue的第5条讨论，希望可以帮到你~

@xuxuduoduomeiGithub
Copy link

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007 请问我这是哪里有问题呢？期待回复！

x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理，详见本issue的第5条讨论，希望可以帮到你~

您好，另外还有个问题，就是我用作者提供的网络结构进行训练，发现效果差的非常的多，这可能跟我之前对Set5、Set14、BSD100、Urban100、Manga109测试集处理方式有关，此外，还想再问一下我下面对训练集的处理是否正确，训练集是直接将Div2K和Flickr2K中的HR图片放在一起（3450张图片）然后进行裁剪得到（480x480）大小的DF2K_HR图片（139995张图片），然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起（3450张图片）然后进行裁剪得到（240x240）大小的DF2K_LRx2图片（139995张图片），将DF2K_HR和DF2K_LRx2作为我的x2的训练集，这样处理方式正确吗？感谢您再回复一下，谢谢！

@Zency-Sun
Copy link
Author

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007 请问我这是哪里有问题呢？期待回复！

x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理，详见本issue的第5条讨论，希望可以帮到你~

您好，另外还有个问题，就是我用作者提供的网络结构进行训练，发现效果差的非常的多，这可能跟我之前对Set5、Set14、BSD100、Urban100、Manga109测试集处理方式有关，此外，还想再问一下我下面对训练集的处理是否正确，训练集是直接将Div2K和Flickr2K中的HR图片放在一起（3450张图片）然后进行裁剪得到（480x480）大小的DF2K_HR图片（139995张图片），然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起（3450张图片）然后进行裁剪得到（240x240）大小的DF2K_LRx2图片（139995张图片），将DF2K_HR和DF2K_LRx2作为我的x2的训练集，这样处理方式正确吗？感谢您再回复一下，谢谢！

根据你的描述，只要裁剪没有问题，整体流程应该是没有问题的。

@xuxuduoduomeiGithub
Copy link

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007 请问我这是哪里有问题呢？期待回复！

x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理，详见本issue的第5条讨论，希望可以帮到你~

您好，另外还有个问题，就是我用作者提供的网络结构进行训练，发现效果差的非常的多，这可能跟我之前对Set5、Set14、BSD100、Urban100、Manga109测试集处理方式有关，此外，还想再问一下我下面对训练集的处理是否正确，训练集是直接将Div2K和Flickr2K中的HR图片放在一起（3450张图片）然后进行裁剪得到（480x480）大小的DF2K_HR图片（139995张图片），然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起（3450张图片）然后进行裁剪得到（240x240）大小的DF2K_LRx2图片（139995张图片），将DF2K_HR和DF2K_LRx2作为我的x2的训练集，这样处理方式正确吗？感谢您再回复一下，谢谢！

根据你的描述，只要裁剪没有问题，整体流程应该是没有问题的。

感谢您的回复~

@xuxuduoduomeiGithub
Copy link

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！

您好，我使用使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100测试x2，发现与您最开始的测试2一样的误差PSNR测试结果分别比文章中少0.07，0.03，0，SSIM指标分别比文章多0.0003，0，0.0007 请问我这是哪里有问题呢？期待回复！

x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理，详见本issue的第5条讨论，希望可以帮到你~

您好，另外还有个问题，就是我用作者提供的网络结构进行训练，发现效果差的非常的多，这可能跟我之前对Set5、Set14、BSD100、Urban100、Manga109测试集处理方式有关，此外，还想再问一下我下面对训练集的处理是否正确，训练集是直接将Div2K和Flickr2K中的HR图片放在一起（3450张图片）然后进行裁剪得到（480x480）大小的DF2K_HR图片（139995张图片），然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起（3450张图片）然后进行裁剪得到（240x240）大小的DF2K_LRx2图片（139995张图片），将DF2K_HR和DF2K_LRx2作为我的x2的训练集，这样处理方式正确吗？感谢您再回复一下，谢谢！

根据你的描述，只要裁剪没有问题，整体流程应该是没有问题的。

你好，我用上述的方式对训练集进行处理，然后用一张RTX4090，并且再配置文件中参数设置为：num_worker_per_gpu: 6
batch_size_per_gpu: 4，进行训练，跑出来的结果与作者相差非常多接近0.2左右，在此我想请教一下是否我下面的处理方式有问题：
1.训练集 没有像测试集那样经过matlab，x2使用GTmd2作为HR，GTmod2的下采样作为LR，x3x4同理 这样处理
我是直接将Div2K和Flickr2K中的HR图片放在一起（3450张图片）然后进行裁剪得到（480x480）大小的DF2K_HR图片（139995张图片），然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起（3450张图片）然后进行裁剪得到（240x240）大小的DF2K_LRx2图片（139995张图片），将DF2K_HR和DF2K_LRx2作为我的x2的训练集
2.验证集是否跟测试集一样的处理方式，并且这里验证集是否跟测试集一样？？？
3.测试集 处理方式应该没有问题 拿作者提供的最终模型进行了测试，指标一样
希望能回复我一下，再次感谢！！！

@Zency-Sun
Copy link
Author

你的训练集的做法应该没有问题（不用mode），验证机和测试集和处理需要mode。复现前人的文章的可以不用从头开始训练，只需验证其模型指标与文章吻合即可

@xuxuduoduomeiGithub
Copy link

你的训练集的做法应该没有问题（不用mode），验证机和测试集和处理需要mode。复现前人的文章的可以不用从头开始训练，只需验证其模型指标与文章吻合即可

感谢您的回复，我想从头训练这篇文章的工作（代码），但是目前不知道验证集来源和具体的处理方式，我现在用的是DIV2K官网给的验证集DIV2K_valid中HR和LRx2各100张的图片来进行验证，对这100张HR-LRx2图像对我没有进行任何的特殊处理，不知道题主能否解答一下，具体的验证集？ 非常感谢！！！

@Zency-Sun
Copy link
Author

一般我们使用Set5, Set14, B100, Urban100, and Manga109这几个数据集评价模型效果即可，不适用DIV2k的val数据集或其它

@xuxuduoduomeiGithub
Copy link

一般我们使用Set5, Set14, B100, Urban100, and Manga109这几个数据集评价模型效果即可，不适用DIV2k的val数据集或其它

那假如我自己训练该模型的话，验证集又是什么呢？测试集为Set5, Set14, B100, Urban100, and Manga109这五个数据集当模型训练完成后来进行测试，那么验证集怎么做最好呢，我是选择训练集当中一部分图片么？还是IV2K官网给的验证集DIV2K_valid中HR和LRx2各100张的图片当作训练过程中的验证集？

@Zency-Sun
Copy link
Author

一般使用DIV2K或DF2K作为训练集，Set5, Set14, B100, Urban100, and Manga109这五个数据集作为验证集和测试集。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@chxy95 @xuxuduoduomeiGithub @Zency-Sun