Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

文章中所提出的Pixel-level fusion具体是指什么融合方法,文章中所有的实验都是基于IR+RGB模式检测的吗 #5

Closed
yuan-kai-design opened this issue Nov 5, 2022 · 6 comments

Comments

@yuan-kai-design
Copy link

No description provided.

@XuedongZhu
Copy link

如果没有IR图像,只有RGB的话,怎么进行参考。这个融合方法觉得很不错,或者说我可不可以针对不同尺度的目标去进行一个融合的训练,小目标和大目标通过融合进行训练。还请作者给予指导

@icey-zhang
Copy link
Owner

文章中有具体提到pixel-level的融合方法,实验部分消融实验都是基于多模态(RGB+IR)完成的,TABLE VIII中RGB或者IR都是基于单一模态的,而multi指的是多模态(RGB+IR),TABLE IX 是一些在单模态(RGB)的遥感数据集上的算法验证结果。

@icey-zhang
Copy link
Owner

如果没有IR图像,只有RGB的话,怎么进行参考。这个融合方法觉得很不错,或者说我可不可以针对不同尺度的目标去进行一个融合的训练,小目标和大目标通过融合进行训练。还请作者给予指导

不是太能理解您的问题,还请说的详细一些,针对不同尺度的目标的融合具体指?

@XuedongZhu
Copy link

XuedongZhu commented Feb 8, 2023 via email

@icey-zhang
Copy link
Owner

icey-zhang commented Feb 18, 2023

您好,您可以采用这个https://github.com/icey-zhang/GHOST 里面的NWPU数据集的训练方式,NWPU数据集的输入是RGB图像,另外如果你的文件夹名字和NWPU有所不同的话,建议你修改https://github.com/icey-zhang/GHOST/blob/main/utils/datasets_single.py 这个文件的数据集路径名字

@leileilei2000
Copy link

文章中有具体提到pixel-level的融合方法,实验部分消融实验都是基于多模态(RGB+IR)完成的,TABLE VIII中RGB或者IR都是基于单一模态的,而multi指的是多模态(RGB+IR),TABLE IX 是一些在单模态(RGB)的遥感数据集上的算法验证结果。

Snipaste_2024-01-11_20-39-21
Snipaste_2024-01-11_20-43-05
既然都是多模态的结果,为什么这两个表的yolov5s结果相差这么大?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants