关于通道选择操作， 以及后续实验的上采样问题

[aiboys]

你好,

（1）文中对于channel的选择是将YCbCr三个部分分开作为图4输入进行选择，然后再concatenate（文中图2展示）， 还是先concatenate成为192个通道feature map作为图4模块的输入进行整体选择呢（文章后续的实验细节这么描写）？ 能解释一下是哪一种吗？
（2）关于分割问题的上采样问题，因为文章的网络输入是W/8,H/8尺寸的，那么是不是要在后续进行上采样维持原分辨率呢？ 还是通过reshape？似乎在文章没发现描述。

期待你的回答，对此表示十分感谢！！！ （文章的idea十分有趣）

[kaix90]

Sorry about the late replay. Regarding the questions:

1. We concatenate Y, Cb and Cr into 192 channels, which were then fed into the gate module in Figure 4.
2. In the segmentation experiment, we skip the input layers and directly feed the DCT input into the residual block.
   Thanks very much for your interest.

[aiboys]

十分谢谢你的回复！！
还有一点疑问是，在我复现的过程中，文中提到的tensor4的每一个通道点都需要normalize，请问这一步是怎么操作的呢？我试过用sigmoid做，但效果不好，期待你的答复。

[aiboys]

还有几点疑问是关于文中实验部分：
第一点，请问后续实验提到的Gumbel采样出DCT-24, 48, 64三种网络结构进行处理。但是通过lambda系数怎么控制精确地通道数呢？这些通道数是人为指定的吧？
第二点，关于figure 5展示的YCbCr三通道的heat map，请问这个heat map是对Gumbel采样后得到的one-hot 或者probability tensor进行的数据集统计可视化吗？还是其他的tensor呢？
第三点，关于selection module的Gumbel采样问题，请问这里是返回one-hot采样结果还是近似one-hot（ont-hot like）的tensor呢？
第四点，关于tensor3点乘两个自适应数，能否请问下这两个数值的初始化怎么指定吗？

十分期待您的回答！！以上都是我在复现过程中遇到的一部分不清楚的问题！谢谢！

[kaix90]

还有几点疑问是关于文中实验部分：
第一点，请问后续实验提到的Gumbel采样出DCT-24, 48, 64三种网络结构进行处理。但是通过lambda系数怎么控制精确地通道数呢？这些通道数是人为指定的吧？
第二点，关于figure 5展示的YCbCr三通道的heat map，请问这个heat map是对Gumbel采样后得到的one-hot 或者probability tensor进行的数据集统计可视化吗？还是其他的tensor呢？
第三点，关于selection module的Gumbel采样问题，请问这里是返回one-hot采样结果还是近似one-hot（ont-hot like）的tensor呢？
第四点，关于tensor3点乘两个自适应数，能否请问下这两个数值的初始化怎么指定吗？

十分期待您的回答！！以上都是我在复现过程中遇到的一部分不清楚的问题！谢谢！

抱歉回复的不及时。

1. 通过lambda系数无法精确控制通道数。DCT-24，48，64三种模型的通道数是人为指定的。
2. heap map展示的Gumbel采样后得到的one-hot的结果。
3. selection module返回的tensor是one-hot。
4. 初始化的原则是使tensor4中大部分的通道被选择，例如>90%的channel被选中。

[aiboys]

还有几点疑问是关于文中实验部分：
第一点，请问后续实验提到的Gumbel采样出DCT-24, 48, 64三种网络结构进行处理。但是通过lambda系数怎么控制精确地通道数呢？这些通道数是人为指定的吧？
第二点，关于figure 5展示的YCbCr三通道的heat map，请问这个heat map是对Gumbel采样后得到的one-hot 或者probability tensor进行的数据集统计可视化吗？还是其他的tensor呢？
第三点，关于selection module的Gumbel采样问题，请问这里是返回one-hot采样结果还是近似one-hot（ont-hot like）的tensor呢？
第四点，关于tensor3点乘两个自适应数，能否请问下这两个数值的初始化怎么指定吗？
十分期待您的回答！！以上都是我在复现过程中遇到的一部分不清楚的问题！谢谢！

抱歉回复的不及时。

1. 通过lambda系数无法精确控制通道数。DCT-24，48，64三种模型的通道数是人为指定的。
2. heap map展示的Gumbel采样后得到的one-hot的结果。
3. selection module返回的tensor是one-hot。
4. 初始化的原则是使tensor4中大部分的通道被选择，例如>90%的channel被选中。

谢谢回复！！！
我用unet跑192通道结果发现并不好（或者说很差）。我统计了数据的mean以及std进行了norm。
即使没有去掉一些通道，结果依旧不好。

[Zdafeng]

还有几点疑问是关于文中实验部分：

第一点，请问后续实验提到的Gumbel采样出DCT-24, 48, 64三种网络结构进行处理。但是通过lambda系数怎么控制精确地通道数呢？这些通道数是人为指定的吧？

第二点，关于figure 5展示的YCbCr三通道的heat map，请问这个heat map是对Gumbel采样后得到的one-hot 或者probability tensor进行的数据集统计可视化吗？还是其他的tensor呢？

第三点，关于selection module的Gumbel采样问题，请问这里是返回one-hot采样结果还是近似one-hot（ont-hot like）的tensor呢？

第四点，关于tensor3点乘两个自适应数，能否请问下这两个数值的初始化怎么指定吗？

十分期待您的回答！！以上都是我在复现过程中遇到的一部分不清楚的问题！谢谢！

抱歉回复的不及时。

1. 通过lambda系数无法精确控制通道数。DCT-24，48，64三种模型的通道数是人为指定的。

2. heap map展示的Gumbel采样后得到的one-hot的结果。

3. selection module返回的tensor是one-hot。

4. 初始化的原则是使tensor4中大部分的通道被选择，例如>90%的channel被选中。

谢谢回复！！！

我用unet跑192通道结果发现并不好（或者说很差）。我统计了数据的mean以及std进行了norm。

即使没有去掉一些通道，结果依旧不好。

我似乎遇到了跟你一样的问题，loss不下降。麻烦问一下，你有没有解决这个问题呢？（分割任务，tf1.13）

[aiboys]

还有几点疑问是关于文中实验部分：

第一点，请问后续实验提到的Gumbel采样出DCT-24, 48, 64三种网络结构进行处理。但是通过lambda系数怎么控制精确地通道数呢？这些通道数是人为指定的吧？

第二点，关于figure 5展示的YCbCr三通道的heat map，请问这个heat map是对Gumbel采样后得到的one-hot 或者probability tensor进行的数据集统计可视化吗？还是其他的tensor呢？

第三点，关于selection module的Gumbel采样问题，请问这里是返回one-hot采样结果还是近似one-hot（ont-hot like）的tensor呢？

第四点，关于tensor3点乘两个自适应数，能否请问下这两个数值的初始化怎么指定吗？

十分期待您的回答！！以上都是我在复现过程中遇到的一部分不清楚的问题！谢谢！

抱歉回复的不及时。

1. 通过lambda系数无法精确控制通道数。DCT-24，48，64三种模型的通道数是人为指定的。

1. heap map展示的Gumbel采样后得到的one-hot的结果。

1. selection module返回的tensor是one-hot。

1. 初始化的原则是使tensor4中大部分的通道被选择，例如>90%的channel被选中。

谢谢回复！！！
我用unet跑192通道结果发现并不好（或者说很差）。我统计了数据的mean以及std进行了norm。
即使没有去掉一些通道，结果依旧不好。

我似乎遇到了跟你一样的问题，loss不下降。麻烦问一下，你有没有解决这个问题呢？（分割任务，tf1.13）

没有。后面我就开始做另外的事情了。loss收敛还是依旧比较大。