Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于论文中UOT的问题 #4

Open
DanJun6737 opened this issue Nov 10, 2021 · 4 comments
Open

关于论文中UOT的问题 #4

DanJun6737 opened this issue Nov 10, 2021 · 4 comments

Comments

@DanJun6737
Copy link

您好,我仔细阅读你的论文后有两个疑问:1. 论文中Figure2处,是把 原始特征X 向Z传输对齐后的特征X_new 继续输出进绿色网络吗?还是说依然把X输入绿色网络。我暂时没有在论文中找到这个问题的解释。 2. 如果是把对齐后的特征X_new输入进绿色网络,那么请问是怎么得到的X_new的呢?我理解的UOT是可以得到transport plan T 和 distance,但是还不清楚怎么得到映射后的特征,求解答?十分感谢

@fnzhan
Copy link
Owner

fnzhan commented Nov 10, 2021

你好,通过X和Z之间最优传输,可以得到一个矩阵(Transport Plan),然后通过这个矩阵特征Z会向X对齐得到aligned features (图中的特征热力图)。aligned features会和原始X一起输入到生成网络当中(绿色部分)。映射后的特征就是简单的把transport plan和特征Z做个外积。

@DanJun6737
Copy link
Author

您好,请问您说的“ 把transport plan和特征Z做个外积 ”,此处的外积是指 普通的矩阵乘法 或者 矩阵向量乘法 吗 ?

@DanJun6737
Copy link
Author

因为我暂时没有在网上找到有关矩阵外积的定义,只找到一些向量外积的定义,所有不太清楚您这里所谓的外积是指什么意思?

@fnzhan
Copy link
Owner

fnzhan commented Nov 11, 2021

因为我暂时没有在网上找到有关矩阵外积的定义,只找到一些向量外积的定义,所有不太清楚您这里所谓的外积是指什么意思?

可以看下cocosnet 文章里面的公式(3)和(4),https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhang_Cross-Domain_Correspondence_Learning_for_Exemplar-Based_Image_Translation_CVPR_2020_paper.pdf

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants