Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于xsimgcl噪声的一些问题,想请教大佬 #279

Closed
akajinchen opened this issue Mar 28, 2024 · 2 comments
Closed

关于xsimgcl噪声的一些问题,想请教大佬 #279

akajinchen opened this issue Mar 28, 2024 · 2 comments

Comments

@akajinchen
Copy link

感谢作者出色的工作和开源的代码,我注意到,在xsimgcl这篇文章的表8中,可以看到没有加噪声和加了噪声的结果天差地别,提升非常的大。文章从添加噪声可以提高节点表示的uniformity角度分析了原因,但是我还是非常困惑,想知道有没有其他方面的原因。所以想请教下,您有没有其他方面的见解或者当初您在完成这份工作的时候有没有阅读过其他关于噪声对比学习的文章。

@Coder-Yu
Copy link
Owner

我的看法是添加噪声可以不容易distort the original semantics,比起structure perturbation会更有效。另外优化的时候,噪声有点类似一个momentum可以加速优化。可能加上噪声也更容易跳出local minimum。其他类似的文章,有一篇发在www的模型simgrace,idea有些接近,最早simgcl也是投的www,被拒之后投的sigir,是同期的文章。你可以看一下。

@akajinchen
Copy link
Author

感谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants