Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Neural Processes #889

Open
icoxfog417 opened this issue Aug 16, 2018 · 3 comments

Comments

Projects
None yet
1 participant
@icoxfog417
Copy link
Member

commented Aug 16, 2018

一言でいうと

確率過程をニューラルネットで実装する試み。問題設定としては、ある入力と出力のペア(x, y)が与えられたときに、その背後にある相関関係を推定し別途与えられるx'からy'を予測するというもの。全体としては、与えられたペアを潜在表現にするencoder、それを集計するaggregator、集計されたものを基に復元を行うdecoderというシンプルな構成。

image

論文リンク

https://arxiv.org/abs/1807.01622

著者/所属機関

Marta Garnelo, Jonathan Schwarz, Dan Rosenbaum, Fabio Viola, Danilo J. Rezende, S.M. Ali Eslami, Yee Whye Teh

  • DeepMind

投稿日付(yyyy/MM/dd)

2018/7/4

概要

新規性・差分

Condictional Neural Process ( #937 )の弱点を克服する手法として編み出された。VAE等のように、グローバルな潜在表現を一旦経由する。

image

手法

結果

コメント

y = f(x)でfがわかっているならy'=f(x')で良くない?という気がするが、イメージ的にはfは観測行為に近い。xという現象を観測するとyだった、ただその背後にどういう関係性があってxからyが出てくるのかはよくわからない、という形。このfには条件が付くが、確率過程による推定を行うことでこの関係性を明らかにすることができる。

@icoxfog417

This comment has been minimized.

Copy link
Member Author

commented Aug 16, 2018

@icoxfog417

This comment has been minimized.

Copy link
Member Author

commented Sep 17, 2018

PyTorchによるNeural Processの解説。VAEと同様に、KL Collapse的な現象が起こる可能性がありそうとの指摘。

https://chrisorm.github.io/NGP.html

@icoxfog417

This comment has been minimized.

Copy link
Member Author

commented Jan 16, 2019

「グローバルな潜在表現」を作成する際に、Attentionを採用するという手法が提案される。これにより、アンダーフィットすることを防げるとのこと。

Attentive neural processes

解説スライド
https://www.slideshare.net/DeepLearningJP2016/dlattentive-neural-processes

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
You can’t perform that action at this time.