neptune.ai

[AkihikoWatanabe]

https://neptune.ai/

[AkihikoWatanabe]

・実験結果の可視化や管理に利用できるサービス
・API経由で様々な実験に関わるメタデータやmetricを送信することで、サイト上でdashboardを作成し、複数の実験の結果を可視化したりwidget上で比較したりできる
・実験時に使用したargumentsを記録したり、global_stepごとにlossをAPI経由で逐次的に送信することで実験結果を記録できたりする
・widgetやmodelなどは、クエリによってフィルタリングできたりするので、特定のstructureを持っているモデル間のみで結果を比較したり等も簡単にできる
・利用する際は、APIキーをサイト上で発行し、コード上でAPIキーを設定して、neptuneのモジュールをnewしてlogメソッドを呼び出して逐次的にデータを送信していくだけで、neptune上で送信んされたデータが管理される。

※ 一部解釈が間違っている場所がある可能性がある

[AkihikoWatanabe]

HuggingFace, pytorch-lightningなどのフレームワークでもサポートされている模様

HuggingFace: https://huggingface.co/transformers/v4.9.1/_modules/transformers/integrations.html
pytorch-lightning: https://pytorch-lightning.readthedocs.io/en/stable/api/pytorch_lightning.loggers.neptune.html

HuggingFaceではNeptuneCallbackというコールバックを使えばneptuneを仕込めそう