Skip to content
Aki Ariga edited this page Nov 18, 2019 · 13 revisions

ようこそ Machine Learning for productionization Wiki へ

このページは、機械学習基盤のproductionization(本番環境への適用)に関する情報を集めるためのWikiです。

機械学習を実際にプロダクションで回していくためには、様々な課題がある一方でそれを解決するためのシステム・アーキテクチャのパターンは明確になっていません。MLOpsといった言葉も話題になりつつありますが、その定義も人によって様々であり、またエンジニアリング主体の取り組みが多く、体系化された情報もまだまだ少ないです。

そこで、いわゆる "awesome ML in production" というような情報をリンク集のようなものを、このWikiで書いていければと思います。

対象となる課題・トピックは、例えば

  • 機械学習基盤のアーキテクチャ
  • data analysis, training, deploymentといったend to endの機械学習のパイプラインの作り方、管理方法
  • モデルのライフサイクル管理・デプロイ、ガバナンス、サービング
  • feature storeやデータ・モデル・パイプラインのバージョン管理、ガバナンス

などを想定していますが、これらに限らず収集できればと思います。リンク先は論文やarXivのpre printだけでなく、ブログ記事などもOKです。

こちらのWikiでまとめた情報を元に、サーベイ論文のような形で体系化をしていければと考えています。

本Wikiは機械学習工学研究会 MLSEの「本番適用のためのインフラと運用WG」の活動の一貫として行っていますが、どなたでも書き込みしていただけます。

Awesome ML in production list

Overview/Rules/Philosophy

ML pipeline/lifecycle

  • Best Practices for MLOps
    • MLOpsに関する5つのベストプラクティスをインフォグラフィックにまとめている
  • Continuous Delivery for Machine Learning
    • Data Engineer/Data Scientist/Machine Learning Engineerと組織が3分割されており、DSのモデルが実験環境でしか動かない事を最大の障壁として、それをどう乗り越え後段のML Engが再利用可能としCDするかの戦いだというのが明確に。各課題のOSSでのアプローチも随所に紹介がある

Reproducibility/Notebook

Model deployment

Model development automation

  • Efficient and Robust Automated Machine Learning
    • NIPS 2015。いわゆるAutoMLの類。特徴量加工、アルゴリズム選択、ハイパーパラメータチューニングを機械化。論文中で強調されていたのはメタ学習による効率化とアンサンブル構成。scikit-learnベースであり、auto-sklearnとしてGitHubに実装が公開されている。

Monitoring / Observability

General architectures/Surveys

Good resources

  • Knowledge Bases
  • News
    • The Batch - deeplearning.ai
      • Andrew Ngが主催するdeeplearning.aiの提供するメールマガジン。幅広い内容が提供されており、ethicの話やproject structureの話も含まれており、opinionatedなメールマガジン。
  • Conferences
    • MLOps Conference NYC
      • iguazio社が主催するMLの管理とオートメーションに関するカンファレンス
    • USENIX OpML'19
      • MLのプロダクション・ライフサイクルに関するカンファレンス。研究と産業の横断的な取り組み。
    • SysML Conference
      • 学習システムのベストプラクティスとデザイン原則から、実用的な機械学習ワークフローに合わせた新しい学習方法と理論の開発など、横断的な研究を対象とする
Clone this wiki locally
You can’t perform that action at this time.