Skip to content

Use MLflow to make a pipeline of data preprocessing, machine learning, and predicting. Can do mlflow serving using docker in docker (dind).

Notifications You must be signed in to change notification settings

Tre-Xanh/automl

Repository files navigation

marp paginate
true
true

MLflowでらくらく前処理・機械学習・予測API一連化

MLflow で実験のパラメータ、メトリックや学習済みモデルの記録については、情報が豊富に見つかりますが、しかし前処理と学習・予測を一連の処理としてパイプライン化する、分かりやすい簡単なサンプルが見つからなかったので、作ってみました。

よって、このサンプルでは、前処理と学習・予測のパイプライン化に重点を置きます。 また、予測サービス(REST)を簡単に立ち上げられることについても少し触れます。


bg contain


概要

なお、 Python や各種ライブラリのバージョンによっては mlflow serving で予測するときと、 mlflowの保存済みモデルで予測するときとで、予測結果(確率)に差異が見られるので注意が必要です。


環境変数

cp -i .env_sample .env

開発環境の準備

.devcontainer/DockerfileMamba/Conda環境作成


データ前処理

試しに Age, Fareの Min-Maxスケーリング 序に、列名を日本語化して日本語の列名への対応をみる。

make preproc

AutoML で自動学習

H2OAutoML で学習

make train_h2o

AutoGluon で学習

make train_autogluon

予測APIサービスの起動

デフォルトで5000番ポートが使われます。

make serve_model

または、 予測API用コンテナを作れます。

make serve

上記サービスに対するテスト

make test_h2o

または

make test_autogluon

同じテストデータに対して、APIを使って予測させる場合と、 モデルを直接ロードして予測させる場合とを比較して、 同じ予測結果になることを確認します


参考)APIのJSON形式

Request

{ "columns": [ "x1", "x2", "x3" ],
  "data": [
               [ 3,    2,    5 ],
               [ 1,    4,    8 ] ] }

Response(分類問題)

分類の確率

[ 0.7, 0.6 ]

About

Use MLflow to make a pipeline of data preprocessing, machine learning, and predicting. Can do mlflow serving using docker in docker (dind).

Topics

Resources

Stars

Watchers

Forks