ML monitoring - Intro

[yeomko22]

Deploying a model to production

• 모델을 배포한다는 것은 live 환경에 모델을 올려놓고 live data를 받는다는 얘기다.
• 더 이상 research environment에서 historical data로 모델을 학습시키지 않는다.
• research environment와 production environment를 구분해야한다.

Scenarios we often encounter

• deployment of first model
• replacement of an existing model
• editing deployed model (minor tweak)
  -> 두번째 케이스에 집중하는 코스가 될 것

[yeomko22]

ML system life cycle

• unit test, integration test, system monitoring은 전통적으로 수행하는 테스트들이다.
• ML Infrastructure test, model test, data test는 ML specific한 테스트 들이다.
• skew test, data moniroting, prediction monitoring은 shadow deployment를 수행한 이후에 해야하는 테스트들이다.

CD4ML

• model building, model evaluation & experiment는 research phase이다. jupyter notebook 환경에서 개발된다.
• 그 이후 제품화를 하고, 이를 테스트하고 배포하고 모니터링하는 단계가 있다.