Awesome-MLOps-Contents

• DataOps(Data Operation), MLOps(Machine Learning Operation) Contents

• MLOps KR에서 공유된 자료를 모아둡니다

• 20.01.19에 최초 작성되었으며, 아직 초안입니다

  • 자료를 꾸준히 아카이빙할 예정이니 관심있으시면 Watch를 눌러두시면 좋을 것 같습니다 :)
  • 직접 Pull Request로 좋은 자료를 추가해주셔도 좋고, 원하시는 내용이 있으시면 Issue에 등록해주세요 :)

---

Contents

• Basic
• Serving
• Feature Store
• Experiment
• AutoML
• Data Validation
• Hyper Paramter Tuning
• Kubeflow
• Conference Review
• Company Use Case & Presentation

Basic

• Mercari의 머신러닝 시스템 디자인 패턴(번역본)
• Why is DevOps for Machine Learning so Different?(Eng)
  • MLOps와 DevOps의 차이에 대해 잘 작성된 글
• Move Fast and Break Things? The AI Governance Dilemma(Eng)
• Rules of Machine Learning: Best Practices for ML Engineering(Eng)
  • 구글의 머신러닝 엔지니어링 가이드 글로, 모델을 적용하는 과정에 대해 잘 나와있음
  • 번역 글 : Rules of Machine Learning: Best Practices for ML Engineering 정리(Kor)
• Awesome production machine learning(Eng)
  • 매우 다양한 오픈소스 라이브러리를 테마별로 모아둔 Github Repository. EthicalML의 다른 Repository에도 좋은 자료가 많음
• 머신러닝 오퍼레이션 자동화, MLOps(Kor)
• Deep-Learning-in-Production(Eng)
  • 딥러닝 Production과 관련한 Repository. PyTorch, TensorFlow, MXNet, Mobile Development, Back-End 등에 대한 자료를 모아둠
• Full Stack Deep Learning Bootcamp(Eng)
  • 딥러닝 전반 ~ 프러덕션 전반까지 잘 알려주는 강의
  • 강의 정리 글 : Full Stack Deep Learning Bootcamp 정리(Kor)
  • 후기 글 : The 7 questions you need to ask to operate deep learning infrastructure at scale(Eng)
• Production-Level-Deep-Learning(Eng)
  • Full Stack Deep Learning Bootcamp을 기반으로 추가적인 자료를 모아둔 Repo
• Machine Learning Systems(Eng)
  • UC Berkeley 수업 자료로 동영상은 없지만 자료만 봐도 유익
• Machine Learning Systems Design(Eng)
• MLOps Done Right(Eng)
• CS 329S: Machine Learning Systems Design : 스탠포드에서 만든 자료로 동영상은 거의 없지만 발표 자료만 봐도 유익함

Serving

• TBU(너무 많아서 추후에 더 올릴 예정입니다)
• TF Serving -Auto Wrap your TF or Keras model & Deploy it with a production-grade GRPC Interface(Eng)

Feature Store

• Feature Stores for ML(Eng)
  • 각종 Feature Store를 비교하고, 관련 영상이 존재
• Feature Store에 대한 설명 글
  • Feature Stores: Components of a Data Science Factory(Eng)
  • Rethinking Feature Stores(Eng)
• Feature Store 라이브러리
  • Logicalclocks의 Hopsworks )
  • Gojek의 feast
    • introducing feast an open source feature store for machine learning(Eng)

Experiment

• 머신러닝 실험을 도와줄 Python Sacred 소개 (Kor)
• Sacred와 Omniboard를 활용한 실험 및 로그 모니터링(Kor)

AutoML

• Microsoft NNI(Eng)

Data Validation

• Tensorflow Data Validation 사용하기 (Kor)
• Amazon의 Deequ(Eng)

Hyper Parameter Tuning

• TBU

Kubeflow

• End to End Pipeline : KubeFlow +Keras/TensorFlow2 +TF Extended (TFX) +Kubernetes +PyTorch +XGBoost +Airflow +MLflow +Spark(Eng) : 6시간 실습 영상
  • 슬라이드 자료
• Kubeflow 소개와 활용법(Kor) : 두다지에서 어떻게 활용하고 있는지 발표해주신 자료
• Kubeflow Handson Kubeflow : 핸즈온 실습 영상
• 딥러닝 추천 시스템 in production(Kor) : 당근마켓에서 Kubeflow pipeline을 활용한 사례 글

Conference Review

• MLOps NYC19 Conference 정리(Kor)

Company Use Case

• 당근마켓
  • 딥러닝 추천 시스템 in production(Kor)
• Spotify
  • The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow(Eng)