A/B Testing and Beyond: Improving the Netflix Streaming Experience with Experimentation and Data Science

[shyaginuma]

Meta

• Link: https://netflixtechblog.com/a-b-testing-and-beyond-improving-the-netflix-streaming-experience-with-experimentation-and-data-5b0ae9295bdf
• Author: Nirmal Govind, Netflix
• Date: 2017
• Journal: Netflix techblog

どんなもの？（著者は何をやりたかったの？）

NetflixでどのようにExperimentsが使われているのかについての記事

ざっくり内容

deduction-induction iterations

• deduction: 仮説や理論、それに基づくモデルを構築し、データを得るプロセス
• induction: 得られたデータから一般化可能な仮説を再構築するプロセス

Experimentはこのプロセスを繰り返すのに不可欠な手法である。
Experimentでは以下の質問に興味がある。

• How does the change (“treatment”) affect QoE metrics?
• What effect does the change have on member behavior: do our members prefer the new experience or the old one?

Streaming Quality of Experience

Netflixでは再生体験の質（QoE）を上げることを目的にプロダクト改善を行っている。

• Adaptive Streaming: デバイスやネットワーク状況に応じて再生遅延が発生しないように画質を�最適化する
• Content Delivery: できるだけ視聴者に近い場所にコンテンツを保管する
• Encoding: 元ファイルからどのようにエンコーディングを行うか

Experiments to Improve QoE

• System experiments: アルゴリズムの変更やパラメータの変更など。数時間から数日程度、ノンパラ検定をよく使う。多重比較もちゃんと考慮しているとのこと
• Quasi-Experiments and Causal Inference: A/Bできない時に使う。SUTVAが成り立たない時とか
• Consumer Science Experiments: 上記二つの実験を数回繰り返した後に行う。以下の二つの問いに興味がある。
  • Do members watch more Netflix if they have better video quality or lower rebuffers or faster playback start?
  • Do they retain better after the free trial month ends and in subsequent months?

議論はある？

• Experiment Cultureはとても重要
• Platform作るチームがいる
• あるセグメントには良い変更でも、あるセグメントには悪い変更の場合がある

次に読むべき論文はなに？

• Quasi Experimentation at Netflix #42