Measuring the impact of online personalisation: Past, present and future

[AkihikoWatanabe]

https://reader.elsevier.com/reader/sd/pii/S107158191930076X?token=0A897A8FC6BC67FE47F355143B3534CE1B97E42F3021716E685D18EFD9B107DC7843249216613ACFF88E92647EDB2470&originRegion=us-east-1&originCreation=20230428080859

[AkihikoWatanabe]

Personalizationに関するML, RecSys, HCI, Personalized IRといったさまざまな分野の評価方法に関するSurvey

ML + RecSys系では、オフライン評価が主流であり、よりaccuracyの高い推薦が高いUXを実現するという前提に基づいて評価されてきた。一方HCIの分野ではaccuracyに特化しすぎるとUXの観点で不十分であることが指摘されており、たとえば既知のアイテムを推薦してしまったり、似たようなアイテムばかりが選択されユーザにとって有用ではなくなる、といったことが指摘されている。このため、ML, RecSys系の評価ではdiversity, novelty, serendipity, popularity, freshness等の新たなmetricが評価されるように変化してきた。また、accuracyの工場がUXの向上に必ずしもつながらないことが多くの研究で示されている。

一方、HCIやInformation Systems, Personalized IRはuser centricな実験が主流であり、personalizationは

• 情報アクセスに対するコストの最小化
• UXの改善
• コンピュータデバイスをより効率的に利用できるようにする
  という3点を実現するための手段として捉えられている。HCIの分野では、personalizationの認知的な側面についても研究されてきた。
  たとえば、ユーザは自己言及的なメッセージやrelevantなコンテンツが提示される場合、両方の状況においてpersonalizationされたと認知し、後から思い出せるのはrelevantなコンテンツに関することだという研究成果が出ている。このことから、自己言及的なメッセージングでユーザをstimulusすることも大事だが、relevantなコンテンツをきちんと提示することが重要であることが示されている。また、personalizationされたとユーザが認知するのは、必ずしもpersonalizationのプロセスに依存するのではなく、結局のところユーザが期待したメッセージを受け取ったか否かに帰結することも示されている。
  user-centricな評価とオフライン評価の間にも不一致が見つかっている。たとえば
• オフラインで高い精度を持つアルゴリズムはニッチな推薦を隠している
  • i.e. popularityが高くrelevantな推薦した方がシステムの精度としては高く出るため
• オフライン vs. オンラインの比較で、ユーザがアルゴリズムの精度に対して異なる順位付けをする
  といったことが知られている。

そのほかにも、企業ではofflineテスト -> betaテスターによるexploratoryなテスト -> A/Bテストといった流れになることが多く、Cognitive Scienceの分野の評価方法等にも触れている。