測りすぎ――なぜパフォーマンス評価は失敗するのか?

[azu]

測りすぎ――なぜパフォーマンス評価は失敗するのか？を読んだ。

iPadのKindleで画面読み上げで聞いてメモも音声で書いたので、聞いた話したが正しいかも。

　「もっとも正確に、もっとも簡単に測定できる開発プログラムがもっとも変革的ではないもので、もっとも変革的なプログラムはもっとも測定しにくいものだという開発理論の中心的な原則を無視する」
ジェリー・Z・ミュラー. 測りすぎなぜパフォーマンス評価は失敗するのか？ (Japanese Edition) (pp.169-170). Kindle 版.

元は The Clash of the Counter-bureaucracy and Development | Center For Global Development らしい。

これ書籍中で一番印象に残った。(これ自体が引用の引用)

透明性について

この本の著者は透明性が高すぎると議論が難しくなるから、不透明の状態が必要だという話をしていた。
例えば、情報公開要求であらゆるものが要求されたり、国家間の繋がりも不透明の上に成り立っている的な部分があるよという話をしていた。
過程まで全て公開してしまうと、水面下での交渉とかが難しくなるので、交渉が成立した時だけ透明化した方がいいのではという感じの話。
(WikiLeaksとかのスノーデンの話も否定的だった)

給料はあなたの価値なのかでも公平性についてで少し関連した話があって、透明性が高くなれば短期的には不満をもつ人が出るといった問題はあるけど、結果的に格差の問題は起きにくくなるという話をしていた。
格差の問題というのは不透明な情勢から発生することがほとんどだから、逆に透明性が高いとその格差を是正(公平性)する議論が行えるようになる(慣性が働く)という話があったのを思い出した

• Release 給料はあなたの価値なのか を読んだ · azu/book-review

どちらも、透明性と人間の感情の話ではあったなーと思った。

透明性が高いだけでは全ては上手くいくわけじゃないという話はみる気がする。

たとえば、Open Collectiveは透明性が高いけど、そこに溜まったお金を取り出すには収支報告(経費申請)が必要で、個人から見ると少しハードルか高く感じるという話を聞いたことがある。(これは透明性に対するコストの話と捉えることができる)
後は、SlackでPrivateなチャンネルは禁止してPublicチャンネルのみにしたときに、Publicなチャンネルで発言するのが怖いので発言しないという話とかも見る(これは透明性と心理的安全性みたいな話と捉えることができる)

• DM禁止、原則オープン、ZOZOテクノロジーズが｢デジタル心理的安全性｣のためにやったこと | Business Insider Japan

内的動機と外的動機

この本は、自然科学や工学的なものに対しては測定することは重要で信頼性がある。
一方で、人間に関することを測定してもその測定結果の使われ方によって、人間がハックしてしまって意味ある測定にならない可能性があるよって話しだった。

人間が測定をハックするケースというのが色々紹介されていて、主に外的報酬(お金とか)が測定結果に関わってくると大体おかしくなるよって話しだった。(報酬と懲罰を測定に紐づけるとハックされるよという感じ)

一方で測定結果が人間の内的動機(好奇心、探求心、向上心など)を強化するのに役立つことはあるよという話をしていた。
また、測定したデータを評価するプロセスには現場のグループが参加した方が良いという話が面白かった。
測定のシステムが機能するのは、その測定される対象の人がその測定の価値を信じている場合に機能するということ(これも内的動機っぽい)。

透明性をもって意味ある測定するのは難しい

透明性だけを目的とすると人間はそれを回避する行動を取ったり、
外的報酬と測定を紐づけると人間はそれをハックする行動を取ったりと難しい。

機械的な作業に対するログ(行動)は透明性を高めにもっても良さそう。
一方でそのログ(行動)に人間が介在する場合は、微妙なことが起きるのかもという感じ。

Certificate Transparencyログとかの透明性の仕組みによって互いの説明コストを減らせたり、互いを評価して安全性を担保する仕組み(人間が介在するとこれをハックするという話でもあるけど…)とかみたいなバランスの良い仕組みがあるといいのかもしれないけど、このバランスが難しいなーと思った。(この辺についていい感じの書籍とか研究とかあってあるのかなー)

• Certificate Transparency : Certificate Transparency
• データ化すれば客観的に評価できるという考えの落とし穴──『測りすぎ──なぜパフォーマンス評価は失敗するのか？』 - 基本読書

この書籍はThe Costs of Accountability - The American Interestという記事をベースにして書かれたとのことだった。
最後まで読んで(聞いて)、パフォーマンス評価とコストの話をしていたのは、説明責任に対するコストの記事がベースになってちょっとバランス悪かったなとおもった
(後書きにこれが書いてあってやっぱりそうなのかと思った。タイトルをそっちに寄せて欲しかった)