How to Measure Anything

1. すべては測定可能である、無形のものも含めて

何らかの形で観察できるものは、何らかの測定方法に適している。

測定は不確実性の低減である。 一般的な誤解に反して、測定は完璧な精度や確実性を必要としない。単に関心のある量についての不確実性を減らすことを意味する。これは物理的な物体のような有形のものにも、顧客満足度やプロジェクトリスクのような無形の概念にも当てはまる。

観察可能な結果。 重要な無形のものは必ず観察可能な結果を持つ。例えば、従業員の士気が生産性に影響を与えると主張するならば、生産性の指標を通じて士気の変化を検出する方法があるはずだ。これらの観察可能な効果を特定することで、無形のものを間接的に測定することができる。

実用的な方法が存在する。 一見測定不可能に見えるものでも、驚くほど簡単な方法で既に誰かが測定していることが多い。例としては以下がある：

• 湖の魚の個体数を排水せずに推定する
• ブランド損害の経済的影響を測定する
• 政策決定のために人命の価値を定量化する

2. 測定は不確実性を低減し、より良い意思決定を可能にする

測定は意思決定や行動に何らかの影響を与える必要があるため重要である。

意思決定駆動の測定。 測定の目的は意思決定に情報を提供することだ。測定する前に、問題となる意思決定を明確に定義し、追加情報がそれにどのように影響するかを考える。これにより、何をどの程度正確に測定するかの優先順位が決まる。

不確実性とリスク。 意思決定には不確実性が伴い、それがリスクを生む。測定は不確実性を低減し、リスクを軽減する。重要な概念：

• 不確実性：完全な確実性の欠如；複数の可能性の存在
• リスク：不確実性の状態で、いくつかの可能性が損失や望ましくない結果を含む

情報の価値。 すべての測定が同じ価値を持つわけではない。完璧な情報の期待価値（EVPI）を計算して、測定の価値を判断する：

1. 意思決定と可能な結果を特定する
2. 各結果の確率と影響を見積もる
3. 完璧な情報がある場合とない場合の期待値を計算する
4. その差がEVPIであり、測定に費やすべき最大額である

3. 見積もりを調整して精度を向上させる

成功は粘り強さと根気の関数であり、ほとんどの人が30秒で諦めるところを22分間努力する意欲である。

過信は一般的である。 ほとんどの人は自分の見積もりに過信し、範囲が狭すぎる。これにより、非現実的な期待に基づく意思決定が行われる。

キャリブレーション訓練。 練習とフィードバックを通じて、人々はより正確な確率見積もりを提供することを学ぶことができる。技術には以下が含まれる：

• 同等の賭けテスト：見積もりを既知のオッズの賭けと比較する
• 反対を考慮する：自分が間違っている理由を積極的に探す
• 参照クラスを使用する：類似の既知の量と比較する
• フィードバック付きの練習：キャリブレーションテストを受け、結果をレビューする

キャリブレーションの利点。 よくキャリブレーションされた見積もり者は：

• 意思決定モデルに対してより信頼性のある入力を提供する
• 新しい情報に対してよりオープンであり、意見を変えることができる
• 様々な分野でより良い予測を行う

4. 迅速な人口洞察のために「5の法則」を使用する

任意の5つのサンプルの中で最小値と最大値の間に母集団の中央値がある確率は93.75%である。

シンプルだが強力。 「5の法則」は、最小限のデータで母集団の特性を迅速に推定するための方法である。これは、ゼリービーンの重さから顧客満足度スコアまで、あらゆる種類の母集団に適用できる。

適用方法：

1. 母集団からランダムに5つのアイテムをサンプルする
2. サンプルの中で最小値と最大値を記録する
3. 母集団の中央値がこれらの2つの値の間にある確率は93.75%である

制限と拡張：

• 平均ではなく中央値に関する情報を提供する
• より正確な推定にはサンプルサイズを増やす（本書の数式なしの表を参照）
• より包括的な分析のために他の方法と組み合わせる

5. 複雑な問題を測定可能な要素に分解する

何を測定すべきかわからない場合でも、とにかく測定する。測定すべきものがわかるようになる。

分解する。 測定不可能に見える問題に直面したときは、それをより小さく、管理しやすい要素に分解する。これにより、測定や推定が容易な側面が明らかになることが多い。

フェルミ問題。 物理学者エンリコ・フェルミにちなんで名付けられたこのアプローチは、より容易に推定できる要因に分解することで、測定が難しい量の大まかな推定を行う。例：
シカゴのピアノ調律師の数を推定する：

1. シカゴの人口を推定する
2. ピアノを持っている家庭の割合を推定する
3. ピアノがどのくらいの頻度で調律が必要かを推定する
4. 調律師が1日にサービスできるピアノの数を推定する
5. これらの推定を組み合わせて最終的な答えを出す

分解の利点：

• 全体の推定誤差を減らす
• 不確実性に最も寄与する要素を明らかにする
• 追加データが最も価値のある特定の領域を特定する

6. ベイズ思考を適用して新しいデータで信念を更新する

話していることを測定し、数値で表現できるとき、それについて何かを知っている。しかし、数値で表現できないとき、その知識は乏しく満足のいくものではない。

事前確率と事後確率。 ベイズ分析は、新しい証拠に基づいて信念を更新するための枠組みを提供する：

1. 事前確率（初期の信念）から始める
2. 新しいデータを収集する
3. 異なる仮説に対するデータの尤度を計算する
4. ベイズの定理を使用して事前確率を事後確率に更新する

ベイズアプローチの利点：

• 既存の知識を取り入れる
• 新しい情報が到着するたびに段階的に更新できる
• 不確実性を自然に表現する方法を提供する

実用的な応用：

• 医療診断：検査結果に基づいて病気の確率を更新する
• 品質管理：検査データで欠陥率の推定を精緻化する
• プロジェクト管理：作業の進行に応じてタイムラインや予算を調整する

7. 小さなサンプルでも価値ある情報を得ることができる

ほとんど何も知らない場合、ほとんど何でも何かを教えてくれる。

初期データの価値。 高い不確実性の状態から始めると、小さなサンプルでも大きな洞察を提供することがある。最初の数回の観察は、データポイントごとに最も多くの情報をもたらすことが多い。

収穫逓減。 サンプルサイズが増えるにつれて、各追加観察の限界価値は通常減少する。この原則は効率的なデータ収集を導く：

• 迅速な洞察を得るために小さなサンプルから始める
• 情報価値に基づいてサンプルサイズを段階的に増やす
• 追加データのコストがその利益を上回るときに停止する

小さなサンプルのための方法：

• スチューデントのt分布：サンプルが2つでも母集団パラメータを推定するため
• ノンパラメトリック方法：特定の母集団分布を仮定しない技術
• ベイズ更新：限られたデータを最大限に活用するために既存の知識を取り入れる

8. 追加情報の価値を定量化する

啓示の方程式：情報の価値がすべてを変える。

情報の期待価値（EVI）。 情報を収集する前に、その価値を計算する：

1. 意思決定と可能な結果をモデル化する
2. 現在の確率と報酬を見積もる
3. 現在の情報での期待値を計算する
4. 完璧な情報での期待値を計算する
5. その差が完璧な情報の期待価値（EVPI）である
6. 測定が不確実性をどれだけ減らすかを見積もる
7. EVPIに不確実性の減少割合を掛けてEVIを得る

測定の逆転。 最も価値のある測定は、しばしば考慮されないものであり、日常的に測定される項目は意思決定価値が低いことが多い。理由には以下が含まれる：

• 親しみのバイアス：簡単または伝統的なものを測定する
• よく知られた領域での過信
• 高影響・高不確実性の要因を無視する

反復アプローチ。 大まかな見積もりから始め、情報価値に基づいて精緻化する：

1. 意思決定における主要な不確実性を特定する
2. 各不確実性の情報価値を見積もる
3. 最高価値の項目を測定する
4. モデルを更新し、繰り返す

9. 因果関係を特定するための実験を設計する

エミリーは、有用な観察が必ずしも複雑で高価である必要はなく、上級管理職の理解を超えることもないことを示した。触覚療法のような一時的な概念でも同様である。

交絡因子を制御する。 AがBを引き起こすかどうかを判断するために、他の変数を制御しながらAの効果を分離する実験を設計する。技術には以下が含まれる：

• ランダム化比較試験：被験者を無作為に治療群と対照群に割り当てる
• 自然実験：関心のある変数の自然発生的な変動を利用する
• 差分の差分：影響を受けたグループと影響を受けていないグループの時間経過による変化を比較する

統計的有意性と実際の重要性。 統計的テストは偶然の発見を排除するのに役立つが、意思決定には効果の大きさと信頼区間に焦点を当てる。考慮すべき点：

• 効果の大きさ
• 推定の精度
• 意思決定における実際の影響

シンプルな実験から学ぶ。 基本的なテストでも貴重な洞察を得ることができる：

• マーケティングにおけるA/Bテスト
• 本格的な実施前のパイロットプログラム
• 実験が不可能な場合の観察研究

10. より良い選択のために好みとリスク許容度を測定する

マネージャーが提案された測定によって影響を受ける可能性のある意思決定を特定できず、それがどのようにその意思決定を変えるかを特定できない場合、その測定には価値がない。

顕示選好と表明選好。 人々の行動はしばしば表明された好みと異なる。真の好みを測定するために：

• 実際の選択を観察する（顕示選好）
• 注意深く設計された調査を使用する（表明選好）
• より完全な絵を描くために複数の方法を組み合わせる

リスク許容度の定量化：

1. リスクと報酬のトレードオフが異なる仮想シナリオを提示する
2. 意思決定者が選択肢の間で無差別になるポイントを特定する
3. これらのポイントをプロットしてリスク許容度曲線を作成する

応用：

• 投資決定：潜在的なリターンと許容可能なリスクレベルのバランスを取る
• 製品開発：顧客の好みに基づいて機能の優先順位を決定する
• 公共政策：健康、安全、環境規制におけるトレードオフを評価する

倫理的考慮事項。 一部の人々は特定の価値（例：人命）を定量化することに反対するが、それを行わないことはしばしば悪い結果をもたらす。慎重な測定は、敏感な領域でより情報に基づいた一貫した意思決定を可能にする。

最終更新日: September 7, 2024