How to Measure Anything

1. 모든 것은 측정 가능하다, 심지어 무형의 것들도

어떤 방식으로든 관찰할 수 있다면, 그것은 어떤 형태로든 측정 방법에 적합하다.

측정은 불확실성 감소이다. 일반적인 믿음과는 달리, 측정은 완벽한 정밀도나 확실성을 요구하지 않는다. 그것은 단순히 관심 있는 양에 대한 불확실성을 줄이는 것을 의미한다. 이는 물리적 객체와 같은 유형의 것뿐만 아니라 고객 만족도나 프로젝트 위험과 같은 무형의 개념에도 적용된다.

관찰 가능한 결과. 중요한 무형의 것들은 반드시 관찰 가능한 결과를 가져야 한다. 예를 들어, 직원 사기가 생산성에 영향을 미친다고 주장한다면, 생산성 지표를 통해 사기의 변화를 감지할 수 있는 방법이 있어야 한다. 이러한 관찰 가능한 효과를 식별함으로써 우리는 무형의 것을 간접적으로 측정할 수 있다.

실용적인 방법이 존재한다. 많은 겉보기에는 측정 불가능한 것들이 이미 누군가에 의해 측정되었으며, 종종 놀랍도록 간단한 방법을 사용한다. 예를 들어:

• 호수를 비우지 않고 물고기 개체수를 추정하기
• 브랜드 손상의 경제적 영향을 측정하기
• 정책 결정에 대한 인간 생명의 가치를 정량화하기

2. 측정은 불확실성을 줄여 더 나은 결정을 내리게 한다

측정은 결정과 행동에 어떤 상상 가능한 영향을 미쳐야 하기 때문에 중요하다.

결정 중심의 측정. 측정의 목적은 결정을 알리는 것이다. 측정하기 전에, 관련된 결정을 명확히 정의하고 추가 정보가 어떻게 영향을 미칠지 파악하라. 이는 무엇을 측정하고 얼마나 정밀하게 측정할지를 우선순위로 정하는 데 도움이 된다.

불확실성과 위험. 결정은 불확실성을 수반하며, 이는 위험을 초래한다. 측정은 불확실성을 줄여 위험을 완화한다. 주요 개념:

• 불확실성: 완전한 확실성의 부족; 여러 가능성의 존재
• 위험: 일부 가능성이 손실이나 바람직하지 않은 결과를 포함하는 상태

정보의 가치. 모든 측정이 동일하게 가치 있는 것은 아니다. 완벽한 정보의 기대 가치를 계산하여 측정의 가치를 결정하라:

1. 결정과 가능한 결과를 식별하라
2. 각 결과의 확률과 결과를 추정하라
3. 완벽한 정보가 있을 때와 없을 때의 기대 가치를 계산하라
4. 그 차이가 EVPI이며, 측정에 지출할 최대 금액이다

3. 추정치를 보정하여 정확성을 향상시키기

성공은 끈기와 집요함, 그리고 대부분의 사람들이 30초 만에 포기할 것을 22분 동안 이해하려고 노력하는 의지의 함수이다.

과신은 흔하다. 대부분의 사람들은 추정치에 대해 과신하며, 너무 좁은 범위를 제공한다. 이는 비현실적인 기대에 기반한 잘못된 결정을 초래한다.

보정 훈련. 연습과 피드백을 통해 사람들은 더 정확한 확률 추정을 제공하는 법을 배울 수 있다. 기법에는 다음이 포함된다:

• 동등한 베팅 테스트: 추정을 알려진 확률의 베팅과 비교하기
• 반대 의견 고려: 자신이 틀릴 수 있는 이유를 적극적으로 찾기
• 참조 클래스 사용: 유사하고 알려진 양과 비교하기
• 피드백과 함께 연습하기: 보정 테스트를 받고 결과 검토하기

보정의 이점. 잘 보정된 추정자는:

• 의사 결정 모델에 더 신뢰할 수 있는 입력을 제공한다
• 새로운 정보에 더 개방적이며 생각을 바꾸는 데 유연하다
• 다양한 분야에서 더 나은 예측을 한다

4. 빠른 인구 통찰을 위한 다섯 가지 규칙 사용하기

임의의 다섯 개 샘플에서 가장 작은 값과 가장 큰 값 사이에 인구의 중앙값이 있을 확률은 93.75%이다.

간단하지만 강력하다. 다섯 가지 규칙은 최소한의 데이터로 인구 특성에 대한 빠른 추정을 가능하게 한다. 이는 젤리빈 무게에서 고객 만족도 점수에 이르기까지 모든 유형의 인구에 적용된다.

적용 방법:

1. 인구에서 임의의 다섯 개 항목을 샘플로 선택하라
2. 샘플에서 가장 작은 값과 가장 큰 값을 기록하라
3. 인구의 중앙값이 이 두 값 사이에 있을 확률이 93.75%임을 확신할 수 있다

제한 사항 및 확장:

• 평균이 아닌 중앙값에 대한 정보를 제공한다
• 더 정밀한 추정을 위해 샘플 크기를 늘리기 (책의 수학 없는 표 참조)
• 더 포괄적인 분석을 위해 다른 방법과 결합하기

5. 복잡한 문제를 측정 가능한 구성 요소로 분해하기

무엇을 측정해야 할지 모른다면, 어쨌든 측정하라. 무엇을 측정해야 할지 배우게 될 것이다.

분해하기. 측정 불가능해 보이는 문제에 직면했을 때, 그것을 더 작고 관리 가능한 구성 요소로 분해하라. 이는 종종 측정하거나 추정하기 쉬운 측면을 드러낸다.

페르미 문제. 물리학자 엔리코 페르미의 이름을 딴 이 접근법은 더 쉽게 추정할 수 있는 요소로 분해하여 측정하기 어려운 양의 대략적인 추정을 포함한다. 예:
시카고의 피아노 조율사 수 추정하기:

1. 시카고의 인구 추정하기
2. 피아노를 가진 가구의 비율 추정하기
3. 피아노가 얼마나 자주 조율이 필요한지 추정하기
4. 조율사가 하루에 몇 대의 피아노를 조율할 수 있는지 추정하기
5. 이러한 추정을 결합하여 최종 답을 도출하기

분해의 이점:

• 전체 추정 오류를 줄인다
• 불확실성에 가장 크게 기여하는 구성 요소를 드러낸다
• 추가 데이터가 가장 가치 있는 특정 영역을 식별한다

6. 새로운 데이터로 신념을 업데이트하기 위해 베이즈 사고 적용하기

당신이 말하는 것을 측정하고 숫자로 표현할 수 있다면, 그것에 대해 무언가를 알고 있는 것이다. 그러나 숫자로 표현할 수 없다면, 당신의 지식은 빈약하고 불만족스러운 종류의 것이다.

사전 및 사후 확률. 베이즈 분석은 새로운 증거를 기반으로 신념을 업데이트하는 프레임워크를 제공한다:

1. 사전 확률(초기 신념)로 시작하라
2. 새로운 데이터를 수집하라
3. 다양한 가설에 대한 데이터의 가능성을 계산하라
4. 베이즈 정리를 사용하여 사전을 사후 확률로 업데이트하라

베이즈 접근법의 장점:

• 기존 지식을 통합한다
• 새로운 정보가 도착할 때 점진적으로 업데이트할 수 있다
• 불확실성을 자연스럽게 표현할 수 있다

실용적인 응용:

• 의학 진단: 검사 결과를 기반으로 질병 확률 업데이트하기
• 품질 관리: 검사 데이터를 통해 결함률 추정치 정제하기
• 프로젝트 관리: 작업 진행 상황에 따라 일정과 예산 조정하기

7. 작은 샘플도 귀중한 정보를 제공할 수 있다

거의 아무것도 모를 때, 거의 모든 것이 무언가를 알려줄 것이다.

초기 데이터의 가치. 높은 불확실성 상태에서 시작할 때, 작은 샘플조차도 상당한 통찰력을 제공할 수 있다. 첫 몇 개의 관찰은 데이터 포인트당 가장 많은 정보를 제공하는 경우가 많다.

수확 체감. 샘플 크기가 증가함에 따라 각 추가 관찰의 한계 가치는 일반적으로 감소한다. 이 원칙은 효율적인 데이터 수집을 안내하는 데 도움이 된다:

• 빠른 통찰을 얻기 위해 작은 샘플로 시작하라
• 정보 가치에 따라 샘플 크기를 점진적으로 늘리기
• 추가 데이터의 비용이 그 이점을 초과할 때 중지하기

작은 샘플을 위한 방법:

• 학생의 t-분포: 샘플이 2개인 경우에도 인구 매개변수를 추정하기 위해 사용
• 비모수 방법: 특정 인구 분포를 가정하지 않는 기법
• 베이즈 업데이트: 제한된 데이터를 최대한 활용하기 위해 기존 지식을 통합하기

8. 추가 정보의 가치를 정량화하기

깨달음의 방정식: 정보의 가치가 모든 것을 어떻게 변화시키는가.

정보의 기대 가치(EVI). 정보를 수집하기 전에 그것이 얼마나 가치 있는지 계산하라:

1. 결정과 가능한 결과를 모델링하라
2. 현재 확률과 보상을 추정하라
3. 현재 정보로 기대 가치를 계산하라
4. 완벽한 정보로 기대 가치를 계산하라
5. 그 차이가 완벽한 정보의 기대 가치(EVPI)이다
6. 측정이 불확실성을 얼마나 줄일지 추정하라
7. EVPI에 불확실성 감소 비율을 곱하여 EVI를 얻으라

측정 역전. 종종 가장 가치 있는 측정은 거의 고려되지 않으며, 반면에 일상적으로 측정되는 항목은 결정 가치가 거의 없다. 이유는 다음과 같다:

• 친숙성 편향: 측정하기 쉽거나 전통적인 것을 측정하기
• 잘 알려진 영역에 대한 과신
• 높은 영향력, 높은 불확실성 요인을 무시하기

반복적 접근법. 대략적인 추정으로 시작하고 정보 가치에 따라 정제하라:

1. 결정에서 주요 불확실성을 식별하라
2. 각 불확실성에 대한 정보 가치를 추정하라
3. 가장 가치 있는 항목을 측정하라
4. 모델을 업데이트하고 반복하라

9. 인과 관계를 분리하기 위해 실험 설계하기

에밀리는 유용한 관찰이 반드시 복잡하거나 비싸거나, 때로는 주장되는 것처럼 고위 경영진의 이해를 벗어난 것이 아님을 입증했다. 심지어 접촉 요법과 같은 일시적인 개념에서도 그렇다.

혼란 요인을 통제하라. A가 B를 유발하는지 확인하려면, 다른 변수를 통제하면서 A의 효과를 분리하는 실험을 설계하라. 기법에는 다음이 포함된다:

• 무작위 대조 실험: 피험자를 무작위로 처리 그룹과 대조 그룹에 할당하기
• 자연 실험: 관심 있는 변수의 자연 발생 변동을 활용하기
• 차이의 차이: 영향을 받은 그룹과 영향을 받지 않은 그룹 간의 시간 경과에 따른 변화를 비교하기

통계적 유의성과 실질적 중요성. 통계적 테스트는 우연한 발견을 배제하는 데 도움이 되지만, 의사 결정에는 효과 크기와 신뢰 구간에 집중하라. 고려 사항:

• 효과의 크기
• 추정의 정밀도
• 관련 결정에 대한 실질적 함의

간단한 실험에서 배우기. 기본적인 테스트조차도 귀중한 통찰을 제공할 수 있다:

• 마케팅에서 A/B 테스트
• 전체 규모 구현 전에 파일럿 프로그램
• 실험이 불가능할 때 관찰 연구

10. 더 나은 선택을 위해 선호도와 위험 감수성을 측정하기

관리자가 제안된 측정에 의해 영향을 받을 수 있는 결정을 식별할 수 없고, 그것이 어떻게 결정을 변경할 수 있는지 알 수 없다면, 그 측정은 단순히 가치가 없다.

드러난 선호도 대 진술된 선호도. 사람들의 행동은 종종 그들의 진술된 선호도와 다르다. 진정한 선호도를 측정하려면:

• 실제 선택을 관찰하라 (드러난 선호도)
• 신중하게 설계된 설문조사를 사용하라 (진술된 선호도)
• 더 완전한 그림을 위해 여러 방법을 결합하라

위험 감수성 정량화:

1. 다양한 위험-보상 거래가 있는 가상 시나리오를 제시하라
2. 의사 결정자가 옵션 간에 무관심한 지점을 식별하라
3. 이러한 지점을 플롯하여 위험 감수성 곡선을 생성하라

응용:

• 투자 결정: 허용 가능한 위험 수준과 잠재적 수익의 균형 맞추기
• 제품 개발: 고객 선호도에 따라 기능 우선순위 정하기
• 공공 정책: 건강, 안전 및 환경 규제에서의 거래 평가하기

윤리적 고려 사항. 일부는 특정 가치를 정량화하는 것(예: 인간 생명)에 반대하지만, 이를 하지 않으면 종종 더 나쁜 결과를 초래한다. 신중한 측정은 민감한 영역에서 더 정보에 입각한 일관된 의사 결정을 가능하게 한다.

마지막 업데이트 날짜: September 7, 2024