How to Measure Anything

1. Todo es medible, incluso los intangibles

Si puedes observarlo de alguna manera, se presta a algún tipo de método de medición.

La medición es reducción de la incertidumbre. Contrario a la creencia popular, la medición no requiere precisión perfecta o certeza absoluta. Simplemente significa reducir la incertidumbre sobre una cantidad de interés. Esto se aplica a cosas tangibles como objetos físicos y conceptos intangibles como la satisfacción del cliente o el riesgo de un proyecto.

Consecuencias observables. Cualquier intangible que importe debe tener consecuencias observables. Por ejemplo, si afirmas que la moral de los empleados afecta la productividad, debe haber alguna manera de detectar cambios en la moral a través de métricas de productividad. Al identificar estos efectos observables, podemos medir indirectamente el intangible.

Existen métodos prácticos. Muchas cosas aparentemente inmedibles ya han sido medidas por alguien, a menudo utilizando métodos sorprendentemente simples. Ejemplos incluyen:

• Estimar poblaciones de peces en lagos sin drenarlos
• Medir el impacto económico del daño a la marca
• Cuantificar el valor de una vida humana para decisiones de política

2. La medición reduce la incertidumbre para mejores decisiones

La medición importa porque debe tener algún efecto concebible en las decisiones y el comportamiento.

Medición orientada a decisiones. El propósito de la medición es informar decisiones. Antes de medir, define claramente la decisión en juego y cómo la información adicional la afectaría. Esto ayuda a priorizar qué medir y con qué precisión.

Incertidumbre y riesgo. Las decisiones implican incertidumbre, lo que crea riesgo. La medición reduce la incertidumbre, mitigando así el riesgo. Conceptos clave:

• Incertidumbre: Falta de certeza completa; existencia de más de una posibilidad
• Riesgo: Un estado de incertidumbre donde algunas posibilidades implican pérdida o resultados indeseables

Valor de la información. No todas las mediciones son igualmente valiosas. Calcula el Valor Esperado de la Información Perfecta (EVPI) para determinar cuánto vale una medición:

1. Identifica la decisión y los posibles resultados
2. Estima probabilidades y consecuencias de cada resultado
3. Calcula el valor esperado con y sin información perfecta
4. La diferencia es el EVPI, el máximo que deberías gastar en medición

3. Calibra tus estimaciones para mejorar la precisión

El éxito es una función de la persistencia y la tenacidad y la disposición a trabajar duro durante veintidós minutos para entender algo que la mayoría abandonaría después de treinta segundos.

La sobreconfianza es común. La mayoría de las personas son demasiado confiadas en sus estimaciones, proporcionando rangos demasiado estrechos. Esto lleva a una toma de decisiones deficiente basada en expectativas poco realistas.

Entrenamiento de calibración. A través de la práctica y la retroalimentación, las personas pueden aprender a proporcionar estimaciones de probabilidad más precisas. Técnicas incluyen:

• Prueba de apuesta equivalente: Compara tu estimación con una apuesta con probabilidades conocidas
• Considera lo opuesto: Busca activamente razones por las que podrías estar equivocado
• Usa clases de referencia: Compara con cantidades similares y conocidas
• Practica con retroalimentación: Realiza pruebas de calibración y revisa los resultados

Beneficios de la calibración. Los estimadores bien calibrados:

• Proporcionan entradas más confiables para modelos de decisión
• Son más abiertos a nueva información y a cambiar de opinión
• Hacen mejores predicciones en diversos dominios

4. Usa la Regla de Cinco para obtener información rápida sobre poblaciones

Hay un 93.75% de probabilidad de que la mediana de una población esté entre los valores más pequeño y más grande en cualquier muestra aleatoria de cinco de esa población.

Simple pero poderosa. La Regla de Cinco permite estimaciones rápidas de características de la población con datos mínimos. Funciona para cualquier tipo de población, desde pesos de caramelos hasta puntuaciones de satisfacción del cliente.

Cómo aplicarla:

1. Toma una muestra aleatoria de cinco elementos de la población
2. Anota los valores más pequeño y más grande en la muestra
3. Puedes estar 93.75% seguro de que la mediana de la población se encuentra entre estos dos valores

Limitaciones y extensiones:

• Proporciona información sobre la mediana, no la media
• Para estimaciones más precisas, aumenta el tamaño de la muestra (ver tabla sin matemáticas en el libro)
• Combina con otros métodos para un análisis más completo

5. Descompón problemas complejos en componentes medibles

Si no sabes qué medir, mide de todos modos. Aprenderás qué medir.

Desglósalo. Cuando te enfrentas a un problema aparentemente inmedible, descompónlo en componentes más pequeños y manejables. Esto a menudo revela aspectos que son más fáciles de medir o estimar.

Problemas de Fermi. Nombrado en honor al físico Enrico Fermi, este enfoque implica hacer estimaciones aproximadas de cantidades difíciles de medir descomponiéndolas en factores más fácilmente estimables. Ejemplo:
Estimando el número de afinadores de pianos en Chicago:

1. Estima la población de Chicago
2. Estima el porcentaje de hogares con pianos
3. Estima con qué frecuencia necesitan afinación los pianos
4. Estima cuántos pianos puede afinar un afinador por día
5. Combina estas estimaciones para llegar a una respuesta final

Beneficios de la descomposición:

• Reduce el error de estimación general
• Revela qué componentes contribuyen más a la incertidumbre
• Identifica áreas específicas donde los datos adicionales serían más valiosos

6. Aplica el pensamiento bayesiano para actualizar creencias con nuevos datos

Cuando puedes medir de lo que hablas y expresarlo en números, sabes algo sobre ello; pero cuando no puedes expresarlo en números, tu conocimiento es de un tipo pobre e insatisfactorio.

Probabilidades previas y posteriores. El análisis bayesiano proporciona un marco para actualizar creencias basadas en nueva evidencia:

1. Comienza con una probabilidad previa (creencia inicial)
2. Recoge nuevos datos
3. Calcula la probabilidad de los datos dados diferentes hipótesis
4. Actualiza la previa a una probabilidad posterior usando el teorema de Bayes

Ventajas del enfoque bayesiano:

• Incorpora conocimiento existente
• Permite actualizaciones incrementales a medida que llega nueva información
• Proporciona una forma natural de expresar incertidumbre

Aplicaciones prácticas:

• Diagnóstico médico: Actualizar probabilidades de enfermedades basadas en resultados de pruebas
• Control de calidad: Refinar estimaciones de tasas de defectos con datos de inspección
• Gestión de proyectos: Ajustar cronogramas y presupuestos a medida que avanza el trabajo

7. Muestras pequeñas pueden proporcionar información valiosa

Si sabes casi nada, casi cualquier cosa te dirá algo.

Valor de los datos iniciales. Al comenzar desde un estado de alta incertidumbre, incluso muestras pequeñas pueden proporcionar una visión significativa. Las primeras observaciones a menudo proporcionan la mayor información por punto de datos.

Rendimientos decrecientes. A medida que aumenta el tamaño de la muestra, el valor marginal de cada observación adicional generalmente disminuye. Este principio ayuda a guiar la recolección eficiente de datos:

• Comienza con muestras pequeñas para obtener información rápida
• Aumenta el tamaño de la muestra de manera incremental basado en el valor de la información
• Detente cuando el costo de datos adicionales supere sus beneficios

Métodos para muestras pequeñas:

• Distribución t de Student: Para estimar parámetros de población con muestras tan pequeñas como 2
• Métodos no paramétricos: Técnicas que no asumen una distribución específica de la población
• Actualización bayesiana: Incorporar conocimiento previo para aprovechar al máximo los datos limitados

8. Cuantifica el valor de la información adicional

La ecuación de la epifanía: Cómo el valor de la información lo cambia todo.

Valor Esperado de la Información (EVI). Calcula cuánto vale una pieza de información antes de recolectarla:

1. Modela la decisión y los posibles resultados
2. Estima probabilidades y recompensas actuales
3. Calcula el valor esperado con la información actual
4. Calcula el valor esperado con información perfecta
5. La diferencia es el Valor Esperado de la Información Perfecta (EVPI)
6. Estima cuánto reduciría la incertidumbre una medición
7. Multiplica el EVPI por la fracción de incertidumbre reducida para obtener el EVI

Inversión de medición. A menudo, las mediciones más valiosas son aquellas raramente consideradas, mientras que los elementos medidos rutinariamente proporcionan poco valor de decisión. Razones incluyen:

• Sesgo de familiaridad: Medir lo que es fácil o tradicional
• Sobreconfianza en áreas bien conocidas
• Negligencia de factores de alto impacto y alta incertidumbre

Enfoque iterativo. Comienza con estimaciones aproximadas y refina basado en el valor de la información:

1. Identifica incertidumbres clave en la decisión
2. Estima el valor de la información para cada incertidumbre
3. Mide el elemento de mayor valor
4. Actualiza el modelo y repite

9. Diseña experimentos para aislar relaciones causales

Emily demostró que las observaciones útiles no son necesariamente complejas, costosas o incluso, como a veces se afirma, más allá de la comprensión de la alta dirección, incluso para conceptos efímeros como la terapia de toque.

Controla factores de confusión. Para determinar si A causa B, diseña experimentos que aíslen el efecto de A mientras controlan otras variables. Técnicas incluyen:

• Ensayos controlados aleatorios: Asigna aleatoriamente sujetos a grupos de tratamiento y control
• Experimentos naturales: Aprovecha variaciones naturales en la variable de interés
• Diferencia en diferencias: Compara cambios a lo largo del tiempo entre grupos afectados y no afectados

Significancia estadística vs. importancia práctica. Mientras que las pruebas estadísticas ayudan a descartar hallazgos por casualidad, enfócate en tamaños de efecto e intervalos de confianza para la toma de decisiones. Considera:

• Magnitud del efecto
• Precisión de la estimación
• Implicaciones prácticas para la decisión en cuestión

Aprende de experimentos simples. Incluso pruebas básicas pueden proporcionar valiosas ideas:

• Pruebas A/B en marketing
• Programas piloto antes de la implementación a gran escala
• Estudios observacionales cuando los experimentos no son factibles

10. Mide preferencias y tolerancia al riesgo para mejores elecciones

Si los gerentes no pueden identificar una decisión que podría verse afectada por una medición propuesta y cómo podría cambiar esas decisiones, entonces la medición simplemente no tiene valor.

Preferencias reveladas vs. declaradas. Las acciones de las personas a menudo difieren de sus preferencias declaradas. Para medir las verdaderas preferencias:

• Observa elecciones reales (preferencias reveladas)
• Usa encuestas cuidadosamente diseñadas (preferencias declaradas)
• Combina múltiples métodos para una imagen más completa

Cuantificación de la tolerancia al riesgo:

1. Presenta escenarios hipotéticos con diferentes compensaciones de riesgo-recompensa
2. Identifica el punto donde el tomador de decisiones es indiferente entre opciones
3. Traza estos puntos para crear una curva de tolerancia al riesgo

Aplicaciones:

• Decisiones de inversión: Equilibrar retornos potenciales con niveles de riesgo aceptables
• Desarrollo de productos: Priorizar características basadas en las preferencias del cliente
• Política pública: Evaluar compensaciones en regulaciones de salud, seguridad y medio ambiente

Consideraciones éticas. Aunque algunos se oponen a cuantificar ciertos valores (por ejemplo, la vida humana), no hacerlo a menudo lleva a peores resultados. La medición reflexiva permite una toma de decisiones más informada y consistente en áreas sensibles.

Última actualización: September 7, 2024