Why Data Science Projects Fail

1. El Hype de la IA Oculta Realidades Complejas

Más que nada, queremos contrarrestar el bombo publicitario de la IA con una dosis de realismo.

Erosión de la confianza. El campo de la inteligencia artificial, la ciencia de datos y el análisis se está “auto-limitando” con promesas exageradas y un marketing desmedido, lo que provoca una pérdida de confianza en la toma de decisiones basada en datos. Sorprendentemente, más del 80 % de los proyectos analíticos siguen fracasando, costando a empresas y sociedad cientos de miles de millones de dólares. Este fracaso generalizado suele deberse a expectativas falsas y a una falta de comprensión sobre lo que realmente implica llevar a cabo estos proyectos complejos.

Aprender del fracaso. Para solucionarlo, debemos adoptar el realismo y aprender de los fracasos, que constituyen una “forma extraordinariamente efectiva de retroalimentación.” Las investigaciones muestran que las personas aprenden más de los errores ajenos que de los éxitos de otros. Al mostrar las “duras realidades” de implementar IA y análisis mediante relatos personales, podemos obtener valiosas lecciones sobre qué hace que un proyecto de ciencia de datos tenga éxito y evitar errores comunes.

El modelo Epic Sepsis. El caso del modelo Epic Sepsis (ESM) ejemplifica esta complejidad. A pesar de las afirmaciones iniciales de reducir la mortalidad por sepsis en una quinta parte, estudios independientes revelaron una menor precisión y una significativa “fatiga por alertas.” Esto pone de manifiesto cómo la implementación en el mundo real introduce desafíos como:

• Deriva de datos y cambios en la “codificación de enfermedades”
• Falta de evaluaciones independientes y revisadas por pares
• Necesidad de calibrar el modelo para poblaciones específicas de pacientes

2. La Desalineación Estratégica Condena los Proyectos

Si intentas decirle a alguien cómo hacer mejor su trabajo usando matemáticas sofisticadas y computadoras sin entender a fondo cómo lo hace hoy, incluyendo todos sus problemas y desafíos, entonces usted, señor o señora, es un fraude.

Falta de claridad. Muchos proyectos de ciencia de datos fracasan porque los líderes empresariales y los científicos de datos, tanto individual como colectivamente, “no comprenden el problema real del negocio y, como resultado, no desarrollan un caso de negocio plausible.” Esto suele conducir a soluciones técnicamente correctas para el problema equivocado o que no se alinean con las prioridades centrales del negocio. Sin una visión y estrategia claras, los proyectos se convierten en “soluciones buscando un problema.”

La pesadilla de RetailCo. El proyecto de personalización de RetailCo ilustra un fracaso estratégico. A pesar de un objetivo claro de aprovechar los datos para mejorar las relaciones con clientes, el proyecto se desmoronó debido a:

• Ampliación del alcance: TI impulsando una plataforma integral de datos de clientes (CDP) en lugar de centrarse en las necesidades inmediatas del proyecto.
• Decisiones por comité: Ejecutivos sin la cualificación adecuada interfiriendo en decisiones técnicas y de asignación de recursos.
• Falta de compromiso de liderazgo: Ejecutivos que no comprendían completamente el esfuerzo requerido para un sistema de IA en producción, lo que llevó a recursos insuficientes y KPIs en conflicto.

La economía al mando. Los proyectos deben priorizarse implacablemente según su valor potencial para el negocio y su impacto económico. Un sistema de IA solo debe adoptarse si su beneficio marginal (ganancia adicional, reducción de costos, mejora del servicio) supera su costo marginal (instalación, operación, mantenimiento) en comparación con la mejor alternativa disponible. Esta mentalidad económica ayuda a evitar invertir en “ilusiones” o “curiosidades” sin un retorno claro, como el dilema de agricultura de precisión de Mike el granjero o el fracaso de WayBlazer para monetizar su innovadora IA de viajes.

3. Los Datos: Héroe Silencioso (y Villano Común)

“Todos quieren hacer el trabajo del modelo, no el del dato.”

Fundamento subvalorado. La calidad, disponibilidad y gestión de datos son consistentemente la segunda causa más común de fracaso en proyectos de ciencia de datos, aunque son “el aspecto más subestimado y menos emocionante” de la IA. Investigaciones de Google destacan que los fallos relacionados con datos son a menudo evitables, pero ocurren en más del 90 % de los casos, generando “cascadas de fallos” insidiosas y tardías. Los profesionales suelen priorizar el trabajo con modelos por prestigio y avance profesional, descuidando la ardua y oculta labor con los datos.

La búsqueda de datos. Frecuentemente, los datos que presenta un cliente no cuentan toda la historia, por lo que los científicos de datos deben “ampliar la apertura de datos” y buscar fuentes adicionales. El proyecto de RR. HH. en salud de Doug, que investigaba despidos “sin aviso,” inicialmente chocó contra un “muro de ladrillo” con datos internos. El avance llegó al integrar datos macroeconómicos externos (incumplimientos hipotecarios, ejecuciones) para descubrir la causa real. Este trabajo detectivesco subraya la necesidad de tenacidad y perseverancia en la exploración de datos.

Cerrar la brecha. Los problemas con los datos se manifiestan de muchas formas:

• Falta de datos adecuados: Muchas empresas carecen de datos automatizados, limpios o consistentes.
• Silos de datos: Datos dispersos en decenas de sistemas, bases y hojas de cálculo.
• Integración de datos: El desafío de limpiar, organizar e integrar datos en un espacio accesible único.
• Gobernanza de datos: Asegurar una versión única de la verdad, definiciones y patrones de uso consistentes.
  Estos retos requieren colaboración entre científicos de datos, TI y equipos de gobernanza, enfocándose en priorizar la captura de datos basada en valor para evitar “tsunamis de datos” abrumadores.

4. Las Expectativas Irrealistas Socavan el Éxito

“Prometer menos, entregar más.”

El continuo de expectativas. Establecer expectativas realistas sobre alcance, tiempos, recursos, presupuesto y valor de negocio es crucial. Prometer demasiado y entregar poco (“fracaso épico”) puede ser “políticamente irreparable y poner en riesgo la carrera,” mientras que “subestimar” (prometer poco y entregar mucho) puede erosionar la confianza del cliente. Lo ideal es una “zona objetivo” que equilibre optimismo y pesimismo, con metas ambiciosas pero alcanzables, los llamados “Grandes Objetivos Peludos y Audaces” (BHAGs) como retos a superar.

Más allá del bombo. Los ejecutivos a menudo exigen plazos de entrega poco razonables, impulsados por el hype de la IA. Los científicos de datos deben moderar estas expectativas, reconociendo que construir modelos es relativamente fácil, pero transformarlos en “sistemas de producción a nivel empresarial es difícil, puede tomar años y costar decenas de millones de dólares.” El verdadero valor de la IA suele estar en la augmentación, donde humanos interactúan iterativamente con los modelos, más que en la automatización total, que rara vez es un objetivo realista a corto plazo para decisiones complejas.

Encontrar el valor real. Para fijar metas realistas, las organizaciones deben:

• Analizar estados financieros: Comprender el desempeño económico de la empresa.
• Identificar áreas clave: Enfocarse en mano de obra, inventarios, activos, manufactura, precios o gestión de ingresos donde existan ineficiencias económicas significativas.
• Cuantificar el beneficio máximo potencial: Luego estimar rigurosamente un 5 % a 25 % realista de ese máximo, pues factores reales siempre reducen el ideal.
• Priorizar problemas impactantes: Apuntar a problemas resueltos manualmente con reglas empíricas, donde la IA pueda aportar una ventaja significativa.

5. La Comunicación Une la Brecha Técnico-Negocio

Un gerente prefiere vivir con un problema que no puede resolver antes que aceptar una solución que no entiende.

Barreras del lenguaje. La comunicación clara y concisa es un gran desafío en ciencia de datos porque los negocios y los científicos “rara vez hablan el mismo ‘idioma.’” Los científicos hablan en modelos y código, los gerentes en KPIs y jerga empresarial. Esta desconexión puede generar desconfianza y rechazo de soluciones, aunque sean técnicamente correctas.

Estrategias de comunicación efectivas:

• Buscar primero entender: Los científicos deben escuchar dos tercios del tiempo, haciendo preguntas exploratorias y aclaratorias, especialmente al inicio.
• Adaptar el mensaje: Ajustar estilo y contenido según la audiencia (ejecutivos necesitan valor de negocio, no jerga técnica).
• Narración: Enmarcar el proyecto describiendo “cómo era la vida antes del modelo y cómo cambió (esperemos que para mejor) después.”
• “¿Qué gano yo?”: Articular claramente beneficios para individuos, equipos y empresa (ahorro, aumento de ingresos, satisfacción).
• Evitar emails para temas críticos: Las reuniones presenciales o videollamadas son esenciales para información compleja y matizada.

Romper silos. La mala comunicación y los silos organizacionales pueden descarrilar proyectos, incluso con equipos capaces. El proyecto de riesgo de incumplimiento crediticio falló en parte porque el equipo de ciencia de datos no involucró adecuadamente al equipo actuarial ni colaboró eficazmente con TI. Esto generó resistencia, retrasos y finalmente el abandono de una solución prometedora. La comunicación efectiva fomenta entendimiento y acuerdos, evitando que los proyectos se conviertan en “proyectos personales” o víctimas de política interna.

6. Las Habilidades Sociales Superan al Talento Técnico

Toda la historia es biografía. Los negocios, como la historia, se tratan de personas.

El factor humano. La mayoría de los fracasos en ciencia de datos no provienen de problemas técnicos, sino de la necesidad de mayores “habilidades blandas” y comprensión de factores humanos. Aunque el conocimiento técnico es requisito indispensable, la inteligencia emocional (EQ) y las habilidades interpersonales son igual o más críticas para el éxito. La historia de ReliableCo, una empresa analíticamente madura, muestra cómo una cultura cerrada y la falta de apoyo de la dirección a su premiado equipo de Analítica Avanzada provocaron oportunidades perdidas y graves disrupciones.

El traductor analítico. Un factor clave que separa a los adoptantes exitosos de la IA de los fracasos es el “traductor analítico”: una persona con conocimiento del dominio y habilidades analíticas que comunica eficazmente entre negocio y equipos de IA. Estos traductores son esenciales para:

• Resolver problemas inevitables del motor de IA.
• Interactuar con proveedores sobre requerimientos.
• Asegurar prácticas consistentes y compartir conocimiento.
  Las universidades comienzan a reconocer esta necesidad, ofreciendo programas que combinan habilidades técnicas con visión de negocio, aunque aún falta mucho por hacer en alfabetización de datos y formación en habilidades blandas.

Liderazgo analítico. El liderazgo visionario, como el de Robert Crandall en American Airlines, es fundamental. Su visión y humildad lo llevaron a invertir fuertemente en Investigación Operativa, transformando AA en una aerolínea tecnológicamente avanzada. Rodeado de expertos, fomentó una cultura basada en datos que optimizó operaciones complejas y generó miles de millones en valor. Esto demuestra que el verdadero liderazgo implica:

• Reconocer las propias limitaciones y contratar expertos.
• Tener “agudeza mental (cerebro) y fortaleza (coraje)” para invertir estratégicamente.
• Empoderar a los líderes de IA para ejecutar y exigirles responsabilidad.

7. La Tecnología es un Medio, No un Fin

Un modelo es un medio para un fin, no un fin en sí mismo.

Mal uso de modelos. Un fallo técnico común es “usar mal un modelo,” ya sea implementando incorrectamente el modelo adecuado o empleando el modelo equivocado. Esto suele originarse en la falta de comprensión detallada de las sutilezas del problema de negocio y de los principios del diseño experimental. Por ejemplo, usar una prueba A/B simple para medir ingresos (una variable compleja y multivariada) en lugar de una tasa de éxito, o aplicar regresión logística para predecir un porcentaje (desempeño a tiempo) en vez de una probabilidad.

Exceso de enfoque en la tecnología. Los científicos de datos, especialmente recién graduados, pueden volverse “excesivamente enfocados y enamorados del modelo, las matemáticas, algoritmos y tecnología.” Este enfoque de “tecnología por la tecnología” suele ignorar el principio de Pareto (regla 80/20), donde lograr el 80 % del valor con el 20 % del esfuerzo suele ser suficiente. El proyecto de visión computarizada para equipaje de mano en aerolíneas, aunque técnicamente correcto, fracasó porque el “valor incremental y el impacto operativo o económico sobre la solución actual” no justificaban la inversión significativa.

Primero el valor de negocio. En los negocios, las matemáticas y modelos son un medio para un fin: “contribuir a mejorar el desempeño económico y financiero de la empresa.” A los ejecutivos les importan “dólares físicos recurrentes en caja,” no detalles técnicos arcanos. Los informes deben comenzar con el valor de negocio, no con jerga técnica. Aunque existen tecnologías impresionantes (robótica, visión computarizada, PLN), su aplicación debe estar guiada por un caso de negocio sólido que demuestre mejoras sustanciales sobre soluciones existentes.

8. La Implementación en Producción es Otro Mundo

Construir modelos es fácil, puedes hacerlo en un día... Construir un modelo en un sistema de producción a nivel empresarial es difícil, puede tomar años y costar decenas de millones de dólares...

Complejidad exponencial. La transición de un “modelo en sandbox” a un “sistema de producción empresarial” es exponencialmente más compleja, requiriendo entre 10 y 100 veces más esfuerzo y recursos que el piloto. Factores clave que influyen en esta complejidad incluyen:

• Dinamismo: Datos estáticos vs. datos en tiempo real.
• Integración: Sistema independiente vs. dependencia de numerosos otros sistemas.
• Criticidad: Inconveniente menor vs. paralización total de la empresa.
• Complejidad del problema/modelo: Heurísticas simples vs. algoritmos sofisticados.
  Proyectos como ORION de UPS (ruteo de entregas) y DINAMO de American Airlines (gestión de ingresos) tomaron años y cientos de millones para construir, pero generaron miles de millones en valor.

El fiasco de FastFoodCo. Incluso organizaciones analíticamente maduras tropiezan, como FastFoodCo. Un modelo piloto exitoso falló en producción porque:

• Desajuste de características: Equipos separados construyeron pipelines de datos batch y en tiempo real con definiciones de características sutilmente diferentes.
• Brecha de comunicación: Falta de comunicación directa y regular entre los dos equipos internos.
• Reasignación de recursos: El equipo de datos en tiempo real se trasladó a otros proyectos antes de descubrir el problema, dejando a los consultores en apuros.
  Esto evidencia que los problemas técnicos suelen tener raíces más profundas en “problemas de personas,” incluso en organizaciones capaces.

Infraestructura robusta. El despliegue exitoso requiere un enfoque integral:

• Organización de datos: Ingeniería y gobernanza para pipelines de datos oportunos y de alta integridad.
• Organización tecnológica: Ingeniería de software para interfaces, servicios en la nube para cómputo/almacenamiento, y pruebas/QA para validación.
• Gestión del cambio: Orquestar la transición para usuarios de negocio de procesos antiguos a nuevos.
• Reutilización: Construir modelos como microservicios con APIs para integración en ecosistemas mayores.
  Esta visión holística asegura que el modelo, una vez desplegado, sea confiable, eficiente y realmente aporte valor.

9. Incluso las Organizaciones Maduras Tropiezan

Los resultados para empresas con uno o dos proyectos importantes pueden ser evidentes y no requerir una prueba A/B; sin embargo, la monitorización sigue siendo necesaria e importante para todas las herramientas.

Trampas sutiles. Aunque las organizaciones analíticamente maduras suelen evitar los fallos básicos de las inmaduras, aún enfrentan una tasa de fracaso significativa del 40 %. Estos fracasos suelen originarse en problemas más sutiles que pueden atrapar incluso a los mejores equipos. Una causa principal en organizaciones maduras es la “falta de recursos adecuados,” no en habilidad, sino en cantidad, ya que la alta demanda dispersa a los equipos capaces en demasiados proyectos.

Más allá del modelo. Las lecciones de Booking.com con 150 modelos de ML muestran que, incluso tras pruebas extensas, “el desempeño offline del modelo no siempre es un indicador confiable del desempeño online (o en producción).” Ideas clave para organizaciones maduras incluyen:

• Diseño experimental: Pruebas A/B rigurosas son cruciales para demostrar inequívocamente el beneficio de nueva tecnología en vivo.
• Monitoreo continuo: Más allá de los resultados (deriva del modelo), monitorear continuamente los datos de entrada (deriva de datos) para detectar cambios como nuevas circunstancias (ej. COVID-19) que se apartan de los datos de entrenamiento, evitando predicciones erróneas.

Influencias externas. Los proyectos en organizaciones maduras pueden descarrilarse por factores fuera del control del equipo analítico:

• Rotación de interesados: La salida de patrocinadores clave puede poner en riesgo la continuidad.
• Cambios de prioridades: Cambios estratégicos de alto nivel pueden relegar proyectos en curso.
• Política interna: Silos y agendas en conflicto pueden minar la colaboración transversal.
• Brechas de comunicación: Como en el caso FastFoodCo, incluso malentendidos sutiles entre equipos especializados internos pueden causar errores críticos en pipelines de datos.
  Estos desafíos subrayan la necesidad de procesos organizacionales robustos y fuertes habilidades interpersonales para navegar entornos corporativos complejos.

10. Abraza el Aprendizaje del Fracaso con Humildad

Sí, la automatización excesiva en Tesla fue un error. Para ser precisos, mi error. Los humanos están subestimados.

La virtud de la humildad. La humildad es una virtud crítica para el éxito en IA, ciencia de datos y análisis,