Ideas clave
1. El Big Data cambia el enfoque del muestreo a conjuntos de datos completos
Usar todos los datos nos permite ver detalles que nunca podríamos captar cuando estábamos limitados a cantidades pequeñas.
De algunos a todos. El big data representa un cambio de depender de muestras a analizar conjuntos de datos completos. La estadística tradicional se basaba en el muestreo debido a limitaciones en la recolección y procesamiento de datos. Sin embargo, con los avances tecnológicos, ahora es posible analizar enormes volúmenes de información, lo que ofrece una visión más detallada y precisa de los fenómenos.
Granularidad y detalle. Analizar todos los datos disponibles permite obtener percepciones más profundas sobre subcategorías y nichos de mercado que los métodos de muestreo suelen pasar por alto. Este nivel de detalle es fundamental para identificar anomalías, comprender preferencias específicas y hacer predicciones exactas. Por ejemplo, Google Flu Trends utiliza miles de millones de búsquedas para predecir la propagación de la gripe a nivel de ciudad, algo imposible con conjuntos de datos pequeños y muestreados.
Limitaciones del muestreo. Aunque el muestreo aleatorio ha sido un atajo exitoso, tiene debilidades inherentes. Su precisión depende de garantizar la aleatoriedad, algo difícil de lograr, y no escala fácilmente para incluir subcategorías. Al adoptar conjuntos de datos completos, podemos superar estas limitaciones y abrir nuevas posibilidades para el análisis y la comprensión.
2. Aceptar el desorden: datos imperfectos pueden ofrecer mejores insights
Al relajar los estándares de errores permitidos, se puede acceder a mucha más información.
Cambiar exactitud por escala. En el mundo del big data, estar dispuesto a aceptar cierto desorden puede ser una ventaja. Mientras que el análisis tradicional enfatiza la calidad y precisión de los datos, el big data reconoce que el volumen masivo de información puede compensar errores individuales. Este intercambio nos permite trabajar con datos del mundo real, que a menudo son incompletos, inconsistentes y no estructurados.
Más es mejor que mejor. El experimento de los investigadores de Microsoft con la corrección gramatical mostró que un algoritmo simple con mil millones de palabras funcionaba mejor que uno complejo con un millón. El sistema de traducción de Google funciona bien porque usa un conjunto de datos mucho más grande, aunque también más desordenado: todo Internet global y más.
El desorden en acción. El Proyecto de los Mil Millones de Precios, que rastrea la inflación en tiempo real extrayendo datos de minoristas en línea, acepta el desorden a cambio de escala y actualidad. De manera similar, los sistemas de etiquetado en plataformas como Flickr abrazan la imprecisión para crear una forma más rica y flexible de organizar contenido. Al aceptar el desorden, podemos descubrir nuevos insights y crear servicios valiosos que serían imposibles con métodos tradicionales.
3. La correlación supera a la causalidad: saber “qué” suele ser suficiente
En un mundo de big data, no tendremos que obsesionarnos con la causalidad; en cambio, podremos descubrir patrones y correlaciones que nos ofrecen insights novedosos e invaluables.
El poder de la predicción. El big data cambia el enfoque de entender por qué sucede algo a predecir qué sucederá. Al identificar correlaciones fuertes, podemos hacer predicciones precisas sin conocer las causas subyacentes. Este enfoque ha revolucionado el comercio electrónico, la salud y muchos otros campos.
Ejemplos de predicciones basadas en correlación:
- El sistema de recomendaciones de Amazon sugiere productos según el historial de compras, no por entender por qué a los clientes les gustan ciertos artículos.
- Walmart abastece Pop-Tarts antes de huracanes basándose en datos históricos de ventas, no en razones psicológicas detrás de la correlación.
- El puntaje de adherencia a la medicación de FICO predice si las personas tomarán sus medicamentos según factores como la propiedad de vivienda y la antigüedad laboral, no por sus creencias individuales sobre la salud.
Limitaciones de la causalidad. Aunque los humanos tienden a buscar explicaciones causales, esto puede llevar a sesgos y conclusiones erróneas. En cambio, el análisis de correlaciones nos permite descubrir patrones y relaciones que quizá nunca hubiéramos considerado. Al abrazar el “qué” en lugar del “por qué”, podemos desbloquear nuevos insights y tomar decisiones más efectivas.
4. Dataficación: transformar lo intangible en datos cuantificables
La dataficación consiste en tomar información sobre todo lo que existe —incluyendo aquello que antes no considerábamos información— y convertirla en un formato de datos cuantificables.
Cuantificar el mundo. La dataficación es el proceso de transformar información sobre todo tipo de cosas, incluso aquellas que tradicionalmente no se consideraban datos, en un formato cuantificable. Esto nos permite analizar y usar la información de nuevas maneras, como en análisis predictivos. Desbloquea el valor implícito y latente de la información.
Ejemplos de dataficación:
- El sistema del profesor Koshimizu convierte las posiciones al sentarse en datos para identificar ladrones de autos.
- Maury transformó antiguos registros de barcos en datos para crear cartas de navegación.
- Google convierte las consultas de búsqueda en datos para predecir brotes de gripe.
Dataficación vs. digitalización. La dataficación es distinta de la digitalización, que es simplemente convertir información analógica en formato digital. La dataficación va más allá al transformar la información en una forma estructurada y cuantificable que puede analizarse y usarse para nuevos fines.
5. El valor de los datos reside en su reutilización y en desbloquear su potencial latente
Cada conjunto de datos probablemente tiene un valor intrínseco, oculto y aún no descubierto, y la carrera está en descubrirlo y capturarlo todo.
Más allá del uso primario. El valor de los datos ya no se limita a su propósito original. En la era del big data, el verdadero valor está en su potencial para ser reutilizados y en desbloquear valor latente. Esto requiere un cambio de mentalidad: dejar de ver los datos como un recurso estático y reconocerlos como un activo dinámico.
Ejemplos de reutilización de datos:
- Google reutiliza consultas de búsqueda para predecir brotes de gripe y mejorar traducciones.
- UPS reutiliza datos de sensores de sus vehículos para predecir fallas en motores y optimizar rutas.
- Aviva reutiliza informes crediticios y datos de marketing para evaluar riesgos de salud.
El valor opción de los datos. El verdadero valor de los datos es la suma de todas las formas posibles en que pueden usarse en el futuro. Este “valor opción” puede desbloquearse mediante análisis innovadores, la combinación con otros conjuntos de datos y la creación de nuevos servicios. Al reconocer y aprovechar este potencial, las organizaciones pueden generar un valor económico significativo y obtener ventaja competitiva.
6. El big data transforma industrias y erosiona el valor de la experiencia especializada
La experiencia en áreas específicas importa menos en un mundo donde la probabilidad y la correlación son lo primordial.
Cambio en las dinámicas de poder. El big data está transformando industrias al desafiar las nociones tradicionales de experiencia y toma de decisiones. En un mundo donde la probabilidad y la correlación dominan, la experiencia específica importa menos. Este cambio está alterando jerarquías establecidas y empoderando a nuevos actores.
El efecto Moneyball. La película Moneyball ilustra cómo el análisis basado en datos puede superar la experiencia tradicional. Los cazatalentos de béisbol fueron reemplazados por estadísticos que usaban datos para identificar jugadores infravalorados y formar un equipo ganador.
La experiencia específica importa menos. El auge del big data obliga a replantear ideas tradicionales sobre gestión, toma de decisiones, recursos humanos y educación. Los especialistas no desaparecerán, pero tendrán que enfrentarse a lo que dice el análisis de big data.
7. Privacidad, propensión y los peligros del poder descontrolado de los datos
La mayoría de nuestras instituciones se establecieron bajo la presunción de que las decisiones humanas se basan en información pequeña, exacta y causal.
El lado oscuro de los datos. Aunque el big data ofrece muchos beneficios, también presenta riesgos significativos para la privacidad, la libertad y la justicia. El poder descontrolado de los datos puede conducir a una vigilancia creciente, sanciones basadas en propensiones y una dictadura de los datos.
De la privacidad a la probabilidad. El peligro se desplaza de la privacidad a la probabilidad: los algoritmos predicen la probabilidad de sufrir un infarto, incumplir una hipoteca o cometer un delito. Esto plantea una reflexión ética sobre el papel del libre albedrío frente a la dictadura de los datos.
La dictadura de los datos. Corremos el riesgo de caer en una dictadura de los datos, donde fetichizamos la información y el resultado de nuestros análisis, y terminamos usándolos mal. La sociedad tiene milenios de experiencia en entender y supervisar el comportamiento humano. Pero, ¿cómo se regula un algoritmo?
8. Responsabilidad, agencia humana y auditoría de algoritmos: gobernar el big data
Se necesitan nuevos principios para la era del big data, que presentamos en el Capítulo Nueve.
Nuevos principios para una nueva era. La era del big data requiere nuevas reglas y principios para proteger los derechos individuales y garantizar la justicia. Estos principios deben basarse en valores existentes, pero también reconocer los desafíos únicos que plantea el big data.
Uso responsable. Cambiar el foco del consentimiento individual a la responsabilidad del usuario de datos es esencial para proteger la privacidad. Los usuarios de datos deben rendir cuentas por sus acciones y tomar medidas para mitigar posibles daños.
Agencia humana. Debemos garantizar la agencia humana asegurando que los juicios se basen en acciones reales, no en predicciones estadísticas. Esto requiere redefinir la justicia para proteger la libertad y responsabilidad individual.
Auditoría de algoritmos. Se necesitan nuevas instituciones y profesionales que auditen e interpreten algoritmos complejos, garantizando transparencia y responsabilidad. Estos “algoritmistas” jugarán un papel crucial para evitar el mal uso del big data.
Resumen de reseñas
Big Data ha recibido opiniones encontradas, aunque se valora su enfoque accesible sobre el tema y los ejemplos ilustrativos que presenta. Algunos críticos señalan que el contenido resulta redundante y simplificado en exceso. Los lectores agradecen las reflexiones acerca del impacto de los datos en la sociedad, las preocupaciones sobre la privacidad y las implicaciones futuras. Sin embargo, hay quienes consideran que la información está desactualizada o carece de profundidad. El libro se recomienda especialmente para quienes se acercan por primera vez a los conceptos de big data, aunque puede resultar decepcionante para los expertos. En conjunto, se percibe como una introducción estimulante a un campo cada vez más relevante, aunque con limitaciones en cuanto a alcance y detalle.
También leyeron
Preguntas frecuentes
What is "Big Data: A Revolution That Will Transform How We Live, Work, and Think" by Viktor Mayer-Schönberger about?
- Big Data Revolution Overview: The book explores how the explosion of data and new analytical techniques are transforming society, business, healthcare, and governance.
- Shift in Data Analysis: It highlights the move from small, exact datasets to vast, messy ones, focusing on correlations rather than causality.
- Societal and Ethical Implications: The authors discuss both the benefits and risks of big data, including privacy concerns and the need for new governance principles.
- Real-World Case Studies: Examples like Google Flu Trends and Farecast illustrate how big data is applied in practice.
Why should I read "Big Data: A Revolution That Will Transform How We Live, Work, and Think" by Viktor Mayer-Schönberger?
- Comprehensive Introduction: The book offers an accessible yet thorough introduction to big data’s impact across sectors, making it suitable for both novices and experts.
- Mindset Shifts: It explains the fundamental changes in thinking required to leverage big data, such as embracing messiness and prioritizing correlation.
- Practical and Ethical Guidance: The authors provide frameworks for harnessing big data’s potential while addressing privacy and ethical challenges.
- Preparation for the Future: Reading it equips you to navigate and succeed in an increasingly data-driven world.
What are the key takeaways from "Big Data: A Revolution That Will Transform How We Live, Work, and Think" by Viktor Mayer-Schönberger?
- Three Major Shifts: The book identifies using all data (N=all), embracing messiness, and valuing correlation over causality as core changes in data analysis.
- Data as a New Asset: Data is positioned as a vital economic input, with value increasing through reuse and combination.
- Risks and Governance: It stresses the need for new privacy frameworks and algorithmic accountability to manage big data’s risks.
- Changing Expertise: The rise of data skills and the decline of traditional subject-matter supremacy are highlighted as workforce trends.
How does "Big Data" by Viktor Mayer-Schönberger define and explain the concept of datafication?
- Definition of Datafication: Datafication is the process of turning aspects of life—like behavior, location, and interactions—into quantifiable data for analysis.
- Difference from Digitization: Unlike digitization, which converts analog to digital, datafication makes intangible phenomena measurable and analyzable.
- Historical and Modern Context: The book traces datafication from early record-keeping to modern GPS and sensor data, showing its deep roots and current acceleration.
- Enabling New Insights: Datafication expands what can be analyzed, leading to innovations in health, advertising, and urban management.
What are the main mindset shifts about data analysis described in "Big Data" by Viktor Mayer-Schönberger?
- From Sampling to N=all: The book advocates analyzing entire datasets instead of small samples, reducing sampling bias and increasing insight granularity.
- Embracing Messiness: It encourages tolerating imperfect, inconsistent data, as large volumes can compensate for inaccuracies and yield better results.
- Prioritizing Correlation Over Causality: The focus shifts to finding predictive correlations rather than understanding underlying causes, challenging traditional scientific approaches.
- Actionable Insights: These shifts enable faster, more practical decision-making in business, health, and governance.
How does "Big Data" by Viktor Mayer-Schönberger explain the use of correlations instead of causality in data analysis?
- Correlation as a Tool: The book shows that correlations allow for accurate predictions without needing to understand why phenomena occur.
- Practical Examples: Cases like Amazon’s recommendations and Walmart’s hurricane inventory illustrate how knowing “what” is happening can be sufficient.
- Limitations of Causality: Establishing causality is often impractical; big data’s abundance makes correlation-based analysis more feasible and sometimes more useful.
- Bias Correction: The authors argue that humans are prone to see causality where none exists, making correlation-based approaches a valuable corrective.
What is the "option value of data" according to "Big Data" by Viktor Mayer-Schönberger?
- Definition of Option Value: Data’s value lies not just in its primary use but in its potential for novel, secondary applications.
- Reuse and Combination: Combining datasets can unlock insights and value that are impossible from isolated data sources.
- Business Implications: Companies that recognize and exploit the option value of data gain competitive advantages and create new business models.
- Challenges in Valuation: Traditional accounting often fails to capture data’s true worth, making it an underappreciated asset.
How does "Big Data" by Viktor Mayer-Schönberger categorize big data companies and their roles in the data value chain?
- Data Holders: These organizations control access to large datasets but may not analyze or innovate with the data themselves (e.g., MasterCard).
- Data Specialists: Firms with analytics expertise extract insights from data, often serving clients who own the data (e.g., Accenture).
- Big-Data Mindset Innovators: Individuals or startups who creatively use data, sometimes without initially owning it, to disrupt industries (e.g., FlightCaster, Decide.com).
- Success Through Combination: The most successful companies combine data access, analytical skills, and innovative thinking.
What are the main risks and challenges of big data discussed in "Big Data" by Viktor Mayer-Schönberger?
- Privacy Erosion: The scale and depth of personal data collection make traditional privacy protections inadequate, and anonymization is often ineffective.
- Predictive Punishment: Using analytics to penalize individuals based on predicted behavior raises ethical and legal concerns about justice and free will.
- Overreliance on Data: The “dictatorship of data” can lead to decisions that ignore context, causality, or human judgment, with historical examples as warnings.
- Need for New Governance: The book calls for new frameworks to manage these risks responsibly.
How does "Big Data" by Viktor Mayer-Schönberger address privacy and propose new governance solutions?
- Limitations of Consent: The traditional “notice and consent” model is inadequate for big data, as future uses of data are often unforeseeable.
- Accountability Shift: The authors propose holding data users accountable for their actions, including formal risk assessments and regulatory oversight.
- Technical Solutions: Innovations like differential privacy are discussed as ways to protect individual identities while preserving data utility.
- Algorithm Auditing: The book advocates for a new class of professionals (“algorithmists”) to audit and certify algorithms for fairness and transparency.
How does "Big Data" by Viktor Mayer-Schönberger describe the changing role of expertise and decision-making in the big data era?
- Decline of Traditional Expertise: Data analysis skills and the ability to interpret correlations are becoming more valuable than deep subject-matter knowledge.
- Rise of Data-Driven Decisions: Organizations increasingly rely on predictive models and analytics, reducing dependence on intuition or gut feeling.
- Interdisciplinary Skills Needed: Mathematics, statistics, programming, and data science are foundational, complementing domain knowledge.
- Examples in Practice: Sports teams, tech companies, and city governments are highlighted as early adopters of data-driven decision-making.
What are the most memorable quotes from "Big Data" by Viktor Mayer-Schönberger and what do they mean?
- “To measure is to know.” — Lord Kelvin: Emphasizes the importance of quantification for understanding, a theme central to big data’s expansion of measurement.
- “More trumps better.” — Big Data Principle: Suggests that large, messy datasets often yield better insights than small, clean ones, challenging traditional data quality norms.
- “Big data is about what, not why.” — Core Insight: Highlights the shift from seeking causal explanations to focusing on predictive correlations.
- “Data is a platform.” — Tim O’Reilly: Underlines data’s foundational role in enabling new products, services, and business models in the digital economy.
