Weapons of Math Destruction

1. Los algoritmos de Big Data pueden convertirse en Armas de Destrucción Matemática (ADM)

"Se me ocurrió un nombre para estos modelos dañinos: Armas de Destrucción Matemática, o ADM para abreviar."

Definición de ADM. Las Armas de Destrucción Matemática (ADM) son modelos matemáticos o algoritmos que tienen el potencial de causar un daño significativo a individuos y a la sociedad. Estos modelos se caracterizan por tres características clave:

• Opacidad: El funcionamiento interno del modelo está oculto a quienes se ven afectados por él.
• Escala: El modelo impacta a un gran número de personas.
• Daño: El modelo tiene consecuencias negativas para individuos o grupos.

Impacto en el mundo real. Las ADM se pueden encontrar en diversos ámbitos, incluyendo:

• Educación (evaluaciones de docentes)
• Justicia penal (predicción de reincidencia)
• Finanzas (calificación crediticia)
• Empleo (contratación automatizada)
• Publicidad (anuncios dirigidos)

Estos algoritmos, aunque a menudo se crean con buenas intenciones, pueden perpetuar sesgos, reforzar desigualdades y tomar decisiones críticas sobre la vida de las personas sin la supervisión o rendición de cuentas adecuadas.

2. Las ADM a menudo castigan a los pobres y refuerzan la desigualdad

"Ser pobre en un mundo de ADM es cada vez más peligroso y costoso."

Ciclos de retroalimentación. Las ADM a menudo crean ciclos de retroalimentación perniciosos que afectan desproporcionadamente a individuos y comunidades de bajos ingresos. Por ejemplo:

• Puntuaciones de crédito bajas → Tasas de interés más altas → Más deuda → Puntuaciones de crédito más bajas.
• Vivir en áreas de alta criminalidad → Más vigilancia policial → Más arrestos → Tasas de criminalidad percibidas más altas.

Proxies de pobreza. Muchas ADM utilizan puntos de datos que sirven como proxies de pobreza, tales como:

• Códigos postales
• Nivel educativo
• Historial laboral

Estos proxies pueden llevar a resultados discriminatorios, incluso cuando el modelo no considera explícitamente la raza o el ingreso.

Recurso limitado. Las personas de bajos ingresos a menudo carecen de los recursos para impugnar o apelar decisiones tomadas por las ADM, lo que agrava aún más su posición desfavorecida.

3. Los rankings universitarios ejemplifican cómo las ADM pueden distorsionar sistemas enteros

"El ranking universitario de U.S. News tiene una gran escala, inflige daños generalizados y genera un ciclo casi interminable de retroalimentación destructiva."

Consecuencias no intencionadas. Los rankings universitarios de U.S. News & World Report, aunque destinados a proporcionar información útil a los estudiantes potenciales, han tenido efectos de gran alcance y a menudo perjudiciales en la educación superior:

• Las universidades priorizan factores que mejoran su ranking sobre la calidad educativa.
• Mayor enfoque en las puntuaciones de exámenes estandarizados y selectividad.
• Aumento de los costos de matrícula a medida que las universidades invierten en comodidades para atraer a estudiantes con altas puntuaciones.

Manipulación del sistema. Algunas instituciones han recurrido a prácticas poco éticas para mejorar sus rankings:

• Reportar datos incorrectos.
• Manipular procesos de admisión.
• Alentar a estudiantes de bajo rendimiento a transferirse antes de graduarse.

Reforzando la desigualdad. El sistema de rankings tiende a beneficiar a instituciones y estudiantes adinerados, mientras que perjudica a universidades con menos recursos y a solicitantes de bajos ingresos.

4. Las universidades con fines de lucro explotan a poblaciones vulnerables

"Las universidades con fines de lucro se centraron en el otro lado, más vulnerable, de la población. Y el Internet les dio la herramienta perfecta para hacerlo."

Marketing dirigido. Las universidades con fines de lucro utilizan análisis de datos sofisticados para dirigirse a individuos vulnerables:

• Comunidades de bajos ingresos.
• Veteranos militares.
• Padres solteros.
• Personas desempleadas.

Prácticas engañosas. Estas instituciones a menudo emplean tácticas engañosas:

• Tasas de colocación laboral infladas.
• Expectativas salariales poco realistas.
• Costos y tarifas ocultas.

Carga de deuda. Los estudiantes de universidades con fines de lucro a menudo acumulan deudas significativas sin obtener credenciales valiosas:

• Tasas de incumplimiento más altas en préstamos estudiantiles.
• Títulos que pueden no ser reconocidos por los empleadores.

Explotación basada en datos. Las universidades con fines de lucro utilizan ADM para:

• Identificar a los estudiantes potenciales más propensos a inscribirse.
• Optimizar estrategias de reclutamiento.
• Maximizar el beneficio por estudiante.

5. Las prácticas de contratación algorítmica pueden perpetuar sesgos e injusticias

"Como muchas otras ADM, los sistemas automáticos pueden procesar puntuaciones de crédito con gran eficiencia y a una escala enorme. Pero argumentaría que la razón principal tiene que ver con las ganancias."

Discriminación por proxies. Los algoritmos de contratación a menudo utilizan proxies que pueden llevar a resultados discriminatorios:

• Puntuaciones de crédito como medida de responsabilidad.
• Códigos postales como indicadores de fiabilidad.
• Actividad en redes sociales como predictor del rendimiento laboral.

Falta de contexto. Los sistemas automatizados luchan por tener en cuenta:

• Circunstancias individuales.
• Potencial de crecimiento.
• Cualidades únicas no capturadas por los puntos de datos.

Ciclos de retroalimentación. La contratación algorítmica puede crear ciclos auto-reforzantes:

• Los candidatos de ciertos orígenes son constantemente rechazados.
• Estos grupos se vuelven menos propensos a postularse o adquirir la experiencia necesaria.
• El algoritmo "aprende" que estos grupos son menos calificados.

Recurso limitado. Los solicitantes de empleo a menudo no tienen forma de saber por qué fueron rechazados o cómo mejorar sus posibilidades en un sistema algorítmico.

6. La policía predictiva y los modelos de sentencia exacerban las disparidades raciales

"Incluso si un modelo es ciego al color, el resultado no lo es en absoluto. En nuestras ciudades en gran medida segregadas, la geografía es un proxy altamente efectivo para la raza."

Entradas sesgadas. Los modelos de policía predictiva a menudo dependen de datos históricos de criminalidad, que reflejan sesgos existentes en las prácticas policiales:

• Sobre-policiamiento de vecindarios minoritarios.
• Tasas de arresto más altas para personas de color.

Profecías auto-cumplidas. Estos modelos pueden crear ciclos de retroalimentación:

• Más vigilancia en áreas "de alta criminalidad" predichas → Más arrestos → Datos que muestran más criminalidad en esas áreas.

Disparidades en las sentencias. Las herramientas de evaluación de riesgo utilizadas en las sentencias pueden perpetuar sesgos raciales:

• Uso de factores socioeconómicos como proxies de riesgo.
• No tener en cuenta las desigualdades sistémicas.

Falta de transparencia. La opacidad de estos algoritmos dificulta que los acusados o sus abogados impugnen las evaluaciones.

7. La publicidad política dirigida amenaza los procesos democráticos

"No podemos contar con que el mercado libre por sí mismo corrija estas injusticias."

Microsegmentación. Las campañas políticas utilizan análisis de datos sofisticados para:

• Identificar votantes persuasibles.
• Adaptar mensajes a demografías específicas.
• Suprimir la participación entre ciertos grupos.

Cámaras de eco. La publicidad dirigida puede reforzar creencias existentes y polarizar al electorado:

• Presentar diferentes versiones de un candidato a diferentes votantes.
• Limitar la exposición a puntos de vista diversos.

Falta de rendición de cuentas. La naturaleza personalizada de los anuncios dirigidos dificulta:

• Rastrear afirmaciones falsas o engañosas.
• Hacer que las campañas rindan cuentas por su mensaje.

Preocupaciones sobre la privacidad de los datos. Las campañas recopilan y utilizan grandes cantidades de datos personales, a menudo sin el conocimiento o consentimiento de los votantes.

8. Los sistemas de seguros y calificación crediticia pueden crear ciclos de retroalimentación dañinos

"A medida que las compañías de seguros aprenden más sobre nosotros, podrán identificar a aquellos que parecen ser los clientes más riesgosos y luego, ya sea elevar sus tarifas a las nubes o, donde sea legal, negarles cobertura."

Evaluación de riesgo individualizada. Las compañías de seguros utilizan datos cada vez más granulares para evaluar el riesgo:

• Hábitos de conducción (a través de dispositivos telemáticos).
• Elecciones de estilo de vida (de redes sociales y datos de compras).
• Predisposiciones genéticas (de pruebas de ADN).

Consecuencias no intencionadas. Estos sistemas pueden llevar a:

• Tarifas más altas para poblaciones vulnerables.
• Negación de cobertura para quienes más la necesitan.
• Incentivos para que las personas oculten o tergiversen información.

Erosión de la agrupación de riesgos. El principio fundamental del seguro (distribuir el riesgo entre un gran grupo) se ve socavado cuando el riesgo es altamente individualizado.

Expansión de la misión de la calificación crediticia. Las puntuaciones de crédito, originalmente diseñadas para decisiones de préstamo, ahora se utilizan para:

• Evaluaciones de empleo.
• Solicitudes de vivienda.
• Precios de seguros.

Este uso ampliado puede crear ciclos de desventaja para aquellos con mal crédito.

9. La vigilancia en el lugar de trabajo y los algoritmos de optimización deshumanizan a los trabajadores

"Cuando los científicos de datos hablan sobre 'calidad de datos', generalmente nos referimos a la cantidad o limpieza de los datos: ¿hay suficiente para entrenar un algoritmo? ¿Los números representan lo que esperamos o son aleatorios? Pero en este caso no tenemos un problema de calidad de datos; los datos están disponibles y, de hecho, son abundantes. Simplemente son incorrectos."

Eficiencia a un costo. Los algoritmos de optimización del lugar de trabajo priorizan:

• Máxima productividad.
• Costos laborales minimizados.
• Niveles de personal predecibles.

Impacto humano. Estos sistemas a menudo ignoran:

• Bienestar del trabajador.
• Equilibrio entre trabajo y vida personal.
• Satisfacción laboral.

Aumento de la vigilancia. La mayor supervisión de los empleados puede llevar a:

• Estrés y ansiedad.
• Falta de autonomía.
• Erosión de la privacidad.

Gestión algorítmica. Los trabajadores cada vez más responden a sistemas automatizados en lugar de a gerentes humanos, lo que lleva a:

• Políticas inflexibles.
• Falta de contexto en la toma de decisiones.
• Dificultad para abordar situaciones únicas o necesidades personales.

10. La transparencia y la rendición de cuentas son cruciales para el uso ético de los algoritmos

"Para desarmar las ADM, también necesitamos medir su impacto y realizar auditorías algorítmicas."

Auditorías algorítmicas. Las evaluaciones regulares de los sistemas algorítmicos deben:

• Evaluar la equidad y el sesgo.
• Probar consecuencias no intencionadas.
• Asegurar el cumplimiento de estándares legales y éticos.

IA explicable. Se deben hacer esfuerzos para desarrollar algoritmos que puedan:

• Proporcionar explicaciones claras para sus decisiones.
• Permitir la supervisión e intervención humanas.

Transparencia de datos. Los individuos deben tener el derecho a:

• Acceder a los datos que se utilizan sobre ellos.
• Corregir inexactitudes en sus datos.
• Entender cómo se están utilizando sus datos.

Marco regulatorio. Desarrollo de leyes y directrices para gobernar el uso de la toma de decisiones algorítmica en áreas sensibles como:

• Empleo.
• Justicia penal.
• Servicios financieros.
• Atención médica.

11. Debemos incorporar valores humanos en los sistemas algorítmicos

"Tenemos que incorporar explícitamente mejores valores en nuestros algoritmos, creando modelos de Big Data que sigan nuestra guía ética. A veces eso significará poner la equidad por delante de las ganancias."

Diseño ético. Los algoritmos deben ser diseñados considerando:

• Equidad y no discriminación.
• Transparencia y rendición de cuentas.
• Protección de la privacidad.
• Derechos humanos.

Perspectivas diversas. Incluir una amplia gama de voces en el desarrollo e implementación de sistemas algorítmicos:

• Éticos.
• Científicos sociales.
• Representantes comunitarios.
• Aquellos afectados por los algoritmos.

Evaluación continua. Evaluar regularmente el impacto de los sistemas algorítmicos en:

• Derechos y libertades individuales.
• Equidad social.
• Procesos democráticos.

Educación y concienciación. Promover la alfabetización digital y la comprensión de la toma de decisiones algorítmica entre:

• Legisladores.
• Líderes empresariales.
• Público en general.

Al priorizar estas consideraciones éticas, podemos aprovechar el poder de Big Data y los algoritmos mientras mitigamos su potencial de daño y aseguramos que sirvan a los intereses más amplios de la sociedad.

Última actualización: January 22, 2025