The Precipice

1. La humanidad se encuentra en un momento crucial de la historia, enfrentando riesgos existenciales sin precedentes

Si todo va bien, la historia humana apenas está comenzando. La humanidad tiene alrededor de doscientos mil años. Pero la Tierra seguirá siendo habitable durante cientos de millones más, tiempo suficiente para millones de generaciones futuras; suficiente para acabar con la enfermedad, la pobreza y la injusticia para siempre; suficiente para alcanzar niveles de prosperidad inimaginables hoy en día.

Poder y peligro sin precedentes. En el transcurso de la historia humana, nuestra especie ha hecho un progreso notable, desarrollándose desde pequeñas bandas de cazadores-recolectores hasta una civilización global y tecnológicamente avanzada. Esta trayectoria se ha acelerado dramáticamente en los últimos siglos, trayendo enormes avances en salud, prosperidad y conocimiento. Sin embargo, nuestro creciente poder también ha creado nuevos riesgos existenciales: amenazas que podrían destruir permanentemente el potencial de la humanidad.

Un punto crítico. Ahora nos encontramos en un punto único y precario de la historia. Por primera vez, tenemos la capacidad de destruirnos a nosotros mismos a través de una guerra nuclear, pandemias diseñadas o otras tecnologías. Sin embargo, también tenemos el potencial de asegurar un futuro increíblemente brillante, expandiéndonos por el cosmos y prosperando durante miles de millones de años. Las decisiones que tomemos en las próximas décadas pueden determinar qué camino tomamos.

Las apuestas son astronómicas. Si navegamos con éxito los riesgos actuales, la humanidad podría tener un futuro increíblemente largo y próspero por delante. Podríamos expandirnos a otros planetas, acabar con las escaseces y alcanzar niveles de prosperidad mucho más allá de nuestra imaginación actual. Pero si fallamos, podríamos cortar todo ese futuro: billones de vidas que podrían haberse vivido y logros a escala cósmica que nunca se materializarán. Nuestra generación, por lo tanto, tiene una inmensa responsabilidad.

2. Los riesgos naturales para la humanidad son superados por las amenazas antropogénicas que hemos creado

Aunque todavía existe un riesgo real, ha sido estudiado en gran detalle y se ha demostrado que es extremadamente bajo. Es un riesgo famoso, pero pequeño. Si la humanidad se extinguiera en el próximo siglo, casi con certeza sería por algo distinto a un impacto de asteroide o cometa.

Los riesgos naturales son pequeños. A través de estudios cuidadosos, los científicos han determinado que el riesgo de extinción humana por causas naturales como impactos de asteroides, supervolcanes o explosiones estelares es muy bajo, probablemente menos del 0.1% por siglo. Aunque tales eventos podrían causar una devastación regional importante, nuestra presencia global y capacidades tecnológicas hacen a la humanidad bastante resiliente a estas amenazas.

Los riesgos causados por el hombre dominan. Los riesgos existenciales verdaderamente significativos ahora provienen de nuestras propias acciones y creaciones. Las armas nucleares, el cambio climático, las pandemias diseñadas y la inteligencia artificial representan amenazas mucho mayores para la supervivencia y prosperidad a largo plazo de la humanidad. A diferencia de los riesgos naturales, estos riesgos antropogénicos están aumentando con el tiempo a medida que nuestro poder tecnológico crece.

Controlamos nuestro destino. El cambio de riesgos existenciales principalmente naturales a principalmente antropogénicos es en realidad motivo de un optimismo cauteloso. Mientras que podemos hacer poco para prevenir una erupción supervolcánica, tenemos mucho más control sobre el desarrollo y uso de tecnologías poderosas. Nuestro destino está en gran medida en nuestras propias manos, si podemos aprender a manejar nuestros crecientes poderes de manera responsable.

3. Las armas nucleares y el cambio climático representan riesgos existenciales significativos pero manejables

Una guerra que dejaría atrás una era oscura que duraría siglos, antes de que los sobrevivientes pudieran eventualmente reconstruir la civilización a sus antiguas alturas; humillados, marcados, pero no derrotados.

El invierno nuclear es la amenaza clave. Aunque los efectos inmediatos de una guerra nuclear serían devastadores, el mayor riesgo existencial proviene del potencial de un invierno nuclear. Las tormentas de fuego en ciudades en llamas podrían elevar suficiente hollín a la atmósfera para bloquear la luz solar durante años, causando enfriamiento global y fallos en las cosechas que podrían llevar a una hambruna masiva. Sin embargo, la extinción humana por este escenario parece poco probable.

Los riesgos climáticos son inciertos. Los riesgos existenciales del cambio climático son menos claros, pero potencialmente severos en los peores escenarios. Aunque las proyecciones actuales de calentamiento son poco probables que causen directamente la extinción humana, un calentamiento más extremo podría desencadenar efectos en cascada o empujarnos más allá de puntos de inflexión peligrosos. Persisten incertidumbres clave en torno a los posibles bucles de retroalimentación y los impactos de un calentamiento superior a 6°C.

Ambos requieren acción global. Abordar estos riesgos requiere cooperación internacional para reducir los arsenales nucleares, desactivar las armas en alerta máxima y transitar rápidamente hacia energías limpias. Aunque es un desafío, estos son objetivos alcanzables si el público y los responsables de políticas los priorizan. Comparados con los riesgos futuros, la guerra nuclear y el cambio climático son amenazas relativamente bien entendidas y manejables.

4. Los riesgos futuros de pandemias diseñadas e inteligencia artificial podrían ser catastróficos

La humanidad carece de la madurez, coordinación y previsión necesarias para evitar cometer errores de los que nunca podríamos recuperarnos. A medida que la brecha entre nuestro poder y nuestra sabiduría crece, nuestro futuro está sujeto a un nivel de riesgo cada vez mayor.

Pandemias diseñadas. Los avances en biotecnología pronto podrían permitir la creación de patógenos mucho más mortales que cualquier cosa en la naturaleza. Una pandemia diseñada que combine la letalidad del Ébola con la contagiosidad de la gripe podría causar potencialmente miles de millones de muertes. A diferencia de las pandemias naturales, las diseñadas podrían optimizarse para una letalidad y propagación máximas.

Inteligencia Artificial General (IAG). El desarrollo de la IAG, sistemas de IA con inteligencia general a nivel humano, podría ser una bendición increíble para la humanidad. Pero también representa posiblemente el mayor riesgo existencial. Un sistema de IAG que no esté perfectamente alineado con los valores humanos podría volverse extremadamente poderoso rápidamente y perseguir objetivos destructivos para la humanidad, potencialmente incluso causando nuestra extinción.

Desafío sin precedentes. Estos riesgos emergentes son especialmente peligrosos porque no tenemos experiencia histórica en manejarlos. Requieren previsión y acción global coordinada antes de que las amenazas se materialicen completamente. Nuestros sistemas de gobernanza y nuestra sabiduría moral aún no están a la altura de la tarea de navegar estos desafíos de manera confiable.

5. El riesgo existencial está gravemente descuidado a pesar de su importancia primordial

La humanidad gasta más en helado cada año que en asegurar que las tecnologías que desarrollamos no nos destruyan.

Escala masiva, poca atención. A pesar de las apuestas astronómicas involucradas, el riesgo existencial recibe sorprendentemente poca atención y recursos. El gasto global anual en reducción de riesgos existenciales probablemente sea menos de $1 mil millones, órdenes de magnitud menos de lo que gastamos en otras prioridades globales, y menos de lo que gastamos en helado.

Negligencia estructural. Varios factores contribuyen a esta negligencia:

• Insensibilidad al alcance: Nos cuesta emocionalmente comprender la diferencia entre millones y miles de millones de vidas
• Problemas de incentivos: Gran parte del beneficio de reducir el riesgo existencial recae en generaciones futuras que no pueden recompensarnos
• Naturaleza sin precedentes: Muchos riesgos no tienen precedentes históricos, lo que los hace fáciles de descartar

Revertir la negligencia. Aumentar la atención al riesgo existencial es una de las cosas más impactantes que podemos hacer. Incluso pequeños aumentos en los recursos dedicados a estos temas podrían tener un impacto positivo desproporcionado en el futuro a largo plazo de la humanidad.

6. Salvaguardar el potencial a largo plazo de la humanidad requiere cooperación global y cambios institucionales

Para sobrevivir a estos desafíos y asegurar nuestro futuro, debemos actuar ahora: gestionando los riesgos de hoy, evitando los de mañana y convirtiéndonos en la clase de sociedad que nunca se pondrá en tal riesgo nuevamente.

Los desafíos globales requieren soluciones globales. Muchos riesgos existenciales, como el cambio climático o la IA desalineada, afectan a toda la humanidad y requieren acción global coordinada para abordarlos. Necesitamos desarrollar nuevas instituciones internacionales centradas en los riesgos a largo plazo y las generaciones futuras.

Innovaciones institucionales necesarias. Algunas ideas prometedoras incluyen:

• Un organismo de la ONU centrado en la reducción del riesgo existencial
• Incluir representantes de las generaciones futuras en las estructuras de gobernanza
• Hacer del peligro imprudente para la humanidad un crimen internacional
• Mejorar la capacidad de las instituciones democráticas para manejar riesgos a largo plazo y de baja probabilidad

Cambio cultural requerido. Más allá de los cambios institucionales, necesitamos un cambio cultural para tomar estos riesgos en serio y pensar en escalas de tiempo más largas. Debemos desarrollar las virtudes civilizacionales de paciencia, prudencia y cooperación global.

7. Nuestro potencial futuro es vasto en escala, duración y calidad si navegamos los riesgos actuales

Si podemos llegar a otras estrellas, entonces toda la galaxia se abre para nosotros. Solo la Vía Láctea contiene más de 100 mil millones de estrellas, y algunas de estas durarán billones de años, extendiendo enormemente nuestra vida potencial.

Escalas de tiempo cósmicas. Si evitamos una catástrofe existencial, la humanidad podría potencialmente sobrevivir durante cientos de millones o incluso miles de millones de años. Podríamos sobrevivir a la Tierra, expandiéndonos a otros planetas y sistemas estelares a medida que nuestro hogar actual se vuelva inhabitable en un futuro muy lejano.

Potencial galáctico. Nuestra galaxia sola contiene cientos de miles de millones de estrellas, muchas con planetas potencialmente habitables. Si desarrollamos la capacidad para el viaje interestelar, podríamos expandirnos por toda la Vía Láctea, aprovechando los recursos de innumerables mundos y sistemas estelares.

Alturas de prosperidad. Dadas tales escalas de tiempo y recursos, podríamos lograr cosas increíbles:

• Acabar con las escaseces de todo tipo, eliminando la pobreza y la necesidad
• Desarrollar tecnologías mucho más allá de nuestra imaginación actual
• Crear nuevas formas de arte y modos de experiencia
• Obtener una comprensión profunda de la naturaleza fundamental de la realidad
• Alcanzar niveles de bienestar y prosperidad mucho más allá de nuestros picos actuales

8. Preservar el potencial a largo plazo de la humanidad es el desafío definitorio de nuestra generación

Necesitamos adquirir esta sabiduría; tener esta revolución moral. Porque no podemos regresar de la extinción, no podemos esperar hasta que una amenaza golpee antes de actuar: debemos ser proactivos. Y porque adquirir sabiduría o iniciar una revolución moral lleva tiempo, necesitamos comenzar ahora.

Un momento crucial. Nuestra generación vive en posiblemente el momento más importante de la historia humana. Nuestras acciones en las próximas décadas podrían determinar si la humanidad alcanza su vasto potencial o sucumbe a una catástrofe existencial. Tenemos una responsabilidad profunda.

El gran proyecto de nuestro tiempo. Reducir el riesgo existencial debería ser una de las principales prioridades de la humanidad. Esto incluye:

• Trabajo directo en riesgos específicos como el cambio climático, la guerra nuclear, las pandemias diseñadas y la alineación de la IA
• Mejorar nuestra capacidad global para anticipar y abordar amenazas novedosas
• Desarrollar la sabiduría y las estructuras institucionales para manejar nuevas tecnologías poderosas
• Difundir la preocupación por el futuro a largo plazo de la humanidad

Un llamado a la acción. Aunque el desafío es inmenso, hay razones para un optimismo cauteloso. Tenemos el poder de navegar estos riesgos si los tomamos en serio. Todos pueden contribuir, ya sea a través de sus elecciones de carrera, donaciones o simplemente difundiendo la preocupación por estos temas. Nuestros descendientes podrían recordarnos como la generación que salvaguardó el vasto potencial de la humanidad.

Última actualización: August 15, 2024