The Precipice

1. 인류는 역사상 중대한 순간에 서 있으며, 전례 없는 존재적 위험에 직면해 있다

모든 것이 잘 된다면, 인류의 역사는 이제 막 시작된 것이다. 인류는 약 20만 년의 역사를 가지고 있다. 그러나 지구는 수억 년 동안 더 살기 적합할 것이며, 이는 수백만의 미래 세대에게 충분한 시간이다. 질병, 빈곤, 불의를 영원히 끝낼 수 있는 시간이며, 오늘날 상상할 수 없는 번영의 정점을 창조할 수 있는 시간이다.

전례 없는 힘과 위험. 인류의 역사에서, 우리 종은 놀라운 발전을 이루어냈다. 작은 사냥-채집 집단에서 시작하여 전 세계적으로 기술적으로 발전된 문명으로 발전했다. 이 궤적은 최근 몇 세기 동안 극적으로 가속화되었으며, 건강, 번영, 지식에서 엄청난 이익을 가져왔다. 그러나 우리의 성장하는 힘은 또한 인류의 잠재력을 영구적으로 파괴할 수 있는 새로운 존재적 위험을 만들어냈다.

중대한 갈림길. 우리는 이제 역사상 독특하고 불안정한 시점에 서 있다. 처음으로, 우리는 핵전쟁, 인위적 전염병, 또는 다른 기술을 통해 스스로를 파괴할 수 있는 능력을 가지고 있다. 그러나 우리는 또한 우주 전역에 퍼져 수십억 년 동안 번영할 수 있는 놀라운 밝은 미래를 확보할 수 있는 잠재력을 가지고 있다. 우리가 다가오는 수십 년 동안 내리는 선택은 우리가 어떤 길을 택할지를 결정할 수 있다.

위험의 규모는 천문학적이다. 현재의 위험을 성공적으로 극복한다면, 인류는 매우 길고 번영하는 미래를 가질 수 있다. 우리는 다른 행성으로 퍼져나가고, 부족을 끝내며, 현재 우리의 상상을 초월하는 번영의 정점에 도달할 수 있다. 그러나 실패한다면, 우리는 그 모든 미래를 차단할 수 있다. 살 수 있었던 수조의 생명과 결코 실현되지 않을 우주 규모의 성취를 잃게 될 것이다. 따라서 우리 세대는 엄청난 책임을 지고 있다.

2. 인류에 대한 자연적 위험은 우리가 만든 인위적 위협에 비해 미미하다

여전히 실제 위험이 있지만, 이는 매우 낮은 것으로 밝혀졌다. 유명한 위험이지만 작은 위험이다. 만약 인류가 다음 세기 안에 멸종한다면, 그것은 거의 확실히 소행성이나 혜성 충돌이 아닌 다른 이유 때문일 것이다.

자연적 위험은 작다. 과학자들은 소행성 충돌, 초화산, 또는 별 폭발과 같은 자연적 원인으로 인한 인류 멸종의 위험이 매우 낮다는 것을 신중한 연구를 통해 밝혀냈다. 이러한 사건들은 주요 지역적 파괴를 초래할 수 있지만, 우리의 글로벌 존재와 기술적 능력은 인류를 이러한 위협에 대해 상당히 회복력 있게 만든다.

인위적 위험이 지배적이다. 진정으로 중요한 존재적 위험은 이제 우리의 행동과 창조물에서 비롯된다. 핵무기, 기후 변화, 인위적 전염병, 인공지능은 모두 인류의 장기 생존과 번영에 훨씬 더 큰 위협을 가한다. 자연적 위험과 달리, 이러한 인위적 위험은 우리의 기술적 힘이 커짐에 따라 시간이 지남에 따라 증가하고 있다.

우리는 우리의 운명을 통제한다. 주로 자연적 위험에서 주로 인위적 존재적 위험으로의 전환은 사실 신중한 낙관의 이유가 된다. 우리는 초화산 폭발을 막기 위해 할 수 있는 일이 거의 없지만, 강력한 기술의 개발과 사용을 통제할 수 있는 능력은 훨씬 더 크다. 우리의 운명은 주로 우리의 손에 달려 있다. 우리가 우리의 성장하는 힘을 책임감 있게 사용할 수 있다면 말이다.

3. 핵무기와 기후 변화는 중요한 그러나 관리 가능한 존재적 위험을 제기한다

수세기 동안 지속될 암흑기를 남기고, 생존자들이 문명을 이전의 높이로 재건할 수 있을 때까지; 겸손하고, 상처받았지만—패배하지 않은.

핵겨울이 주요 위협이다. 핵전쟁의 즉각적인 효과는 파괴적이겠지만, 더 큰 존재적 위험은 핵겨울의 가능성에서 온다. 불타는 도시에서 발생하는 화재 폭풍은 대기 중에 충분한 그을음을 띄워 햇빛을 수년 동안 차단할 수 있으며, 이는 글로벌 냉각과 작물 실패를 초래하여 대규모 기아를 초래할 수 있다. 그러나 이 시나리오에서 인류 멸종은 가능성이 낮다.

기후 위험은 불확실하다. 기후 변화로 인한 존재적 위험은 덜 명확하지만, 최악의 시나리오에서는 잠재적으로 심각할 수 있다. 현재의 온난화 예측은 인류 멸종을 직접적으로 초래할 가능성이 낮지만, 더 극단적인 온난화는 연쇄 효과를 일으키거나 위험한 임계점을 넘길 수 있다. 잠재적 피드백 루프와 6°C 이상의 온난화의 영향에 대한 주요 불확실성이 남아 있다.

둘 다 글로벌 행동이 필요하다. 이러한 위험을 해결하려면 핵무기를 줄이고, 무기를 즉각 발사할 수 있는 상태에서 해제하며, 청정 에너지로 빠르게 전환하기 위한 국제 협력이 필요하다. 이는 도전적이지만, 대중과 정책 입안자들이 이를 우선시한다면 달성 가능한 목표이다. 미래의 위험과 비교할 때, 핵전쟁과 기후 변화는 상대적으로 잘 이해되고 관리 가능한 위협이다.

4. 인위적 전염병과 인공지능으로 인한 미래의 위험은 치명적일 수 있다

인류는 결코 회복할 수 없는 실수를 피할 수 있는 성숙함, 조정력, 예지력을 결여하고 있다. 우리의 힘과 지혜 사이의 격차가 커질수록, 우리의 미래는 점점 더 높은 수준의 위험에 노출된다.

인위적 전염병. 생명공학의 발전은 곧 자연에서 발견되는 것보다 훨씬 더 치명적인 병원체를 만들 수 있게 할 것이다. 에볼라의 치명성과 독감의 전염성을 결합한 인위적 전염병은 수십억 명의 사망을 초래할 수 있다. 자연적 전염병과 달리, 인위적 전염병은 최대 치명성과 확산을 위해 최적화될 수 있다.

인공지능 일반 (AGI). 인간 수준의 일반 지능을 가진 AI 시스템의 개발은 인류에게 엄청난 혜택을 줄 수 있다. 그러나 이는 아마도 가장 큰 존재적 위험을 제기한다. 인간의 가치와 완벽하게 일치하지 않는 AGI 시스템은 빠르게 매우 강력해져 인류에게 파괴적인 목표를 추구할 수 있으며, 잠재적으로 우리의 멸종을 초래할 수 있다.

전례 없는 도전. 이러한 신흥 위험은 우리가 이를 관리한 역사적 경험이 없기 때문에 특히 위험하다. 이러한 위협이 완전히 실현되기 전에 예지력과 조정된 글로벌 행동이 필요하다. 우리의 거버넌스 시스템과 도덕적 지혜는 아직 이러한 도전을 신뢰할 수 있게 해결할 수 있는 수준에 도달하지 않았다.

5. 존재적 위험은 그 중요성에도 불구하고 심각하게 무시되고 있다

인류는 매년 아이스크림에 더 많은 돈을 쓰고 있으며, 우리가 개발하는 기술이 우리를 파괴하지 않도록 하는 데는 더 적은 돈을 쓰고 있다.

거대한 규모, 적은 관심. 천문학적 규모의 위험에도 불구하고, 존재적 위험은 놀랍게도 적은 관심과 자원을 받고 있다. 존재적 위험 감소에 대한 연간 글로벌 지출은 아마도 10억 달러 미만일 것이다. 이는 우리가 다른 글로벌 우선순위에 쓰는 것보다 훨씬 적으며, 아이스크림에 쓰는 것보다도 적다.

구조적 무시. 여러 요인이 이 무시에 기여한다:

• 범위 무감각: 우리는 수백만과 수십억의 생명 차이를 감정적으로 이해하는 데 어려움을 겪는다
• 인센티브 문제: 존재적 위험을 줄이는 것의 대부분의 이익은 우리를 보상할 수 없는 미래 세대에게 돌아간다
• 전례 없는 성격: 많은 위험이 역사적 전례가 없어 쉽게 무시될 수 있다

무시를 되돌리기. 존재적 위험에 대한 관심을 높이는 것은 우리가 할 수 있는 가장 영향력 있는 일 중 하나이다. 이러한 문제에 할당된 자원을 약간만 늘려도 인류의 장기적인 미래에 큰 긍정적 영향을 미칠 수 있다.

6. 인류를 보호하기 위해서는 글로벌 협력과 제도적 변화가 필요하다

이러한 도전을 극복하고 우리의 미래를 확보하기 위해, 우리는 지금 행동해야 한다: 오늘의 위험을 관리하고, 내일의 위험을 피하며, 다시는 스스로에게 그러한 위험을 초래하지 않는 사회가 되어야 한다.

글로벌 도전은 글로벌 해결책을 필요로 한다. 기후 변화나 정렬되지 않은 AI와 같은 많은 존재적 위험은 모든 인류에게 영향을 미치며, 이를 해결하기 위해서는 조정된 글로벌 행동이 필요하다. 우리는 장기적인 위험과 미래 세대에 초점을 맞춘 새로운 국제 기관을 개발해야 한다.

제도적 혁신이 필요하다. 몇 가지 유망한 아이디어는 다음과 같다:

• 존재적 위험 감소에 초점을 맞춘 UN 기구
• 거버넌스 구조에 미래 세대의 대표 포함
• 인류에 대한 무모한 위험을 국제 범죄로 만드는 것
• 장기적, 저확률 위험을 다룰 수 있는 민주적 기관 개선

문화적 변화가 필요하다. 제도적 변화 외에도, 우리는 이러한 위험을 진지하게 받아들이고 더 긴 시간 척도로 생각하는 문화적 변화를 필요로 한다. 우리는 인내, 신중함, 글로벌 협력의 문명적 미덕을 개발해야 한다.

7. 현재의 위험을 극복하면 우리의 잠재적 미래는 규모, 지속 기간, 질에서 방대하다

우리가 다른 별에 도달할 수 있다면, 전체 은하가 우리에게 열릴 것이다. 은하수만 해도 1,000억 개 이상의 별을 포함하고 있으며, 이 중 일부는 수조 년 동안 지속될 것이며, 우리의 잠재적 수명을 크게 연장할 것이다.

우주적 시간 척도. 존재적 재앙을 피한다면, 인류는 수억 년 또는 수십억 년 동안 생존할 수 있다. 우리는 지구를 넘어 다른 행성과 별 시스템으로 퍼져나갈 수 있으며, 현재의 집이 매우 먼 미래에 살기 어려워질 때까지 생존할 수 있다.

은하적 잠재력. 우리 은하만 해도 수천억 개의 별을 포함하고 있으며, 많은 별이 잠재적으로 살기 적합한 행성을 가지고 있다. 우리가 항성 간 여행 능력을 개발한다면, 우리는 은하수 전역에 퍼져나가 수많은 세계와 별 시스템의 자원을 활용할 수 있다.

번영의 정점. 이러한 방대한 시간 척도와 자원을 고려할 때, 우리는 놀라운 것들을 이룰 수 있다:

• 모든 종류의 부족을 끝내고, 빈곤과 결핍을 제거
• 현재 우리의 상상을 초월하는 기술 개발
• 새로운 예술 형식과 경험 모드 창조
• 현실의 근본적인 본질에 대한 깊은 이해 획득
• 현재 우리의 정점을 훨씬 초과하는 웰빙과 번영의 정점 달성

8. 인류의 장기적 잠재력을 보존하는 것은 우리 세대의 정의적 도전이다

우리는 이 지혜를 얻어야 한다; 이 도덕적 혁명을 이루어야 한다. 멸종에서 돌아올 수 없기 때문에, 우리는 위협이 닥칠 때까지 기다릴 수 없다—우리는 선제적으로 행동해야 한다. 그리고 지혜를 얻거나 도덕적 혁명을 시작하는 데 시간이 걸리기 때문에, 우리는 지금 시작해야 한다.

중대한 순간. 우리 세대는 아마도 인류 역사상 가장 중요한 시기에 살고 있다. 다가오는 수십 년 동안 우리의 행동은 인류가 방대한 잠재력을 실현할지 아니면 존재적 재앙에 굴복할지를 결정할 수 있다. 우리는 깊은 책임을 지고 있다.

우리 시대의 위대한 프로젝트. 존재적 위험을 줄이는 것은 인류의 최우선 과제 중 하나여야 한다. 여기에는 다음이 포함된다:

• 기후 변화, 핵전쟁, 인위적 전염병, AI 정렬과 같은 특정 위험에 대한 직접적인 작업
• 새로운 위협을 예측하고 해결할 수 있는 글로벌 역량 개선
• 강력한 새로운 기술을 관리할 수 있는 지혜와 제도적 구조 개발
• 인류의 장기적인 미래에 대한 관심 확산

행동 촉구. 도전은 엄청나지만, 신중한 낙관의 이유가 있다. 우리가 이 위험을 진지하게 받아들인다면, 우리는 이를 극복할 수 있는 힘을 가지고 있다. 모든 사람은 자신의 직업 선택, 기부, 또는 단순히 이러한 문제에 대한 관심을 확산함으로써 기여할 수 있다. 우리의 후손들은 우리를 인류의 방대한 잠재력을 보호한 세대로 기억할지도 모른다.

마지막 업데이트 날짜: August 15, 2024