What We Owe The Future

1. 미래는 광대하며 오늘 우리의 행동이 그것을 형성할 수 있다

우리가 인간이 아닌 조상을 가졌던 것처럼, 우리 후손도 인간이 아닐 수 있다.

미래의 규모는 엄청나다. 인류가 생존한다면, 우리는 수억 년 또는 수십억 년 동안 지속될 수 있다. 오늘 우리가 내리는 결정은 이 광대한 미래에 깊고 오래 지속되는 영향을 미칠 수 있다. 우리 후손들은 우주 전역에 퍼져 상상할 수 없는 규모와 복잡성을 가진 문명을 창조할지도 모른다.

지금 우리는 큰 영향을 미칠 수 있다. 우리는 역사상 유례없는 기술 발전과 글로벌 연결성의 시기에 살고 있다. 이는 우리가 장기적인 결과에 영향을 미칠 수 있는 전례 없는 힘을 준다. 우리가 미래를 형성할 수 있는 몇 가지 주요 영역은 다음과 같다:

• AI와 같은 변혁적 기술을 책임감 있게 개발하기
• 팬데믹과 핵전쟁과 같은 존재적 위험 완화하기
• 지속 가능한 가치와 제도를 촉진하기
• 인류의 지평을 지구 너머로 확장하기

장기적인 관점이 중요하다. 가능한 모든 범위를 고려함으로써, 우리는 우리 자신뿐만 아니라 수많은 미래 세대에게 이익이 되는 더 현명한 선택을 할 수 있다. 우리는 우리의 영향을 현명하게 사용할 책임이 있다.

2. 도덕적 진보는 필연적이지 않다

노예제도의 종말을 가져온 도덕적 변화는 훨씬 더 오래 걸렸을 수도 있으며, 결코 일어나지 않았을 수도 있다.

도덕적 진보는 보장되지 않는다. 역사적으로 노예제도의 폐지와 같은 중요한 윤리적 발전을 이루었지만, 이러한 변화는 필연적이지 않았다. 이는 도덕적 개혁가와 활동가들의 헌신적인 노력의 결과였다. 그들의 노력이 없었다면, 해로운 관행과 신념은 무기한 지속될 수 있었다.

가치는 매우 지속적일 수 있다. 일단 확립되면, 도덕적 규범과 사회적 가치는 수세기 또는 수천 년 동안 지속될 수 있다. 이는 양면성을 가지며, 유익한 가치가 지속될 수 있지만 해로운 가치도 지속될 수 있다. 오래 지속되는 가치 체계의 예로는 다음이 있다:

• 주요 세계 종교
• 정치 이데올로기
• 문화적 전통과 금기

가치를 형성하는 것이 중요하다. 가치가 얼마나 영향력 있고 지속적일 수 있는지를 고려할 때, 우리가 할 수 있는 가장 영향력 있는 일 중 하나는 문명의 도덕적 궤적을 긍정적으로 형성하려고 노력하는 것이다. 이는 다음을 포함한다:

• 자비, 이성, 장기적 사고와 같은 유익한 가치를 촉진하기
• 해로운 이데올로기와 관행에 반대하기
• 긍정적인 가치를 보존하고 전파할 수 있는 강력한 제도 만들기
• 도덕적 탐구와 진보에 열려 있기

3. 기술은 가치를 고정시킬 수 있다, 좋든 나쁘든

AGI 에이전트는 잠재적으로 불멸이다.

인공지능 일반(AGI)은 중요한 기술이다. 모든 분야에서 인간 수준의 능력을 가진 AI 시스템의 개발은 지능 폭발로 이어질 수 있다. 이는 AGI에 프로그래밍된 목표를 빠르게 달성할 수 있게 하여, 그 가치를 무기한 고정시킬 수 있다.

위험은 엄청나다. AGI가 개발되고 구현되는 방식에 따라, 이는 다음과 같은 급격히 다른 미래로 이어질 수 있다:

• 모든 감각 있는 존재를 위한 풍요와 번영의 유토피아
• 인간의 가치가 무시되거나 억압되는 디스토피아
• 인류의 멸종과 우리의 우주적 유산의 종말

신중한 개발이 중요하다. AGI의 변혁적 잠재력을 고려할 때, 우리는 다음을 해야 한다:

• AGI 안전 연구에 대규모 투자하기
• AI 개발을 위한 강력한 거버넌스 프레임워크 개발하기
• AGI 시스템에 유익한 가치와 목표를 주입하기 위해 노력하기
• 재앙으로 이어질 수 있는 AGI 개발을 서두르지 않기

4. 멸종과 붕괴는 우리가 해결해야 할 존재적 위험이다

지금 가장 중요한 것은 인류 역사의 종말을 피하는 것이다.

인류의 멸종은 엄청난 비극이다. 인류의 멸종은 수십억 명의 생명을 끝낼 뿐만 아니라, 우리 종과 모든 미래 세대의 광대한 잠재력을 닫아버릴 것이다. 이는 우리 우주의 한 구석에서 의식과 지능의 영구적인 상실을 의미할 가능성이 크다.

붕괴는 멸종만큼 나쁠 수 있다. 일부 인간이 재앙에서 살아남더라도, 문명의 붕괴는 우리를 취약한 상태에 가두거나 결함 있는 가치를 고정시킬 수 있다. 특히 쉽게 접근할 수 있는 자원을 고갈시켰다면, 회복은 어렵거나 불가능할 수 있다.

우리는 몇 가지 주요 위험에 직면해 있다. 가장 시급한 존재적 위험 중 일부는 다음과 같다:

• 핵전쟁
• 인위적 팬데믹
• 잘못 정렬된 인공지능
• 극단적인 기후 변화
• 소행성 충돌

인류를 보호하는 것이 주요 우선순위이다. 엄청난 위험을 고려할 때, 존재적 위험을 줄이는 것이 우리의 최우선 과제 중 하나여야 한다. 이는 기술적 안전장치 개발, 글로벌 협력 개선, 인류 생존과 회복을 위한 강력한 백업 계획 수립을 포함한다.

5. 인위적 팬데믹은 인류에게 큰 위협이 된다

우리는 여러 가지 이유로 미래에 대해 깊은 불확실성에 처해 있다.

생명공학이 빠르게 발전하고 있다. 생물체를 설계하고 수정하는 도구는 점점 더 강력하고 접근 가능해지고 있다. 이는 큰 잠재적 이익을 가지고 있지만, 전례 없는 위험도 초래한다. 곧 자연에서 발견되는 것보다 더 치명적인 병원체를 만들 수 있을지도 모른다.

안전장치가 불충분하다. 위험에도 불구하고, 생물안전 및 생물보안 조치는 종종 느슨하다. 병원체가 실험실에서 탈출한 우려스러운 사건이 여러 번 있었다. 규제와 감독은 기술 능력에 발맞추지 못하고 있다.

고의적인 오용이 심각한 우려이다. 우발적인 방출 외에도, 우리는 생물학적 무기의 고의적인 개발과 사용에 대해 걱정해야 한다. 소수의 악의적인 행위자도 전 세계적인 팬데믹을 일으킬 수 있다.

준비가 필수적이다. 팬데믹 위험을 완화하기 위해, 우리는 다음을 긴급히 해야 한다:

• 생물안전 및 생물보안 조치 강화하기
• 글로벌 질병 감시 및 대응 능력 개선하기
• 광범위한 의학적 대응책에 투자하기
• 이중 용도 연구를 위한 거버넌스 프레임워크 개발하기

6. 기후 변화와 자원 고갈은 장기 생존을 위협한다

문명을 보호하기 위해, 우리는 지속 불가능한 수준을 넘어 그러한 재앙적 위험에 효과적으로 대응할 수 있는 기술을 확보해야 한다.

기후 변화는 장기적인 위험을 초래한다. 기후 변화가 직접적으로 인류 멸종을 초래할 가능성은 낮지만, 극단적인 기후 변화는 문명을 불안정하게 만들고 다른 위협에 더 취약하게 만들 수 있다. 그 영향은 수천 년 동안 지속될 수 있으며, 다른 재난에서 회복하는 것을 방해할 수 있다.

화석 연료 고갈은 회복을 복잡하게 만든다. 쉽게 접근할 수 있는 화석 연료를 다 써버리면, 문명이 붕괴할 경우 회복이 훨씬 더 어려워질 수 있다. 화석 연료의 에너지 밀도와 접근성은 산업 혁명을 가능하게 하는 데 중요한 역할을 했다.

지속 가능한 기술이 중요하다. 장기적인 생존과 번영을 보장하기 위해, 우리는 다음을 해야 한다:

• 청정 에너지 원천으로 신속히 전환하기
• 에너지 저장 및 전송 기술 개발하기
• 모든 부문에서 에너지 효율성 개선하기
• 백업으로 일부 화석 연료 비축하기

환경 보호는 장기적인 이익을 준다. 안정된 기후와 자연 자원 기반을 보존함으로써, 우리는 미래 세대에게 더 많은 선택권을 제공하고 재난이 발생할 경우 회복 가능성을 높인다.

7. 기술적 정체는 우리를 취약한 상태에 가둘 수 있다

우리는 로프나 하네스 없이 가파른 절벽을 오르는 등반가와 같으며, 떨어질 위험이 크다.

진보는 보장되지 않는다. 기술적 진보가 급격히 둔화되거나 완전히 멈출 수 있는 이유가 있다. 이는 다음과 같은 요인 때문일 수 있다:

• 인구 성장 둔화
• 연구의 수익 감소
• 자원 제약
• 사회적 또는 정치적 요인

정체는 위험하다. 현재의 기술 수준에서 정체되면, 우리는 다양한 존재적 위험에 취약한 상태로 남게 된다. 우리는 팬데믹, 기후 변화, 인공지능과 같은 위협에 대한 해결책을 개발하기 위해 지속적인 진보가 필요하다.

정체를 피하려면 노력이 필요하다. 기술적 진보를 지속하기 위해, 우리는 다음을 해야 한다:

• 과학 연구 및 개발에 대규모 투자하기
• 혁신에 더 적합한 제도로 개혁하기
• 인구 동향과 그 경제적 영향을 신중히 관리하기
• 장기적인 진보를 위한 안정된 기반 유지하기

진보와 안전의 균형이 중요하다. 우리는 지속적인 기술 발전이 필요하지만, 새로운 기술을 책임감 있게 개발해야 한다. 목표는 인류의 장기적 잠재력을 증진시키는 지속 가능한 진보여야 한다.

8. 행복한 사람을 추가하는 것은 긍정적인 도덕적 가치를 가진다

인류가 잠재적 수명의 일부라도 생존한다면, 이상하게 들릴지 모르지만, 우리는 고대인이다: 우리는 역사의 매우 초기에, 가장 먼 과거에 살고 있다.

좋은 삶을 창조하는 것은 긍정적인 가치를 가진다. 모든 것이 동일하다면, 살 가치가 있는 삶을 가진 사람을 존재하게 하는 것은 세상을 더 나은 곳으로 만든다. 이는 인류 멸종을 막는 것이 단지 현재의 사람들을 구하는 것이 아니라, 수많은 미래의 가치 있는 삶을 가능하게 하는 것임을 의미한다.

이 관점은 중요한 함의를 가진다. 행복한 사람을 창조하는 것이 좋다는 것을 받아들인다면, 이는 다음의 도덕적 중요성을 크게 증가시킨다:

• 인류의 장기적 생존 보장하기
• 다른 행성과 별 시스템으로 확장하기
• 삶의 질을 향상시키고 인류의 역량 증가시키기

철학적 질문이 도전적이다. 이 관점은 인구 윤리학에서 복잡한 문제를 제기한다, 예를 들어:

• 삶의 양과 질을 어떻게 비교할 것인가
• 좋은 삶과 나쁜 삶을 창조하는 것 사이에 비대칭성이 있는지 여부
• 미래의 행복에 대한 불확실성을 어떻게 다룰 것인가

신중한 도덕적 추론이 중요하다. 인류의 장기적 궤적을 형성하는 데 관련된 엄청난 위험을 고려할 때, 이러한 윤리적 문제에 대해 깊이 생각하고 주요 불확실성을 해결하려고 노력하는 것이 중요하다.

9. 미래의 기대 가치는 긍정적일 가능성이 높다

진보의 필연적인 아크는 없다. 신의 기계 장치가 문명이 디스토피아나 망각으로 넘어가는 것을 막지 않을 것이다.

비관할 이유가 있다. 디스토피아, 고통, 멸종의 위험을 포함하여 미래에 대한 정당한 우려가 있다. 우리는 자만해서는 안 되며, 진보가 필연적이라고 가정해서는 안 된다.

그러나 낙관할 강력한 이유도 있다:

• 인간 복지가 시간이 지남에 따라 극적으로 개선되었다
• 우리는 글로벌 문제를 해결할 수 있는 능력이 증가하고 있다
• 대부분의 사람들은 긍정적인 미래를 만들고자 한다
• 좋은 것의 잠재력이 나쁜 것의 잠재력을 훨씬 능가한다

기대 가치 계산은 낙관을 지지한다. 최악의 미래가 최선의 미래보다 나쁠 수 있지만, 좋은 미래가 훨씬 더 가능성이 높아 보인다. 이는 미래의 기대 가치가 긍정적임을 시사한다.

낙관은 힘을 준다. 우리가 긍정적인 미래를 만들 수 있다고 믿는 것은 우리가 그 목표를 향해 노력하도록 동기를 부여한다. 현실에 기반을 둔 신중한 낙관주의는 우리의 잠재력에 대해 희망을 가지는 것이 가장 건설적인 태도일 가능성이 높다.

10. 인류의 잠재력을 보호하기 위해 구체적인 행동을 취할 수 있다

당신은 자신이 생각하는 것보다 더 많은 힘을 가지고 있을 수 있다.

개인의 행동이 중요하다. 우리가 직면한 도전이 엄청나지만, 개인이 도울 수 있는 많은 구체적인 일이 있다, 예를 들어:

• 중요한 문제에 대해 효과적으로 일하는 조직에 기부하기
• 중요한 장기적 도전을 해결하는 직업 선택하기
• 유익한 정책과 가치를 옹호하기
• 장기적 사고에 대한 인식을 확산하기

주요 초점 영역은 다음과 같다:

• AI 안전 및 거버넌스
• 생물 보안 및 팬데믹 대비
• 청정 에너지 혁신
• 글로벌 협력 및 제도 구축
• 도덕 철학 및 가치 확산

성장하는 운동이 있다. 인류의 장기적 잠재력을 보호하기 위해 헌신하는 연구자, 자선가, 활동가의 커뮤니티가 등장하고 있다. 이 커뮤니티에 참여하면 당신의 영향을 증폭시킬 수 있다.

장기적 사고가 중요하다. 가능한 모든 범위를 고려함으로써, 우리는 우리 자신뿐만 아니라 수많은 미래 세대에게 이익이 되는 더 현명한 선택을 할 수 있다. 우리는 우주의 장기적 미래를 긍정적으로 형성할 책임과 기회를 가지고 있다.

Last updated: August 29, 2024