핵심 요약
1. OpenAI의 이상주의적 창립은 권력과 이윤 추구에 빠르게 굴복했다.
이후 4년 동안 OpenAI는 자신들이 결코 되지 않겠다고 말했던 모든 것이 되어버렸다.
초기 이타주의. 일론 머스크와 샘 알트만 같은 인물들이 비영리 단체로 설립한 OpenAI는 인류의 이익을 위한 인공지능 일반지능(AGI) 개발에 10억 달러를 약속하며 개방성, 협력, 심지어 다른 프로젝트가 앞서면 스스로 물러날 각오까지 강조했다. 목표는 AGI가 구글 같은 단일 기업의 통제 하에 놓이지 않도록 하는 것이었다.
상업화로의 전환. 머스크가 떠난 후 재정 압박과 내부 권력 다툼이 심화되면서 알트만은 OpenAI를 ‘수익 제한’ 기업으로 재구성했다. 이를 통해 마이크로소프트로부터 10억 달러 투자를 유치하는 등 막대한 자본을 확보했지만, 본질적으로는 공격적인 상업화와 비밀주의로 방향을 틀어 창립 이념보다 AGI 선점에 우선순위를 두게 되었다.
원칙의 붕괴. 이 전환은 원래 사명에서 명확히 이탈한 것을 의미했다.
- 투명성은 비밀주의로 대체되었고,
- 협력은 치열한 경쟁으로 바뀌었으며,
- 개방형 연구에서 거대한 가치 평가를 노리는 수익성 높은 제품 개발로 초점이 이동했다.
이 변화는 고귀한 명분 뒤에 자아와 지배욕이 함께 작용했음을 드러냈다.
2. AI 모델의 무한 확장은 OpenAI의 핵심 전략이 되었고, 이는 자기충족적 예언에 의해 추진되었다.
OpenAI 법칙, 혹은 이후 회사가 더욱 열광적으로 추구한 ‘스케일링 법칙’은 자연현상이 아니다. 그것은 자기충족적 예언이다.
스케일링 가설. 2012년 ImageNet 돌파 이후 ‘컴퓨팅 자원’ 증가에 따라 AI 성능이 향상된다는 관찰에서 영감을 받은 일리야 수츠케버와 그렉 브록맨 등 OpenAI 리더들은 단순 신경망을 전례 없는 규모로 확장하는 것이 AGI에 가장 빠르게 도달하는 길이라 이론화했다. AI 분야의 컴퓨팅 사용량은 무어의 법칙보다 빠르게 증가하고 있었다.
막대한 컴퓨팅 자원의 필요성. 이 가설은 비영리 단체가 감당할 수 없는 GPU와 슈퍼컴퓨터에 대한 끝없는 수요를 낳았다.
- GPT-3 훈련에는 1만 개 GPU가 필요한 슈퍼컴퓨터가 필요했고,
- GPT-4 이후 모델들은 수만에서 수십만 개 GPU가 요구되며,
- 미래 ‘5단계’ 슈퍼컴퓨터 비용은 1000억 달러에 이를 것으로 추산된다.
이처럼 자본과 인프라 수요가 급증하면서 수익 모델 전환과 마이크로소프트 같은 파트너 의존이 굳어졌다.
전략적 필수조건. 스케일링은 단순 기술적 접근을 넘어 사업 전략이 되었다.
- 선두를 유지하거나 최고가 되려면 스케일링 곡선을 앞서가야 했고,
- 뒤처지면 AGI 개발 영향력을 잃게 되었다.
‘규모가 전부’라는 믿음은 AI 산업 전체를 자원 집약적 경쟁으로 몰아넣었으며, 대안적 접근이나 부작용은 무시되었다.
3. AI 제국의 성장은 취약한 글로벌 노동력을 데이터 주석 작업에 착취함으로써 이루어졌다.
기술이 생산성을 높이고 경제적 자유를 열며 자동화로 인한 일자리 감소를 완화할 것이라는 약속과 달리, 현실은 정반대였다.
숨겨진 노동력. 특히 대형 언어 모델 훈련에는 방대한 양의 데이터를 수집, 정제, 주석 처리할 인력이 필요하다. 이 ‘유령 노동’은 경제적 어려움을 겪는 국가의 저임금 노동자들에게 외주로 맡겨진다.
위기 경제에서의 착취. Scale AI, Sama 같은 기업들은 베네수엘라 경제 붕괴, 케냐의 팬데믹 영향 등 위기를 이용해 극빈 노동자들을 저임금에 혹독하고 심리적으로 해로운 작업에 투입했다.
- 베네수엘라 노동자들은 Remotasks 같은 플랫폼에서 시간당 1달러도 안 되는 임금을 받았고,
- 케냐 노동자들은 OpenAI의 유해 콘텐츠 필터링 작업에 시간당 2달러 미만을 받았다.
이러한 불안정 노동 의존은 역사적 식민지 착취와 유사한 양상을 보인다.
‘데이터 늪’의 대가. 필터링되지 않은 대규모 데이터셋(‘데이터 늪’)로 훈련하면서 콘텐츠 검열과 인간 피드백 강화학습(RLHF)이 늘어났다. 노동자들은 아동 성착취물 등 충격적인 콘텐츠에 노출되어 심각한 정신 건강 문제를 겪었으나 적절한 지원이나 공정한 보상은 부족했다.
4. AI 제국 건설은 막대한 자원을 요구하며 전 세계적으로 심각한 환경 비용을 초래한다.
과거와 같은 방식으로 이 기술을 개발한다면 지구는 파괴될 것이다.
물리적 인프라. 대형 생성 AI 모델은 훈련과 추론을 위해 거대한 데이터 센터(‘하이퍼스케일러’와 ‘메가캠퍼스’)를 필요로 한다. 이 시설들은 막대한 에너지, 토지, 광물, 물을 소비한다.
증가하는 환경 발자국. 자원 수요는 스케일링과 함께 기하급수적으로 늘어난다.
- 2030년까지 미국 전력의 8%를 데이터 센터가 사용할 것으로 예상되고,
- 전 세계 AI 컴퓨팅은 인도 전체 에너지 소비량을 초과할 수 있으며,
- 2027년까지 AI 수요는 전 세계 신선한 물 1.1~1.7조 갤런을 소비할 전망이다.
이러한 자원 집약은 기후변화를 악화시키고 특히 물 부족 지역의 환경을 압박한다.
불균형한 영향. 환경 부담은 주로 저렴한 토지, 에너지, 물을 찾아 데이터 센터가 들어선 글로벌 남반구 지역 사회에 집중된다. 이들은 역사적 자원 착취로 이미 취약한 상태이며,
- 수자원 고갈,
- 지역 전력망 과부하,
- 소음 공해와 토지 강제 이전 등의 문제에 직면한다.
기업의 지속가능성 주장과 달리 현실은 먼 기술 거대기업을 위한 자원 약탈의 연장선이다.
5. OpenAI가 배포를 가속화하면서 안전성과 상업화 간 내부 갈등이 심화되었다.
성공하려면 세 부족이 하나의 부족으로 단결하되 각 부족의 강점을 유지하며 인류에 최대 이익이 되는 AGI를 향해 나아가야 한다.
OpenAI 내 파벌. 초기부터 OpenAI는 ‘탐색적 연구’(능력 향상), ‘안전’(위험 중점), ‘스타트업’(빠른 실행과 제품 개발)으로 구분되는 내부 분열이 존재했다. 이들은 우선순위와 개발 속도를 두고 자주 충돌했다.
안전 우려 vs 제품 긴급성. ‘안전’ 파벌, 특히 재앙적·실존적 위험에 집중하는 ‘두머’들은 GPT-3, DALL-E 2 같은 모델이 충분한 테스트나 안전장치 없이 급속히 배포되는 것에 점점 더 우려를 표명하며 신중한 접근과 지연을 주장했다.
상업적 압력이 우세했다. 투자와 수익 필요성에 힘입은 ‘응용’ 부서와 ‘스타트업’ 파벌은 빠른 제품 출시(‘반복적 배포’)를 밀어붙였다.
- GPT-3 API는 안전 우려에도 출시되었고,
- DALL-E 2는 위험 관리를 위해 ‘연구 미리보기’로 공개되었으며,
- ChatGPT는 경쟁 심화에 밀려 서둘러 출시되었다.
이 과정에서 안전 우려는 종종 무시되었고, 이에 반발한 주요 안전 연구자들이 회사를 떠나는 결과를 낳았다.
6. 샘 알트만의 리더십 스타일은 야망, 거래 능력, 그리고 조작 의혹으로 성공과 혼란을 동시에 불러일으켰다.
“샘은 권력을 얻는 데 매우 능하다.”
야망과 네트워크 구축. 샘 알트만은 끊임없는 야망과 거래 능력, 강력한 네트워크 구축에 전략적 집중을 보였다. 그는 Y콤비네이터에서의 위치와 피터 틸, 리드 호프만 등과의 관계를 활용해 자신의 경력과 OpenAI의 위상을 높였다.
모순된 행동. 알트만은 카리스마 있고 겉으로는 호의적이지만 불안에 시달리며 각기 다른 사람에게 원하는 말을 하는 경향이 있었다. 이로 인해 동료와 파트너 사이에 혼란과 불신, 갈등이 생겼다.
- 마이크로소프트와의 합의를 잘못 전달하고,
- 경영진 간 대립을 조장하며(예: 수츠케버와 파초키),
- 자신에게 도전하는 이들을 약화시켰다.
이러한 행동은 개별적으로는 미묘하지만 최고위층에 불안정성을 만연시켰다.
부정직과 학대 의혹. 그의 여동생 애니 알트만과 전 동료 제프리 어빙 등의 고발은 조작, 부정직, 학대의 오랜 역사를 드러낸다. 알트만과 가족은 이를 부인하지만, 일부에서는 그의 개인적 행태가 강력한 AI 기업 리더십에 심각한 문제를 야기한다고 본다.
7. 2023년 이사회 위기는 AI 개발 최상위에서의 권력 투쟁과 거버넌스 실패를 적나라하게 드러냈다.
소수 실리콘밸리 엘리트 간 권력 다툼이 AI의 미래를 얼마나 크게 좌우하는지 가장 명확히 보여주었다.
이사회의 우려. 비영리 이사회는 사명을 이윤보다 우선시해야 하지만, 샘 알트만의 리더십 스타일과 솔직하지 못한 태도, 회사 안전 문화를 훼손하는 행동에 점점 우려를 표했다. 일리야 수츠케버, 미라 무라티 등 고위 경영진의 피드백이 이를 뒷받침했다.
해임과 파장. 이사회가 알트만을 해임하자 5일간 혼란이 이어졌다.
- 직원들은 대규모 사직을 위협했고,
- 투자자들은 이사회의 복귀 압박을 가했으며,
- 마이크로소프트는 공개적으로 알트만을 지지하고 퇴사 직원들에게 일자리를 제안했다.
이 같은 강력한 반발은 이사회가 알트만의 영향력과 직원들의 충성심을 과소평가했음을 드러냈다.
거버넌스 실패. 이번 위기는 OpenAI의 독특한 거버넌스 구조가 얼마나 취약한지 보여주었다. 비영리 이사회는 명령에도 불구하고 자본 세력과 회사 붕괴 위협에 굴복했다. 전 세계적 영향을 미치는 기술에 관한 중대한 결정이 소수에 의해 비밀리에 이루어지고 직원에게도 투명하지 않다는 사실을 확인시켰다.
8. OpenAI는 기존 강자와 최첨단 모델에 유리한 AI 정책을 적극적으로 형성하며 현재의 피해는 종종 무시한다.
알트만의 준비팀은 이를 대성공으로 평가했다.
정책 영향력 캠페인. ChatGPT 성공 이후 샘 알트만과 OpenAI는 전 세계 정책 입안자들과 만나 AI 규제를 형성하기 위한 공격적 로비를 벌였다. 알트만의 의회 증언은 OpenAI를 책임감 있는 리더로 자리매김하는 중요한 순간이었다.
‘최첨단’ 위험에 집중. OpenAI의 정책 제안은 구글, Anthropic 등이 참여한 ‘최첨단 모델 포럼’과 함께 고성능 AI가 초래할 미래의 잠재적 재앙적 위험 규제에 초점을 맞춘다. 이는 현재 AI 시스템이 초래하는 노동 착취, 환경 비용, 편향과 차별, 저작권 침해, 데이터 프라이버시 위반 등 즉각적이고 문서화된 피해 규제에서 관심을 돌리게 한다.
컴퓨팅 임계값과 수출 통제. ‘최첨단’ 모델 식별을 위한 컴퓨팅 임계값(예: 10^26 FLOPs) 사용과 수출 제한(오픈소스 모델 가중치 금지 가능성) 같은 핵심 제안은 OpenAI의 스케일링 전략과 경쟁 이익에 부합한다. 이는 막대한 컴퓨팅 자원을 가진 기업의 지배를 공고히 하면서 독립적 연구와 개발을 저해할 위험이 있다.
9. ‘AI 제국’ 은유는 역사적 식민주의와 자원 착취와의 불편한 유사성을 드러낸다.
수년간 나는 이 AI 권력자들의 본질을 가장 잘 담아내는 은유를 하나 발견했다. 바로 ‘제국’이다.
자원 착취. 역사적 제국처럼 AI 기업들은 귀중한 자원을 탈취한다.
- 예술가, 작가, 온라인 사용자들의 작업(데이터),
- 전 세계 저임금 노동자의 노동력(데이터 주석, 콘텐츠 검열),
- 데이터 센터와 하드웨어를 위한 토지, 에너지, 물, 광물.
이 착취는 종종 동의나 공정한 보상, 지역 사회와 환경에 대한 고려 없이 이루어진다.
서사로서의 정당화. AGI 추구와 더 나은 미래(‘현대성’, ‘진보’, ‘풍요’) 약속은 이 착취와 착취를 정당화하는 강력한 서사로 작용한다. 이는 역사적 제국들이 ‘문명화 사명’ 같은 개념으로 자신들의 행위를 합리화한 것과 닮았다.
부와 권력의 집중. 이 체계의 이익은 실리콘밸리 소수 엘리트와 연합 기업에 불균형적으로 집중되며, 비용은 전 세계 취약 계층이 부담한다. ‘AI 경쟁’에서 경쟁자를 압도하려는 끊임없는 추진은 이 착취적 역학을 강화해 권력과 부를 상층에 집중시킨다.
10. AI 개발에 대한 대안적 비전은 분산화되고 윤리적이며 공동체 주도의 기술로 나아가는 길을 제시한다.
인공지능은 오늘날의 모습일 필요가 없다.
지배적 패러다임에 대한 저항. 전 세계 커뮤니티와 조직들은 중앙집중적이고 자원 집약적이며 착취적인 AI 개발 모델에 도전한다. 이들은 AI가 인간 복지와 환경 지속가능성을 우선시하는 방식으로 개발될 수 있다고 주장한다.
대안적 접근 사례들:
- 공동체 주도 AI: 뉴질랜드의 Te Hiku Media는 공동체 동의, 상호성, 데이터 주권에 기반한 소규모 과제 특화 모델(예: 음성 인식)을 개발한다.
- 윤리적 연구 기관: DAIR(분산 AI 연구소) 같은 조직은 영향을 받는 공동체 중심의 AI 연구를 수행하며 기존 시스템에 의문을 제기하고 노동에 공정한 보상을 제공한다.
- 활동가 운동: 칠레의 MOSACAT은 데이터 센터의 환경 영향을 반대하며 자원에 대한 지역 통제를 주장하고 생태 복원과 통합된 AI 인프라를 구상한다.
권력 재분배. 이 노력들은 중앙집중적 AI 제국에서 권력을 분산시키려 한다.
- 독립적 지식 생산과 연구 촉진,
- 데이터, 모델, 공급망에 대한 투명성 요구,
- 노동 및 환경 보호 강화 촉구,
- 국경을 넘는 연대와 조직화를 통한 집단적 힘 구축.
이 비전은 AI 개발을 보다 민주적이고 공평하며 지속가능한 미래로 재구성하고자 한다.
자주 묻는 질문
What is Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI by Karen Hao about?
- In-depth OpenAI profile: The book offers a comprehensive look at OpenAI’s rise, internal power struggles, and the broader implications of its work on artificial intelligence.
- Focus on power and governance: It examines how a small group of tech elites, led by Sam Altman, shape the future of AI, highlighting the tension between idealistic missions and commercial pressures.
- Societal and global impact: Karen Hao explores AI’s effects on labor, the environment, and the concentration of wealth and influence, framing AI development as a new form of empire-building.
- Insider access: The narrative is based on over 300 interviews and extensive documentation, providing rare behind-the-scenes insights into OpenAI and the global AI industry.
Why should I read Empire of AI by Karen Hao?
- Reveals hidden complexities: The book uncovers the human, ethical, and political struggles behind AI’s development, challenging simplistic narratives of technological progress.
- Societal and ethical context: Readers gain awareness of the real-world costs of AI, including labor exploitation, environmental harm, and the marginalization of vulnerable communities.
- Nuanced leadership portrait: It provides a balanced, detailed view of Sam Altman and OpenAI’s internal politics, showing how personalities and corporate culture shape AI’s trajectory.
- Alternative perspectives: The book introduces community-driven AI projects and movements, offering hope for more ethical and inclusive AI futures.
What are the key takeaways from Empire of AI by Karen Hao?
- AI is political: Progress in AI is driven by the ambitions and conflicts of a few powerful individuals and corporations, not just scientific merit.
- Scaling and its costs: OpenAI’s doctrine of scaling compute and data to achieve AGI fuels a costly, competitive race with significant social and environmental consequences.
- Concentration of benefits and harms: The rewards of AI are concentrated among elites, while workers and marginalized groups bear the burdens.
- Transparency and governance challenges: OpenAI’s shift from openness to secrecy illustrates the difficulties of responsible AI governance in a high-stakes environment.
- Possibility of alternatives: The book argues for diverse AI approaches and stronger policies to democratize AI’s benefits and mitigate its harms.
Who is Sam Altman and how is he portrayed in Empire of AI by Karen Hao?
- Central figure and CEO: Sam Altman is the CEO and cofounder of OpenAI, depicted as a charismatic, ambitious, and sometimes controversial leader.
- Complex personality: The book explores Altman’s background, personal traits, and leadership style, highlighting his ambition, sensitivity, and tendency toward secrecy and manipulation.
- Power struggles: Altman’s decisions, including his brief ouster and reinstatement, exemplify the intense internal conflicts and governance challenges at OpenAI.
- Public image vs. reality: While Altman carefully curates his public persona, the book reveals the anxieties and contradictions beneath his leadership.
What is OpenAI’s mission and how has it evolved according to Empire of AI?
- Original nonprofit mission: OpenAI was founded to develop artificial general intelligence (AGI) for the benefit of all humanity, emphasizing openness and collaboration.
- Shift to for-profit model: Financial pressures led to the creation of a capped-profit partnership, allowing OpenAI to raise billions while still claiming to prioritize its mission.
- Erosion of ideals: Over time, commitments to transparency and altruism gave way to secrecy, commercialization, and competitive urgency.
- Mission as justification: The mission is often invoked to rationalize rapid scaling and secrecy, with the belief that being first is essential to ensuring beneficial AI outcomes.
What is artificial general intelligence (AGI) and how is it portrayed in Empire of AI by Karen Hao?
- Definition of AGI: AGI refers to highly autonomous AI systems that outperform humans at most economically valuable work, representing the theoretical pinnacle of AI research.
- Uncertain and aspirational goal: The book emphasizes that AGI is an amorphous, largely unknowable target, with no clear markers for success or timeline.
- Scaling hypothesis: OpenAI’s leadership, especially Ilya Sutskever, believes AGI will emerge primarily through scaling simple neural networks with massive compute and data.
- Rhetorical tool: AGI serves as a powerful narrative to justify OpenAI’s aggressive resource consumption and secrecy, even as current AI systems fall short of true general intelligence.
What are the “scaling laws” and “OpenAI’s Law” described in Empire of AI by Karen Hao?
- OpenAI’s Law: This term describes the rapid doubling of compute used in AI breakthroughs, far outpacing Moore’s Law and requiring massive computational resources.
- Scaling laws: These are empirical relationships showing how AI model performance improves predictably with increases in training data, compute, and model size.
- Strategic importance: Scaling laws underpin OpenAI’s focus on building ever-larger models like GPT-3 and GPT-4, driving its resource-intensive approach.
- Consequences: The pursuit of scaling leads to enormous financial, environmental, and social costs, and creates a high-stakes race that shapes the entire AI industry.
How does Empire of AI by Karen Hao describe the role of human labor and data annotation in AI development?
- Foundational human labor: The book reveals that AI models rely heavily on low-paid annotators, often in the Global South, who label data and moderate content under harsh conditions.
- Exploitation and precarity: Workers face unstable pay, psychological harm, and limited protections, with companies exploiting crises in countries like Kenya and Venezuela to source cheap labor.
- Invisible but essential: Despite their critical role in AI’s success, these workers remain largely invisible and unsupported, highlighting a hidden supply chain.
- Calls for reform: The book discusses organizing efforts and research initiatives advocating for fair pay and labor rights in the AI industry.
What environmental and resource impacts of AI are highlighted in Empire of AI by Karen Hao?
- Massive energy consumption: Training and running large AI models require enormous computing power, leading to significant carbon emissions and energy use.
- Water and land use: Data centers consume vast amounts of water for cooling and occupy large land areas, often in vulnerable or marginalized communities.
- Extractivism and local harm: Mining for resources like lithium and copper, especially in places like Chile’s Atacama Desert, disrupts ecosystems and displaces Indigenous communities.
- Corporate greenwashing: Tech companies often downplay environmental harms, promoting efficiency narratives while lacking transparency about AI’s true carbon footprint.
What were the key events and lessons from the OpenAI board crisis in Empire of AI by Karen Hao?
- Altman’s firing and reinstatement: In November 2023, OpenAI’s board abruptly fired CEO Sam Altman, citing concerns about his leadership and honesty, but reinstated him after employee and investor backlash.
- Internal divisions: The crisis exposed deep fractures within OpenAI’s leadership, including conflicts among Altman, Greg Brockman, Ilya Sutskever, and Mira Murati.
- Governance failures: The board struggled with oversight, lacked independent legal support, and faced challenges in holding Altman accountable.
- Aftermath: The episode led to resignations, loss of trust, and highlighted the precarious balance of power in governing a powerful AI company.
How does Empire of AI by Karen Hao address AI safety and the ideological divide within OpenAI?
- Safety vs. speed: The book describes a factional split between those prioritizing AI safety (“Doomers”) and those pushing for rapid deployment and commercialization (“Boomers”).
- Superalignment and preparedness: OpenAI launched initiatives like Superalignment and the Preparedness Framework to evaluate and mitigate dangerous AI capabilities, but these were often rushed or deprioritized.
- Internal conflict: Safety advocates clashed with leadership, leading to departures of key researchers and raising concerns about the company’s commitment to responsible AI.
- Broader implications: The book underscores the need for independent oversight, transparency, and whistleblower protections to ensure AI safety.
What is reinforcement learning from human feedback (RLHF) and how is it explained in Empire of AI by Karen Hao?
- Definition and purpose: RLHF is a technique where human contractors provide examples and rank AI outputs to teach models to produce more helpful, truthful, and harmless responses.
- Process details: Workers write ideal answers to prompts and rank multiple AI-generated responses, allowing the model to learn from this feedback and adjust its outputs.
- Impact on AI models: RLHF was central to developing InstructGPT, ChatGPT, and GPT-4’s chat capabilities, improving usability and safety.
- Limitations: Despite its benefits, RLHF cannot fully eliminate errors or hallucinations, as neural networks inherently produce probabilistic outputs.
What are some of the best quotes from Empire of AI by Karen Hao and what do they mean?
- On explaining AI: Joseph Weizenbaum’s quote, “It is said that to explain is to explain away... its magic crumbles away,” highlights the tension between AI’s perceived intelligence and its mechanistic reality.
- On success and vision: Sam Altman’s statement, “Successful people create companies. More successful people create countries. The most successful people create religions,” reflects his view of tech founders as visionaries shaping belief systems.
- On OpenAI’s mission: Altman wrote, “Building AGI that benefits humanity is perhaps the most important project in the world... We must put the mission ahead of any individual preferences,” underscoring the company’s framing of its work as a historic, collective endeavor.
- On AI’s future: Altman predicted,
PDF 다운로드
EPUB 다운로드
.epub digital book format is ideal for reading ebooks on phones, tablets, and e-readers.
