重要ポイント
1. OpenAIの理想主義的な創設は、権力と利益追求へと急速に変質した。
OpenAIは設立から4年の間に、自らが否定したはずの姿へと変貌を遂げた。
初期の利他主義。 イーロン・マスクやサム・アルトマンらによって非営利組織として設立されたOpenAIは、人工汎用知能（AGI）を人類の利益のために開発することを掲げ、透明性や協力、さらには他のプロジェクトに追い越された場合の自己犠牲も辞さない姿勢を示していた。目標は、Googleのような単一企業によるAGIの独占を防ぐことにあった。
商業化への転換。 マスクの離脱後、財政的圧力と内部の権力闘争が激化し、アルトマンはOpenAIを「利益上限付き」企業へと再編した。これにより、マイクロソフトからの10億ドルの投資を含む巨額の資金調達が可能となったが、同時に創設時の理念から逸脱し、AGI開発の先陣を切ることを最優先にした攻撃的な商業化と秘密主義へと舵を切った。
理念の崩壊。 この変化は明確に当初の使命からの逸脱を示すものであった。
- 透明性は秘密主義に取って代わられ、
- 協力は激しい競争に変わり、
- 研究の公開から、ChatGPTのような収益性の高い製品開発と巨額の企業価値追求へと焦点が移った。
この変貌は、表向きの高尚な理念の裏に、自己顕示欲と支配欲が強く働いていることを浮き彫りにした。
2. AIモデルの果てしないスケーリングがOpenAIの中核戦略となり、それは自己成就的予言に支えられていた。
OpenAIの法則、後により過熱した「スケーリング則」へと置き換えられたものは、自然現象ではなく自己成就的予言に過ぎない。
スケーリング仮説。 2012年のImageNet突破以降、計算資源（コンピュート）増加に伴いAI性能が向上することに着目し、特にイリヤ・サツケバーやグレッグ・ブロックマンらは、単純なニューラルネットワークを前例のない規模に拡大することがAGIへの最速の道だと理論化した。AIにおけるコンピュートの増加速度はムーアの法則を凌駕していた。
膨大な計算資源の必要性。 この仮説は、非営利組織の枠を超えたGPUやスーパーコンピュータの飽くなき需要を生み出した。
- GPT-3の訓練には1万台のGPUを備えたスーパーコンピュータが必要で、
- GPT-4以降のモデルは数万から数十万台が見込まれ、
- 将来的な「フェーズ5」スーパーコンピュータのコストは1000億ドルに達する可能性がある。
この資本とインフラの膨張は、営利モデルへの転換とマイクロソフトなどのパートナー依存を決定づけた。
戦略的必然性。 スケーリングは単なる技術的手法を超え、ビジネス戦略となった。
- 先行または最高であることがスケーリング曲線の先端を維持することを意味し、
- 遅れればAGI開発における影響力を失う。
「スケール至上主義」はAIの新時代のルールを定め、代替手法や潜在的なリスクを顧みず、業界全体を資源集約的な競争へと駆り立てた。
3. AI帝国の成長は、脆弱な世界の労働力を搾取したデータ注釈に支えられている。
技術が生産性を高め、経済的自由を解放し、自動化の悪影響を緩和する新たな雇用を創出すると約束されてきたが、現実はその真逆であった。
隠れた労働力。 特に大規模言語モデルの訓練には、膨大な人手によるデータ収集、クリーニング、注釈作業が必要である。この「ゴーストワーク」は、経済的困窮に直面する国々の低賃金労働者にアウトソースされることが多い。
危機経済における搾取。 Scale AIやSamaなどの企業は、ベネズエラの経済崩壊やケニアのパンデミック影響といった危機を利用し、わずかな賃金で過酷かつ精神的負担の大きい作業を引き受ける労働者を確保している。
- ベネズエラの労働者はRemotasksで時給1ドル未満で働き、
- ケニアの労働者はOpenAIの有害コンテンツフィルタリングで時給2ドル未満だった。
この不安定な労働力への依存は、歴史的な植民地主義における被支配者の搾取を彷彿とさせる。
「データ沼」の代償。 フィルタリングされていない膨大なデータセット（「データ沼」）での訓練への移行は、コンテンツモデレーションや人間のフィードバックによる強化学習（RLHF）の必要性を高めた。これにより労働者は児童性的虐待資料を含む衝撃的なコンテンツに曝され、適切な支援や公正な報酬なしに深刻な精神的健康被害を被っている。
4. AI帝国の構築は膨大な資源を要求し、世界的に重大な環境負荷をもたらしている。
従来通りの方法でこの技術を開発し続ければ、地球は壊滅的な被害を受けるだろう。
物理的インフラ。 大規模生成モデルは、訓練と推論のために巨大なデータセンター（「ハイパースケーラー」や「メガキャンパス」）を必要とし、これらは膨大なエネルギー、土地、鉱物、水資源を消費する。
環境負荷の急増。 スケーリングに伴い資源需要は指数関数的に増大している。
- 2030年までに米国の電力消費の8％をデータセンターが占めると予測され、
- 世界のAI計算はインドのエネルギー消費を上回る可能性があり、
- 2027年までにAI需要は世界で1.1兆～1.7兆ガロンの淡水を消費すると見込まれている。
この資源集約は気候変動を悪化させ、水不足地域の環境負荷を増大させている。
不均衡な影響。 環境負荷は主に、安価な土地・エネルギー・水を求めてデータセンターが建設されるグローバルサウスの地域社会に集中している。これらの地域は歴史的な資源搾取の影響を受けており、
- 水源の枯渇、
- 地元電力網への過剰負荷、
- 騒音公害や土地の強制移転
といった問題に直面している。企業の持続可能性の主張とは裏腹に、実態は遠隔の巨大テック企業の利益のための資源略奪の継続である。
5. OpenAIの展開加速に伴い、安全性と商業化を巡る内部対立が激化した。
成功には、三つの派閥がそれぞれの強みを保ちつつ一つの部族として団結し、人類に最大限利益をもたらすAGIを目指す必要がある。
OpenAI内部の派閥。 創設当初から、OpenAIは「探索的研究」（能力向上）、「安全性」（リスク重視）、「スタートアップ」（迅速な製品開発）という三つの派閥に分かれ、優先順位や開発速度を巡って対立していた。
安全性懸念と製品開発の緊急性。 特に破滅的・存在論的リスクに注目する「安全性」派は、GPT-3やDALL-E 2の急速なスケーリングと展開に対し、十分なテストや安全対策がないことを懸念し、慎重な対応と遅延を主張した。
商業的圧力の勝利。 投資と収益の必要性に支えられた「応用」部門と「スタートアップ」派は、迅速な製品リリース（「反復的展開」）を推進した。
- GPT-3 APIは安全性懸念を押し切って公開され、
- DALL-E 2はリスク管理のため「研究プレビュー」としてローンチされ、
- ChatGPTは競争意識から急遽リリースされた。
これらの決定は安全性の反対意見をしばしば覆し、懸念が軽視されたと感じた主要な安全研究者の離脱を招いた。
6. サム・アルトマンのリーダーシップは、野心、交渉力、そして操作的とも言われる手法に彩られ、成功と混乱の両面を生んだ。
サムは「権力を手に入れることに非常に長けている」。
野心とネットワーク構築。 アルトマンは飽くなき野心と交渉力を持ち、Yコンビネータでの地位やピーター・ティール、リード・ホフマンらとの関係を巧みに活用し、自身とOpenAIの影響力を拡大した。
矛盾する行動。 カリスマ的で表向きは協調的だが、不安傾向があり、相手に合わせて異なる言葉を使う傾向があった。これが同僚やパートナー間の混乱、不信、対立を生み、
- マイクロソフトとの合意を誤って伝え、
- 幹部同士（サツケバーとパチョッキ）を対立させ、
- 自身に異議を唱える者を排除するなどの行動が見られた。
これらは個別には微妙でも、組織の上層部に不安定さをもたらした。
不誠実や虐待の疑惑。 妹のアニー・アルトマンや元同僚ジェフリー・アーヴィングらからは、長年にわたる操作的、虚偽的、虐待的な行動の疑惑が指摘されている。本人と家族は否定しているが、一部には彼の個人的行動が強力なAI企業のリーダーとして問題視されるべきだとの見方もある。
7. 2023年の取締役会危機は、AI開発の頂点における深刻な権力闘争とガバナンスの失敗を露呈した。
これは、わずかなシリコンバレーのエリート間の権力争いがAIの未来を形作っていることを最も明確に示した。
取締役会の懸念。 非営利の使命優先を担うOpenAIの取締役会は、アルトマンのリーダーシップスタイル、率直さの欠如、取締役会の監督や安全文化を損なう行動に懸念を強めた。イリヤ・サツケバーやミラ・ムラティら幹部からのフィードバックがこれを裏付けた。
解任と混乱。 取締役会のアルトマン解任決定は、5日間にわたる混乱を引き起こした。
- 従業員は大量辞職を示唆し、
- 投資家は取締役会に復帰を圧力をかけ、
- マイクロソフトは公然とアルトマンを支持し、離職者に雇用を提供した。
この迅速かつ圧倒的な反発は、取締役会がアルトマンの影響力と従業員や主要関係者の忠誠心を過小評価していたことを示した。
ガバナンスの失敗。 この危機はOpenAI独自のガバナンス構造の脆弱性を露呈した。使命を担う非営利取締役会は、資金力のある利害関係者や企業崩壊の脅威に屈し、世界的影響を持つ技術の重要決定が少数の閉鎖的なグループによって、従業員にもほとんど透明性なく行われている現実を浮き彫りにした。
8. OpenAIは政策形成に積極的に関与し、既存勢力と最先端モデルに有利な規制を推進し、現実の被害を軽視している。
アルトマンの準備チームはこれを大成功と評価した。
政策影響キャンペーン。 ChatGPTの成功後、アルトマンとOpenAIは世界中の政策立案者と会談し、AI規制の形成に積極的に働きかけた。アルトマンの議会証言は、OpenAIを責任あるリーダーとして位置づける重要な瞬間となった。
「フロンティア」リスクへの注力。 OpenAIの政策提案は、GoogleやAnthropicを含む「フロンティアモデルフォーラム」と共鳴し、高度な「フロンティア」AIモデルによる将来的な壊滅的リスクの規制に焦点を当てている。これにより、
- 労働の置き換えや搾取、
- 環境負荷、
- バイアスや差別、
- 著作権侵害やデータプライバシー違反
といった既存AIシステムの即時的かつ実証された被害の規制は後景化されている。
計算資源閾値と輸出規制。 例えば10^26 FLOPsの計算資源閾値で「フロンティア」モデルを特定し、その輸出を制限（オープンソースモデルの重みの禁止も含む）する提案は、OpenAIのスケーリング戦略と競争利益に合致している。これにより、巨大な計算資源を持つ企業の支配が強化され、独立した研究開発が阻害されるリスクがある。
9. 「AI帝国」という比喩は、歴史的な植民地主義と資源搾取との不穏な類似を示している。
長年にわたり、これらAI権力者の本質を表す比喩は「帝国」以外に見つからなかった。
資源の搾取。 歴史的帝国のように、AI企業は以下の貴重な資源を奪い取り、搾取している。
- 芸術家、作家、オンライン利用者の労働（データ）、
- 世界中の低賃金労働者の労働（データ注釈、コンテンツモデレーション）、
- データセンターやハードウェアのための土地、エネルギー、水、鉱物。
これらの搾取は、同意や公正な報酬、地域社会や環境への配慮なしに行われていることが多い。
物語による正当化。 AGI追求とより良い未来（「近代性」「進歩」「豊かさ」）の約束は、この搾取と搾取を正当化する強力な物語として機能している。これは歴史的帝国が「文明化使命」などの概念で行動を正当化した構図と重なる。
富と権力の集中。 このシステムの利益はシリコンバレーの少数エリートと提携企業に偏在し、コストは世界の脆弱な人々が負っている。AIレースでの競争激化はこの搾取的ダイナミクスを加速し、権力と富の集中をさらに強めている。
10. AI開発の代替的ビジョンは、分散型で倫理的、コミュニティ主導の技術への道を示している。
人工知能は、現在の姿である必要はない。
支配的パラダイムへの抵抗。 世界中のコミュニティや組織は、中央集権的で資源集約的かつ搾取的な現行モデルに異議を唱え、人間の福祉と環境持続性を優先する別のAI開発を提唱している。
代替的アプローチの例。
- コミュニティ主導AI： ニュージーランドのTe Hiku Mediaは、コミュニティの同意、相互性、データ主権に基づき、小規模で特定タスク向けのモデル（例：音声認識）を開発している。
- 倫理的研究機関： DAIR（分散型AI研究所）などは、影響を受けるコミュニティを中心に据え、既存システムに疑問を投げかけ、労働に公正な報酬を提供しながら研究を行う。
- 活動家運動： チリのMOSACATは、データセンターの環境影響に反対し、資源の地域管理を求め、生態系回復と統合したAIインフラを構想している。
権力の再分配。 これらの取り組みは、中央集権的なAI帝国から権力を分散させることを目指し、
- 独立した知識生産と研究を促進し、
- データ、モデル、サプライチェーンの透明性を要求し、
- 労働者と環境の保護強化を訴え、
- 国境を越えた連帯と組織化による集合的力を築く。
このビジョンは、より民主的で公平かつ持続可能なAIの未来を形作ろうとしている。
レビューまとめ
『Empire of AI』は賛否両論の評価を受けている。本書はOpenAIとサム・アルトマンに関する調査報道が高く評価される一方で、偏向的で技術的な深掘りが不足しているとの批判もある。AIの環境影響や労働問題に関する暴露を評価する読者もいれば、過度に批判的でイデオロギー的な主張に偏っていると感じる読者もいる。物語の構成や個人の詳細に焦点を当てる点も議論を呼んでいる。総じて、OpenAIの発展過程やAI業界の実態に関する洞察は評価されているものの、本書の視点や結論については意見が分かれている。
よくある質問
What is Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI by Karen Hao about?
- In-depth OpenAI profile: The book offers a comprehensive look at OpenAI’s rise, internal power struggles, and the broader implications of its work on artificial intelligence.
- Focus on power and governance: It examines how a small group of tech elites, led by Sam Altman, shape the future of AI, highlighting the tension between idealistic missions and commercial pressures.
- Societal and global impact: Karen Hao explores AI’s effects on labor, the environment, and the concentration of wealth and influence, framing AI development as a new form of empire-building.
- Insider access: The narrative is based on over 300 interviews and extensive documentation, providing rare behind-the-scenes insights into OpenAI and the global AI industry.
Why should I read Empire of AI by Karen Hao?
- Reveals hidden complexities: The book uncovers the human, ethical, and political struggles behind AI’s development, challenging simplistic narratives of technological progress.
- Societal and ethical context: Readers gain awareness of the real-world costs of AI, including labor exploitation, environmental harm, and the marginalization of vulnerable communities.
- Nuanced leadership portrait: It provides a balanced, detailed view of Sam Altman and OpenAI’s internal politics, showing how personalities and corporate culture shape AI’s trajectory.
- Alternative perspectives: The book introduces community-driven AI projects and movements, offering hope for more ethical and inclusive AI futures.
What are the key takeaways from Empire of AI by Karen Hao?
- AI is political: Progress in AI is driven by the ambitions and conflicts of a few powerful individuals and corporations, not just scientific merit.
- Scaling and its costs: OpenAI’s doctrine of scaling compute and data to achieve AGI fuels a costly, competitive race with significant social and environmental consequences.
- Concentration of benefits and harms: The rewards of AI are concentrated among elites, while workers and marginalized groups bear the burdens.
- Transparency and governance challenges: OpenAI’s shift from openness to secrecy illustrates the difficulties of responsible AI governance in a high-stakes environment.
- Possibility of alternatives: The book argues for diverse AI approaches and stronger policies to democratize AI’s benefits and mitigate its harms.
Who is Sam Altman and how is he portrayed in Empire of AI by Karen Hao?
- Central figure and CEO: Sam Altman is the CEO and cofounder of OpenAI, depicted as a charismatic, ambitious, and sometimes controversial leader.
- Complex personality: The book explores Altman’s background, personal traits, and leadership style, highlighting his ambition, sensitivity, and tendency toward secrecy and manipulation.
- Power struggles: Altman’s decisions, including his brief ouster and reinstatement, exemplify the intense internal conflicts and governance challenges at OpenAI.
- Public image vs. reality: While Altman carefully curates his public persona, the book reveals the anxieties and contradictions beneath his leadership.
What is OpenAI’s mission and how has it evolved according to Empire of AI?
- Original nonprofit mission: OpenAI was founded to develop artificial general intelligence (AGI) for the benefit of all humanity, emphasizing openness and collaboration.
- Shift to for-profit model: Financial pressures led to the creation of a capped-profit partnership, allowing OpenAI to raise billions while still claiming to prioritize its mission.
- Erosion of ideals: Over time, commitments to transparency and altruism gave way to secrecy, commercialization, and competitive urgency.
- Mission as justification: The mission is often invoked to rationalize rapid scaling and secrecy, with the belief that being first is essential to ensuring beneficial AI outcomes.
What is artificial general intelligence (AGI) and how is it portrayed in Empire of AI by Karen Hao?
- Definition of AGI: AGI refers to highly autonomous AI systems that outperform humans at most economically valuable work, representing the theoretical pinnacle of AI research.
- Uncertain and aspirational goal: The book emphasizes that AGI is an amorphous, largely unknowable target, with no clear markers for success or timeline.
- Scaling hypothesis: OpenAI’s leadership, especially Ilya Sutskever, believes AGI will emerge primarily through scaling simple neural networks with massive compute and data.
- Rhetorical tool: AGI serves as a powerful narrative to justify OpenAI’s aggressive resource consumption and secrecy, even as current AI systems fall short of true general intelligence.
What are the “scaling laws” and “OpenAI’s Law” described in Empire of AI by Karen Hao?
- OpenAI’s Law: This term describes the rapid doubling of compute used in AI breakthroughs, far outpacing Moore’s Law and requiring massive computational resources.
- Scaling laws: These are empirical relationships showing how AI model performance improves predictably with increases in training data, compute, and model size.
- Strategic importance: Scaling laws underpin OpenAI’s focus on building ever-larger models like GPT-3 and GPT-4, driving its resource-intensive approach.
- Consequences: The pursuit of scaling leads to enormous financial, environmental, and social costs, and creates a high-stakes race that shapes the entire AI industry.
How does Empire of AI by Karen Hao describe the role of human labor and data annotation in AI development?
- Foundational human labor: The book reveals that AI models rely heavily on low-paid annotators, often in the Global South, who label data and moderate content under harsh conditions.
- Exploitation and precarity: Workers face unstable pay, psychological harm, and limited protections, with companies exploiting crises in countries like Kenya and Venezuela to source cheap labor.
- Invisible but essential: Despite their critical role in AI’s success, these workers remain largely invisible and unsupported, highlighting a hidden supply chain.
- Calls for reform: The book discusses organizing efforts and research initiatives advocating for fair pay and labor rights in the AI industry.
What environmental and resource impacts of AI are highlighted in Empire of AI by Karen Hao?
- Massive energy consumption: Training and running large AI models require enormous computing power, leading to significant carbon emissions and energy use.
- Water and land use: Data centers consume vast amounts of water for cooling and occupy large land areas, often in vulnerable or marginalized communities.
- Extractivism and local harm: Mining for resources like lithium and copper, especially in places like Chile’s Atacama Desert, disrupts ecosystems and displaces Indigenous communities.
- Corporate greenwashing: Tech companies often downplay environmental harms, promoting efficiency narratives while lacking transparency about AI’s true carbon footprint.
What were the key events and lessons from the OpenAI board crisis in Empire of AI by Karen Hao?
- Altman’s firing and reinstatement: In November 2023, OpenAI’s board abruptly fired CEO Sam Altman, citing concerns about his leadership and honesty, but reinstated him after employee and investor backlash.
- Internal divisions: The crisis exposed deep fractures within OpenAI’s leadership, including conflicts among Altman, Greg Brockman, Ilya Sutskever, and Mira Murati.
- Governance failures: The board struggled with oversight, lacked independent legal support, and faced challenges in holding Altman accountable.
- Aftermath: The episode led to resignations, loss of trust, and highlighted the precarious balance of power in governing a powerful AI company.
How does Empire of AI by Karen Hao address AI safety and the ideological divide within OpenAI?
- Safety vs. speed: The book describes a factional split between those prioritizing AI safety (“Doomers”) and those pushing for rapid deployment and commercialization (“Boomers”).
- Superalignment and preparedness: OpenAI launched initiatives like Superalignment and the Preparedness Framework to evaluate and mitigate dangerous AI capabilities, but these were often rushed or deprioritized.
- Internal conflict: Safety advocates clashed with leadership, leading to departures of key researchers and raising concerns about the company’s commitment to responsible AI.
- Broader implications: The book underscores the need for independent oversight, transparency, and whistleblower protections to ensure AI safety.
What is reinforcement learning from human feedback (RLHF) and how is it explained in Empire of AI by Karen Hao?
- Definition and purpose: RLHF is a technique where human contractors provide examples and rank AI outputs to teach models to produce more helpful, truthful, and harmless responses.
- Process details: Workers write ideal answers to prompts and rank multiple AI-generated responses, allowing the model to learn from this feedback and adjust its outputs.
- Impact on AI models: RLHF was central to developing InstructGPT, ChatGPT, and GPT-4’s chat capabilities, improving usability and safety.
- Limitations: Despite its benefits, RLHF cannot fully eliminate errors or hallucinations, as neural networks inherently produce probabilistic outputs.
What are some of the best quotes from Empire of AI by Karen Hao and what do they mean?
- On explaining AI: Joseph Weizenbaum’s quote, “It is said that to explain is to explain away... its magic crumbles away,” highlights the tension between AI’s perceived intelligence and its mechanistic reality.
- On success and vision: Sam Altman’s statement, “Successful people create companies. More successful people create countries. The most successful people create religions,” reflects his view of tech founders as visionaries shaping belief systems.
- On OpenAI’s mission: Altman wrote, “Building AGI that benefits humanity is perhaps the most important project in the world... We must put the mission ahead of any individual preferences,” underscoring the company’s framing of its work as a historic, collective endeavor.
- On AI’s future: Altman predicted,
