Ključna zaključka
1. Idealistički početak OpenAI-ja brzo je ustupio mesto potrazi za moći i profitom.
Tokom naredne četiri godine, OpenAI je postao upravo ono što je prvobitno tvrdio da neće biti.
Početni altruizam. Osnovan kao neprofitna organizacija od strane ličnosti poput Elona Maska i Sama Altmana, OpenAI je u startu obećao milijardu dolara za razvoj opšte veštačke inteligencije (AGI) u korist čovečanstva, naglašavajući otvorenost, saradnju, pa čak i spremnost na samoprijegor ukoliko bi neki drugi projekat bio uspešniji. Cilj je bio da se spreči da AGI kontroliše jedna korporacija poput Google-a.
Prelaz ka komercijalizaciji. Finansijski pritisci i unutrašnje borbe za moć, naročito nakon Musk-ovog odlaska, naveli su Altmana da restruktuira OpenAI u entitet sa ograničenim profitom. To je omogućilo prikupljanje značajnog kapitala, uključujući investiciju od milijardu dolara od Microsoft-a, ali je suštinski promenilo kurs ka agresivnoj komercijalizaciji i tajnovitosti, stavljajući prioritet na to da budu prvi u razvoju AGI, umesto da slede prvobitne ideale.
Erozija principa. Ova transformacija jasno je označila odmak od originalne misije.
- Transparentnost je zamenjena tajnošću.
- Saradnja je ustupila mesto oštrijoj konkurenciji.
- Fokus se pomerio sa otvorenih istraživanja na pravljenje unosnih proizvoda poput ChatGPT-a, sa ciljem postizanja ogromnih vrednosti.
Ova promena je pokazala da je projekat, uprkos plemenitim namerama, takođe vođen egom i težnjom za dominacijom.
2. Neumorno povećavanje veličine AI modela postalo je osnovna strategija OpenAI-ja, vođena samoispunjujućom proročanstvom.
OpenAI-jeva zakonitost, ili ono što je kasnije kompanija zamenila još žešćom potragom za takozvanim zakonima skaliranja, je upravo to. Nije prirodni fenomen. To je samoispunjujuće proročanstvo.
Hipoteza skaliranja. Inspirisani opažanjem da performanse AI rastu sa povećanjem računarskih resursa („compute“), naročito nakon proboja na ImageNet-u 2012. godine, lideri OpenAI-ja, posebno Ilja Sutskever i Greg Brokman, teoretisali su da je skaliranje jednostavnih neuronskih mreža do neviđenih veličina najbrži put do AGI-ja. Primećeno je da upotreba računarske snage u AI raste brže od Murovog zakona.
Potrebna ogromna računarska snaga. Ova hipoteza je nametnula nezasitu potrebu za GPU-ovima i superkompjuterima, daleko veću od resursa dostupnih neprofitnoj organizaciji.
- Trening GPT-3 zahtevao je superkompjuter sa 10.000 GPU-ova.
- Budući modeli poput GPT-4 i dalje će zahtevati desetine ili stotine hiljada GPU-ova.
- Procena troškova za budući „Fazu 5“ superkompjutera mogla bi dostići 100 milijardi dolara.
Ova rastuća potreba za kapitalom i infrastrukturom učvrstila je prelaz na profitni model i oslanjanje na partnere poput Microsoft-a.
Strateški imperativ. Skaliranje nije bilo samo tehnički pristup, već i poslovna strategija.
- Biti prvi ili najbolji zahtevao je da se ostane ispred na krivulji skaliranja.
- Zaostajanje je značilo gubitak uticaja na razvoj AGI-ja.
Ova vera u „skaliranje iznad svega“ postavila je pravila nove ere AI-ja, gurajući celu industriju u trku koja troši ogromne resurse, bez obzira na alternativne pristupe ili moguće negativne posledice.
3. Rast AI imperije pokreće eksploatacija ranjive globalne radne snage za anotaciju podataka.
Iza obećanja da njihove tehnologije povećavaju produktivnost, otvaraju ekonomsku slobodu i stvaraju nova radna mesta koja će ublažiti automatizaciju, savremena realnost je bila suprotna.
Skrivena radna snaga. Trening AI modela, naročito velikih jezičkih modela, zahteva ogromne količine ljudskog rada za prikupljanje, čišćenje i anotaciju podataka. Ovaj „rad duhova“ često se outsourcuje radnicima sa niskim platama širom sveta, posebno u zemljama koje se suočavaju sa ekonomskim teškoćama.
Eksploatacija u kriznim ekonomijama. Kompanije poput Scale AI i Sama iskoristile su krize, kao što su ekonomski kolaps Venecuele ili pandemija u Keniji, da pronađu očajne radnike spremne da obavljaju dosadne i često psihološki štetne zadatke za male pare.
- Venecuelanci su radili za manje od jednog dolara po satu na platformama poput Remotasks.
- Kenijski radnici su plaćani manje od 2 dolara po satu za filtriranje toksičnog sadržaja za OpenAI.
Ova zavisnost od nesigurnog rada podseća na istorijske kolonijalne prakse eksploatacije potčinjenih naroda radi izvlačenja resursa.
Cena „močvara podataka“. Prelazak na trening modela na nefiltriranim, ogromnim skupovima podataka („močvare podataka“) povećao je potrebu za moderacijom sadržaja i učenjem pojačanjem uz ljudsku povratnu informaciju (RLHF). To je izložilo radnike uznemirujućem sadržaju, uključujući materijale o seksualnom zlostavljanju dece, što je dovelo do ozbiljnih mentalnih posledica, često bez adekvatne podrške ili poštene nadoknade.
4. Izgradnja AI imperije zahteva ogromne resurse, namećući značajne ekološke troškove širom sveta.
Ako ćemo razvijati ovu tehnologiju na isti način kao ranije, uništićemo Zemlju.
Fizička infrastruktura. AI modeli, naročito veliki generativni, zahtevaju masivne fizičke podatkovne centre („hiperskalere“ i „megakampuse“) za trening i izvođenje. Ove ustanove troše ogromne količine energije, zemljišta, minerala i vode.
Rastući ekološki otisak. Potražnja za resursima eksponencijalno raste sa skaliranjem.
- Predviđa se da će podatkovni centri do 2030. koristiti 8% električne energije SAD.
- Globalno AI računarstvo moglo bi trošiti više energije nego Indija.
- Potražnja AI-ja mogla bi do 2027. potrošiti između 1,1 i 1,7 biliona galona sveže vode.
Ova intenzivna potrošnja resursa pogoršava klimatske promene i opterećuje lokalne sredine, naročito u regionima sa manjkom vode.
Neproporcionalan uticaj. Ekološki teret pada pretežno na zajednice, često u Globalnom Jugu, gde se podižu podatkovni centri zbog jeftine zemlje, energije i vode. Ove zajednice, već ranjive zbog istorijskog izvlačenja resursa, suočavaju se sa:
- Iscrpljenim izvorima vode.
- Povećanim zahtevima za energijom koji opterećuju lokalne mreže.
- Bukom i gubitkom zemljišta.
Uprkos korporativnim tvrdnjama o održivosti, realnost je često nastavak pljačke resursa u korist dalekih tehnoloških giganata.
5. Unutrašnji sukobi oko bezbednosti i komercijalizacije pojačali su se kako je OpenAI ubrzao implementaciju.
Da bismo uspeli, ove tri grupe moraju se ujediniti u jedno pleme — zadržavajući snage svake — radeći na AGI-ju koji maksimalno koristi čovečanstvu.
Frakcije unutar OpenAI-ja. Od samih početaka, OpenAI je bio obeležen unutrašnjim podelama, karikiranim kao „Istraživački“ (unapređivanje sposobnosti), „Bezbednosni“ (fokus na rizike) i „Startap“ (brzi razvoj i pravljenje proizvoda). Ove grupe su često bile u sukobu oko prioriteta i tempa razvoja.
Brige o bezbednosti nasuprot hitnosti proizvoda. „Bezbednosna“ grupa, naročito oni fokusirani na katastrofalne i egzistencijalne rizike (pesimisti), sve su više bili zabrinuti zbog brzog skaliranja i puštanja modela poput GPT-3 i DALL-E 2 bez dovoljnog testiranja ili bezbednosnih mera. Zalagali su se za oprez i odlaganje.
Komercijalni pritisci su prevladali. „Primena“ i „Startap“ grupe, ojačane investicijama i potrebom za prihodima, gurale su brže objave proizvoda („iterativno puštanje“).
- GPT-3 API je objavljen uprkos bezbednosnim zabrinutostima.
- DALL-E 2 je lansiran kao „istraživački pregled“ radi upravljanja rizikom.
- ChatGPT je požureno izdat zbog percipirane konkurencije.
Odluke su često prevazilazile bezbednosne primedbe, stvarajući tenzije i dovodeći do odlaska ključnih istraživača bezbednosti koji su smatrali da su njihovi glasovi zanemareni zbog komercijalnih interesa.
6. Stil vođenja Sama Altmana — obeležen ambicijom, sklapanjem poslova i navodnom manipulacijom — podstakao je i uspehe i nemire.
„Sam je izuzetno dobar u sticanju moći.“
Ambicija i umrežavanje. Sam Altman je poznat po neumornoj ambiciji, talentu za sklapanje poslova i strateškom fokusiranju na izgradnju moćnih mreža. Iskoristio je svoju poziciju u Y Combinator-u i veze sa ličnostima poput Pitera Tila i Reida Hofmana da unapredi svoju karijeru i poziciju OpenAI-ja.
Protivrečni postupci. Altman je opisan kao harizmatičan i spolja prijatan, ali i sklon anksioznosti i obrascu da različitim ljudima govori ono što žele da čuju. To je izazivalo konfuziju, nepovjerenje i sukobe među kolegama i partnerima, uključujući:
- Pogrešno predstavljanje dogovora sa Microsoft-om.
- Sukobljavanje rukovodilaca (npr. Sutskever i Pačocki).
- Podrivanje onih koji su mu se suprotstavljali.
Ovi postupci, iako pojedinačno suptilni, stvarali su sveprisutni osećaj nestabilnosti na najvišim nivoima.
Optužbe za nepoštenje i zloupotrebe. Ozbiljnije optužbe, uključujući one njegove sestre Anni Altman i bivših kolega poput Džefrija Irvinga, prikazuju dugu istoriju navodne manipulacije, nepoštenja i zloupotreba. Iako Altman i njegova porodica negiraju ove tvrdnje, one su doprinele percepciji kod nekih da je njegovo lično ponašanje duboko problematično i potencijalno relevantno za njegovo vođstvo moćne AI kompanije.
7. Kriza u upravnom odboru 2023. otkrila je duboke borbe za moć i neuspehe u upravljanju na vrhu razvoja AI-ja.
Jasno je pokazala koliko borba za moć među malom grupom elita Silicijumske doline oblikuje budućnost AI-ja.
Zabrinutosti odbora. Neprofitni odbor OpenAI-ja, zadužen za prioritet misije nad profitom, sve je više bio zabrinut stilom vođenja Sama Altmana, percipiranim nedostatkom iskrenosti i ponašanjima koja su delovala kao da potkopavaju nadzor odbora i kulturu bezbednosti kompanije. Povratne informacije od viših rukovodilaca poput Ilje Sutskevera i Mire Murati učvrstile su ove zabrinutosti.
Otkaz i posledice. Odluka odbora da smeni Altmana izazvala je haotičan petodnevni period.
- Zaposleni su pretili masovnim odlaskom.
- Investitori su vršili pritisak na odbor da vrati Altmana.
- Microsoft je javno podržao Altmana i ponudio posao odlazećem osoblju.
Brza i snažna reakcija ukazala je na pogrešnu procenu uticaja Altmana i duboku lojalnost koju je uživao među zaposlenima i ključnim akterima.
Neuspeh upravljanja. Kriza je otkrila krhkost jedinstvene strukture upravljanja OpenAI-ja. Neprofitni odbor, uprkos svom mandatu, na kraju je popustio pod pritiskom novčanih interesa i pretnjom kolapsa kompanije. Dogadjaj je naglasio da su ključne odluke o tehnologiji sa globalnim implikacijama donošene iza zatvorenih vrata od strane male grupe, sa ograničenom transparentnošću čak i prema zaposlenima.
8. OpenAI aktivno oblikuje politiku AI-ja u korist postojećih igrača i „frontierskih“ modela, često zanemarujući sadašnje štete.
Altmana je njegov tim za pripremu smatrao velikim uspehom.
Kampanja za uticaj na politiku. Nakon uspeha ChatGPT-a, Sam Altman i OpenAI pokrenuli su agresivnu globalnu lobističku kampanju, sastajući se sa kreatorima politika širom sveta da oblikuju regulaciju AI-ja. Altmanovo svedočenje pred Kongresom bilo je ključni trenutak, pozicionirajući OpenAI kao odgovornog lidera koji zagovara neophodne mere zaštite.
Fokus na rizike „frontierskih“ modela. Predlozi politike OpenAI-ja, podržani od strane „Frontier Model Foruma“ (uključujući Google i Anthropic), naglašavaju regulaciju budućih, potencijalno katastrofalnih rizika od visoko sposobnih („frontierskih“) AI modela. Ovo skreće pažnju sa regulacije trenutnih, dokumentovanih šteta postojećih AI sistema, kao što su:
- Gubitak i eksploatacija radne snage.
- Ekološki troškovi.
- Pristrasnost i diskriminacija.
- Kršenje autorskih prava i privatnosti podataka.
Pragovi računarske snage i kontrola izvoza. Ključni predlozi, poput korišćenja pragova računarske snage (npr. 10^26 FLOPs) za identifikaciju „frontierskih“ modela i ograničavanja njihovog izvoza (potencijalno zabrana otvorenih modela), usklađeni su sa strategijom skaliranja OpenAI-ja i njegovim konkurentskim interesima. Ove mere rizikuju učvršćivanje dominacije kompanija sa ogromnim računarskim resursima, dok otežavaju nezavisna istraživanja i razvoj.
9. Metafora „imperije AI-ja“ otkriva uznemirujuće paralele sa istorijskim kolonijalizmom i izvlačenjem resursa.
Tokom godina, pronašao sam samo jednu metaforu koja obuhvata prirodu ovih AI moćnika: imperije.
Izvlačenje resursa. Kao i istorijske imperije, AI kompanije otimaju i izvlače dragocene resurse:
- Rad umetnika, pisaca i korisnika na mreži (podatke).
- Rad nisko plaćenih radnika širom sveta (anotacija podataka, moderacija sadržaja).
- Zemlju, energiju, vodu i minerale za podatkovne centre i hardver.
Ovo izvlačenje često se odvija bez pristanka, poštene nadoknade ili brige za lokalne zajednice i životnu sredinu.
Opravdanje kroz narativ. Potraga za AGI-jem i obećanje bolje budućnosti („modernost“, „napredak“, „obilje“) služe kao moćan narativ za opravdanje ove eksploatacije. Ovo podseća na to kako su istorijske imperije koristile pojmove poput „civilizatorskih misija“ da legitimišu svoje postupke.
Konzentracija bogatstva i moći. Dobit ovog sistema nerazmerno pripada maloj eliti u Silicijumskoj dolini i povezanim korporacijama, dok troškove snose ranjive populacije širom sveta. Neumorna težnja da
Poslednji put ažurirano:
FAQ
What is Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI by Karen Hao about?
- In-depth OpenAI profile: The book offers a comprehensive look at OpenAI’s rise, internal power struggles, and the broader implications of its work on artificial intelligence.
- Focus on power and governance: It examines how a small group of tech elites, led by Sam Altman, shape the future of AI, highlighting the tension between idealistic missions and commercial pressures.
- Societal and global impact: Karen Hao explores AI’s effects on labor, the environment, and the concentration of wealth and influence, framing AI development as a new form of empire-building.
- Insider access: The narrative is based on over 300 interviews and extensive documentation, providing rare behind-the-scenes insights into OpenAI and the global AI industry.
Why should I read Empire of AI by Karen Hao?
- Reveals hidden complexities: The book uncovers the human, ethical, and political struggles behind AI’s development, challenging simplistic narratives of technological progress.
- Societal and ethical context: Readers gain awareness of the real-world costs of AI, including labor exploitation, environmental harm, and the marginalization of vulnerable communities.
- Nuanced leadership portrait: It provides a balanced, detailed view of Sam Altman and OpenAI’s internal politics, showing how personalities and corporate culture shape AI’s trajectory.
- Alternative perspectives: The book introduces community-driven AI projects and movements, offering hope for more ethical and inclusive AI futures.
What are the key takeaways from Empire of AI by Karen Hao?
- AI is political: Progress in AI is driven by the ambitions and conflicts of a few powerful individuals and corporations, not just scientific merit.
- Scaling and its costs: OpenAI’s doctrine of scaling compute and data to achieve AGI fuels a costly, competitive race with significant social and environmental consequences.
- Concentration of benefits and harms: The rewards of AI are concentrated among elites, while workers and marginalized groups bear the burdens.
- Transparency and governance challenges: OpenAI’s shift from openness to secrecy illustrates the difficulties of responsible AI governance in a high-stakes environment.
- Possibility of alternatives: The book argues for diverse AI approaches and stronger policies to democratize AI’s benefits and mitigate its harms.
Who is Sam Altman and how is he portrayed in Empire of AI by Karen Hao?
- Central figure and CEO: Sam Altman is the CEO and cofounder of OpenAI, depicted as a charismatic, ambitious, and sometimes controversial leader.
- Complex personality: The book explores Altman’s background, personal traits, and leadership style, highlighting his ambition, sensitivity, and tendency toward secrecy and manipulation.
- Power struggles: Altman’s decisions, including his brief ouster and reinstatement, exemplify the intense internal conflicts and governance challenges at OpenAI.
- Public image vs. reality: While Altman carefully curates his public persona, the book reveals the anxieties and contradictions beneath his leadership.
What is OpenAI’s mission and how has it evolved according to Empire of AI?
- Original nonprofit mission: OpenAI was founded to develop artificial general intelligence (AGI) for the benefit of all humanity, emphasizing openness and collaboration.
- Shift to for-profit model: Financial pressures led to the creation of a capped-profit partnership, allowing OpenAI to raise billions while still claiming to prioritize its mission.
- Erosion of ideals: Over time, commitments to transparency and altruism gave way to secrecy, commercialization, and competitive urgency.
- Mission as justification: The mission is often invoked to rationalize rapid scaling and secrecy, with the belief that being first is essential to ensuring beneficial AI outcomes.
What is artificial general intelligence (AGI) and how is it portrayed in Empire of AI by Karen Hao?
- Definition of AGI: AGI refers to highly autonomous AI systems that outperform humans at most economically valuable work, representing the theoretical pinnacle of AI research.
- Uncertain and aspirational goal: The book emphasizes that AGI is an amorphous, largely unknowable target, with no clear markers for success or timeline.
- Scaling hypothesis: OpenAI’s leadership, especially Ilya Sutskever, believes AGI will emerge primarily through scaling simple neural networks with massive compute and data.
- Rhetorical tool: AGI serves as a powerful narrative to justify OpenAI’s aggressive resource consumption and secrecy, even as current AI systems fall short of true general intelligence.
What are the “scaling laws” and “OpenAI’s Law” described in Empire of AI by Karen Hao?
- OpenAI’s Law: This term describes the rapid doubling of compute used in AI breakthroughs, far outpacing Moore’s Law and requiring massive computational resources.
- Scaling laws: These are empirical relationships showing how AI model performance improves predictably with increases in training data, compute, and model size.
- Strategic importance: Scaling laws underpin OpenAI’s focus on building ever-larger models like GPT-3 and GPT-4, driving its resource-intensive approach.
- Consequences: The pursuit of scaling leads to enormous financial, environmental, and social costs, and creates a high-stakes race that shapes the entire AI industry.
How does Empire of AI by Karen Hao describe the role of human labor and data annotation in AI development?
- Foundational human labor: The book reveals that AI models rely heavily on low-paid annotators, often in the Global South, who label data and moderate content under harsh conditions.
- Exploitation and precarity: Workers face unstable pay, psychological harm, and limited protections, with companies exploiting crises in countries like Kenya and Venezuela to source cheap labor.
- Invisible but essential: Despite their critical role in AI’s success, these workers remain largely invisible and unsupported, highlighting a hidden supply chain.
- Calls for reform: The book discusses organizing efforts and research initiatives advocating for fair pay and labor rights in the AI industry.
What environmental and resource impacts of AI are highlighted in Empire of AI by Karen Hao?
- Massive energy consumption: Training and running large AI models require enormous computing power, leading to significant carbon emissions and energy use.
- Water and land use: Data centers consume vast amounts of water for cooling and occupy large land areas, often in vulnerable or marginalized communities.
- Extractivism and local harm: Mining for resources like lithium and copper, especially in places like Chile’s Atacama Desert, disrupts ecosystems and displaces Indigenous communities.
- Corporate greenwashing: Tech companies often downplay environmental harms, promoting efficiency narratives while lacking transparency about AI’s true carbon footprint.
What were the key events and lessons from the OpenAI board crisis in Empire of AI by Karen Hao?
- Altman’s firing and reinstatement: In November 2023, OpenAI’s board abruptly fired CEO Sam Altman, citing concerns about his leadership and honesty, but reinstated him after employee and investor backlash.
- Internal divisions: The crisis exposed deep fractures within OpenAI’s leadership, including conflicts among Altman, Greg Brockman, Ilya Sutskever, and Mira Murati.
- Governance failures: The board struggled with oversight, lacked independent legal support, and faced challenges in holding Altman accountable.
- Aftermath: The episode led to resignations, loss of trust, and highlighted the precarious balance of power in governing a powerful AI company.
How does Empire of AI by Karen Hao address AI safety and the ideological divide within OpenAI?
- Safety vs. speed: The book describes a factional split between those prioritizing AI safety (“Doomers”) and those pushing for rapid deployment and commercialization (“Boomers”).
- Superalignment and preparedness: OpenAI launched initiatives like Superalignment and the Preparedness Framework to evaluate and mitigate dangerous AI capabilities, but these were often rushed or deprioritized.
- Internal conflict: Safety advocates clashed with leadership, leading to departures of key researchers and raising concerns about the company’s commitment to responsible AI.
- Broader implications: The book underscores the need for independent oversight, transparency, and whistleblower protections to ensure AI safety.
What is reinforcement learning from human feedback (RLHF) and how is it explained in Empire of AI by Karen Hao?
- Definition and purpose: RLHF is a technique where human contractors provide examples and rank AI outputs to teach models to produce more helpful, truthful, and harmless responses.
- Process details: Workers write ideal answers to prompts and rank multiple AI-generated responses, allowing the model to learn from this feedback and adjust its outputs.
- Impact on AI models: RLHF was central to developing InstructGPT, ChatGPT, and GPT-4’s chat capabilities, improving usability and safety.
- Limitations: Despite its benefits, RLHF cannot fully eliminate errors or hallucinations, as neural networks inherently produce probabilistic outputs.
What are some of the best quotes from Empire of AI by Karen Hao and what do they mean?
- On explaining AI: Joseph Weizenbaum’s quote, “It is said that to explain is to explain away... its magic crumbles away,” highlights the tension between AI’s perceived intelligence and its mechanistic reality.
- On success and vision: Sam Altman’s statement, “Successful people create companies. More successful people create countries. The most successful people create religions,” reflects his view of tech founders as visionaries shaping belief systems.
- On OpenAI’s mission: Altman wrote, “Building AGI that benefits humanity is perhaps the most important project in the world... We must put the mission ahead of any individual preferences,” underscoring the company’s framing of its work as a historic, collective endeavor.
- On AI’s future: Altman predicted,
Recenzije
Knjiga Empire of AI izaziva pomešane reakcije. S jedne strane, hvale se detaljna istraživanja o OpenAI-ju i Samu Altmanu, dok s druge strane kritike idu na račun navodne pristrasnosti i nedostatka tehničke dubine. Neki čitaoci cene razotkrivanje uticaja veštačke inteligencije na životnu sredinu i radne uslove, dok drugi smatraju da je knjiga previše kritična i ideološki obojena. Narativna struktura i fokus na lične detalje takođe izazivaju polemike. Sve u svemu, čitaoci prepoznaju vrednost u uvidima o razvoju OpenAI-ja i praksama u industriji veštačke inteligencije, ali mišljenja o perspektivi i zaključcima knjige su podeljena.
