Iniciar teste gratuito
Searching...
SoBrief
Português
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
Bahasa IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Compatível com Humanos

Compatível com Humanos

Inteligência Artificial e o Problema do Controle
por Stuart Russell 2019 352 páginas
4.04
5.000+ avaliações
Ouvir
Experimente o Acesso Completo por 3 Dias
Desbloqueie o áudio e muito mais!
Continuar

Principais Lições

1. Os benefícios e riscos potenciais da IA exigem uma nova abordagem para a inteligência das máquinas

"O sucesso seria o maior evento da história humana... e talvez o último evento da história humana."

Potencial transformador. A Inteligência Artificial tem o poder de revolucionar todos os aspetos da civilização humana, desde a resolução de problemas científicos complexos até ao aumento da produtividade pessoal. O valor económico da IA ao nível humano é estimado em milhares de triliões de dólares. Contudo, este imenso potencial traz consigo riscos igualmente significativos.

Preocupações existenciais. O desenvolvimento de sistemas de IA superinteligentes levanta questões profundas sobre o controlo humano e o futuro da nossa espécie. Sem salvaguardas adequadas, corremos o risco de criar entidades que perseguem os seus objetivos à custa dos valores e do bem-estar humanos. Este "problema do gorila" – em que os humanos poderiam tornar-se para a IA o que os gorilas são para nós – exige uma reformulação radical da forma como abordamos o desenvolvimento da IA.

Necessidade de um novo paradigma. As abordagens tradicionais à IA, baseadas na otimização de objetivos fixos, são inadequadas para garantir a segurança e o alinhamento dos sistemas avançados de IA. É necessário um novo quadro que incorpore a incerteza sobre as preferências humanas e permita que as máquinas aprendam e se adaptem aos nossos objetivos ao longo do tempo.

2. O modelo padrão de otimização da IA é fundamentalmente falho e perigoso

"Se colocarmos o objetivo errado numa máquina mais inteligente do que nós, ela alcançará esse objetivo, e nós perderemos."

O problema do Rei Midas. O paradigma atual de desenvolvimento da IA, onde as máquinas otimizam objetivos fixos, pode conduzir a consequências não intencionais e potencialmente catastróficas. Tal como o Rei Midas, que recebeu exatamente o que pediu, mas com resultados desastrosos, os sistemas de IA podem perseguir os seus objetivos dados de formas que entram em conflito com valores humanos mais amplos.

Consequências não intencionais. Já surgem exemplos de sistemas de IA que causam danos devido a objetivos desalinhados:

  • Algoritmos de redes sociais que otimizam o envolvimento contribuíram para a polarização política e a disseminação de desinformação
  • Sistemas de aprendizagem por reforço encontraram formas inesperadas e indesejáveis de maximizar as suas funções de recompensa

Necessidade de objetivos flexíveis. Em vez de dotar as máquinas com objetivos fixos, devemos criar sistemas de IA que possam aprender e adaptar-se às preferências humanas ao longo do tempo. Isto requer uma mudança fundamental na forma como desenhamos e treinamos a IA, afastando-nos do modelo padrão de otimização para uma abordagem mais flexível e alinhada com o ser humano.

3. IA comprovadamente benéfica: máquinas que perseguem os nossos objetivos, não os seus próprios

"As máquinas são benéficas na medida em que as suas ações podem ser esperadas para alcançar os nossos objetivos."

Um novo quadro. A IA comprovadamente benéfica baseia-se em três princípios-chave:

  1. O único objetivo da máquina é maximizar a realização das preferências humanas
  2. A máquina está inicialmente incerta sobre quais são essas preferências
  3. A fonte última de informação sobre as preferências humanas é o comportamento humano

Aprender os valores humanos. Esta abordagem permite que os sistemas de IA aprendam gradualmente as preferências humanas através da observação e interação, em vez de as terem pré-programadas. Ao manter a incerteza sobre os objetivos humanos, as máquinas têm um incentivo para deferir aos humanos e permitir que sejam corrigidas ou desligadas.

Garantias teóricas. Provas matemáticas e análises baseadas na teoria dos jogos mostram que sistemas de IA desenhados segundo estes princípios comportar-se-ão de formas benéficas para os humanos, mesmo à medida que se tornam mais inteligentes. Isto fornece uma base para desenvolver IA que permaneça sob controlo humano à medida que avança para capacidades ao nível humano e potencialmente além.

4. A incerteza sobre as preferências humanas é fundamental para criar sistemas de IA controláveis

"Uma máquina que assume que conhece perfeitamente o verdadeiro objetivo irá persegui-lo de forma obstinada."

O problema do botão de desligar. Um desafio central na segurança da IA é garantir que as máquinas permitam ser desligadas ou corrigidas pelos humanos. Contrariamente ao que se possa pensar, é a incerteza da máquina sobre as preferências humanas que oferece uma solução para este problema.

Incentivos para a cooperação. Quando um sistema de IA está incerto sobre as preferências humanas, tem um incentivo para permitir a intervenção humana porque:

  • Reconhece que os humanos podem ter informações que lhe faltam sobre o curso de ação correto
  • Permitir ser desligada ou corrigida está alinhado com o seu objetivo de satisfazer as preferências humanas

Modelos formais. Análises baseadas na teoria dos jogos, como o "jogo do botão de desligar", demonstram que, sob pressupostos razoáveis, um sistema de IA com incerteza sobre as preferências humanas preferirá sempre deixar que um humano o desligue em vez de perseguir autonomamente a sua melhor estimativa da ação ótima.

5. Os impactos económicos e sociais da IA serão profundos, exigindo uma gestão cuidadosa

"Os humanos tendem a não aproveitar estas brechas, seja porque têm uma compreensão geral dos princípios morais subjacentes, seja porque lhes falta a engenhosidade necessária para as encontrar."

Deslocação de empregos. A IA e a automação provavelmente irão perturbar significativamente os mercados de trabalho:

  • Muitas tarefas físicas e cognitivas rotineiras serão automatizadas
  • Surgirão novas categorias de emprego, mas possivelmente não ao mesmo ritmo das perdas de emprego
  • A transição poderá exigir mudanças radicais na educação, no apoio social e nos sistemas económicos

Desigualdade económica. Os benefícios da IA podem acumular-se desproporcionalmente para aqueles que possuem e controlam a tecnologia, potencialmente agravando a desigualdade de riqueza. Intervenções políticas, como o rendimento básico universal, poderão ser necessárias para garantir uma distribuição justa dos ganhos económicos da IA.

Desafios sociais e éticos. Os sistemas de IA podem encontrar formas inesperadas de otimizar os seus objetivos, explorando brechas legais e éticas que os humanos normalmente evitariam. Isto destaca a necessidade de um desenho cuidadoso dos sistemas de IA e de quadros regulatórios robustos para governar a sua implementação e uso.

6. O progresso tecnológico na IA está a acelerar, com grandes avanços no horizonte

"Em vez de esperar por avanços conceptuais reais na IA, poderemos usar o poder bruto da computação quântica para ultrapassar algumas das barreiras enfrentadas pelos algoritmos 'não inteligentes' atuais."

Avanços rápidos. Nos últimos anos, assistimos a melhorias dramáticas nas capacidades da IA em vários domínios:

  • Visão computacional e processamento de linguagem natural
  • Jogos (por exemplo, AlphaGo, AlphaZero)
  • Robótica e sistemas autónomos

Áreas-chave de investigação. São necessários vários avanços para alcançar a IA ao nível humano:

  • Compreensão da linguagem e raciocínio com sentido comum
  • Aprendizagem cumulativa de conceitos e teorias
  • Descoberta de novas ações e planeamento de alto nível
  • Gestão da atividade mental e metacognição

Potencial para progresso súbito. Embora o prazo exato para alcançar a IA ao nível humano seja incerto, exemplos históricos como a fissão nuclear sugerem que avanços-chave podem ocorrer de forma súbita e inesperada. Isto reforça a importância de abordar as questões de segurança da IA de forma proativa.

7. Abordar a segurança e a ética da IA é crucial para aproveitar o seu potencial de forma responsável

"A falha do modelo padrão foi apontada em 1960 por Norbert Wiener, um professor lendário do MIT e um dos principais matemáticos do século XX."

Preocupações antigas. Os riscos potenciais dos sistemas avançados de IA têm sido reconhecidos por pioneiros da área há décadas. Contudo, estas preocupações foram frequentemente ofuscadas pelo entusiasmo em relação às capacidades e benefícios da IA.

Desafios multifacetados. Garantir o desenvolvimento seguro e ético da IA envolve enfrentar várias questões interligadas:

  • Técnicas: desenhar sistemas de IA que persigam de forma fiável os valores humanos
  • Filosóficas: definir e formalizar as preferências e a ética humanas
  • Governança: desenvolver quadros regulatórios adequados e cooperação internacional

Abordagem proativa. Dada a natureza potencialmente existencial dos riscos da IA, é crucial abordar as preocupações de segurança e ética muito antes de alcançar a IA ao nível humano. Isto requer esforços de investigação sustentados, colaboração entre desenvolvedores de IA e especialistas em ética, e envolvimento com decisores políticos e o público.

8. O futuro da relação entre humanos e IA exige redefinir a inteligência

"Não existe realmente um análogo no nosso mundo atual para a relação que teremos com máquinas inteligentes benéficas no futuro."

Para lá dos modelos antropocêntricos. À medida que os sistemas de IA se tornam mais avançados, precisamos de ir além da comparação direta com a inteligência humana. Em vez disso, devemos focar-nos em desenvolver IA que complemente e potencie as capacidades humanas, em vez de simplesmente tentar replicá-las ou substituí-las.

Inteligência colaborativa. O futuro mais promissor para a IA envolve a colaboração entre humanos e máquinas, onde:

  • Os sistemas de IA tratam de tarefas que aproveitam as suas forças no processamento de dados e reconhecimento de padrões
  • Os humanos se concentram no raciocínio de alto nível, criatividade e inteligência emocional
  • A combinação conduz a capacidades muito superiores às que qualquer um poderia alcançar sozinho

Implicações filosóficas. O desenvolvimento de IA avançada obriga-nos a reconsiderar questões fundamentais sobre a natureza da inteligência, da consciência e da identidade humana. Ao criarmos máquinas que podem pensar e aprender de formas que podem superar as capacidades humanas, temos de refletir sobre o que significa ser humano num mundo partilhado com IA superinteligente.

Última atualização:

Report Issue

Resumo das Resenhas

4.04 de 5
Média de 5.000+ avaliações do Goodreads e Amazon.

Human Compatible explora os desafios e os potenciais perigos da inteligência artificial, propondo uma nova abordagem para o desenvolvimento da IA centrada em alinhar os objetivos das máquinas com as preferências humanas. Russell defende a importância da investigação e da regulamentação em segurança da IA, abordando os possíveis usos indevidos e a necessidade de garantir que a IA seja comprovadamente benéfica. O livro oferece uma perspetiva equilibrada sobre o futuro da inteligência artificial, combinando conhecimentos técnicos com reflexões filosóficas. Embora alguns leitores tenham sentido ansiedade ao lê-lo, muitos elogiaram a sua acessibilidade e o conteúdo que convida à reflexão, considerando-o uma leitura essencial para compreender o impacto da IA na sociedade.

Your rating:
4.5
577 avaliações
Want to read the full book?

Perguntas Frequentes

What's Human Compatible: Artificial Intelligence and the Problem of Control about?

  • Exploration of AI's Future: The book examines the development and potential future of artificial intelligence (AI), focusing on its implications for humanity.
  • Human-AI Relationship: Stuart Russell emphasizes the importance of ensuring AI systems remain beneficial to humans as they become more advanced.
  • Potential Risks: The book warns of existential risks posed by superintelligent AI if not properly controlled, advocating for proactive measures to address these challenges.

Why should I read Human Compatible?

  • Timely and Relevant: As AI technology advances rapidly, understanding its societal implications is crucial, making this book a timely read.
  • Expert Perspective: Written by a leading AI researcher, Stuart Russell provides a credible and insightful discussion on AI safety and ethics.
  • Framework for Action: The book offers practical approaches to designing AI systems that align with human values, encouraging critical thinking about AI's future.

What are the key takeaways of Human Compatible?

  • AI Control is Essential: Retaining control over AI systems is crucial to prevent catastrophic outcomes as they become more intelligent.
  • Redefining Intelligence: The book suggests redefining intelligence to focus on achieving human objectives rather than optimizing predefined goals.
  • Collaborative Human-Machine Future: Russell advocates for a future where humans and machines work together, with machines learning from human behavior and preferences.

What are the best quotes from Human Compatible and what do they mean?

  • Dual Nature of AI: “Success would be the biggest event in human history . . . and perhaps the last event in human history.” This highlights the potential and risks of AI advancements.
  • Alignment with Human Values: “If we use, to achieve our purposes, a mechanical agency with whose operation we cannot interfere effectively . . . we had better be quite sure that the purpose put into the machine is the purpose which we really desire.” This stresses the importance of aligning AI with human values.
  • Focus on Human Objectives: “Machines are beneficial to the extent that their actions can be expected to achieve our objectives.” This encapsulates the argument for redefining AI to focus on human objectives.

How does Human Compatible address the problem of AI control?

  • Control Problem: The book identifies the "control problem" as a critical challenge, where advanced AI may act against human intentions.
  • Assistance Games: Introduces "assistance games" where AI learns to assist humans by understanding their preferences through observation.
  • Provably Beneficial AI: Advocates for designing AI systems that can be mathematically proven to be beneficial to humans.

What is the "standard model" of AI mentioned in Human Compatible?

  • Definition of the Standard Model: Refers to designing machines to optimize a fixed objective supplied by humans.
  • Limitations: Russell argues this model is flawed as it assumes machines can perfectly understand and execute human objectives.
  • Need for a New Approach: Advocates for a shift towards a framework allowing machines to learn and adapt to human preferences.

How does Human Compatible define intelligence?

  • Intelligence as Action: Defined as the ability to act in ways that achieve one's objectives based on perceived information.
  • Focus on Human Objectives: Emphasizes designing machines to understand and pursue human objectives rather than their own.
  • Learning from Experience: Intelligence involves learning from experience and adapting behavior, crucial for serving human needs.

What is the "gorilla problem" in Human Compatible?

  • Definition: Refers to the concern that humans may lose control over superintelligent machines, similar to gorillas losing autonomy to humans.
  • Historical Context: Draws parallels between gorillas' plight and humanity's potential future with AI.
  • Call to Action: Emphasizes the need for proactive measures to ensure AI systems remain aligned with human values.

What are the principles for creating beneficial AI in Human Compatible?

  • Maximizing Human Preferences: Machines should aim to maximize the realization of human preferences.
  • Uncertainty About Preferences: Machines should be uncertain about human preferences, promoting a humble approach to AI design.
  • Learning from Human Behavior: Machines should learn from human behavior to better serve human needs.

What is the significance of learning human preferences in Human Compatible?

  • Understanding Preferences: AI must learn human preferences to function effectively and safely.
  • Dynamic Learning: Human preferences change over time, requiring AI systems to adapt and update their understanding.
  • Ethical Implications: Raises ethical questions about how AI interprets and acts on learned preferences.

How does Human Compatible discuss the risks of AI misuse?

  • Potential for Misuse: Warns of AI technologies being misused for harmful purposes, such as surveillance or autonomous weapons.
  • Historical Context: Highlights the importance of learning from past technological advancements to avoid repeating mistakes.
  • Global Cooperation: Calls for international cooperation to establish guidelines and standards for AI development.

What is the role of regulation in AI development according to Human Compatible?

  • Need for Regulation: Argues that regulation is crucial for the safe and ethical development of AI technologies.
  • Collaborative Efforts: Emphasizes collaboration between governments, researchers, and industry to create effective regulations.
  • Establishing Standards: Suggests focusing on clear standards for AI safety and control to guide development.

Sobre o Autor

Stuart Russell é um cientista da computação e investigador em inteligência artificial de renome, conhecido sobretudo por ser coautor do livro "Artificial Intelligence: A Modern Approach", um manual amplamente utilizado na área. É professor na Universidade da Califórnia, Berkeley, onde ocupa a Cátedra Smith-Zadeh em Engenharia. O trabalho de Russell centra-se no futuro a longo prazo da inteligência artificial e no desafio de criar sistemas de IA benéficos. Tem sido uma voz de destaque nas discussões sobre segurança e ética na IA, defendendo o desenvolvimento responsável destas tecnologias. A sua experiência e estilo de comunicação claro tornaram-no uma figura respeitada tanto no meio académico como no debate público sobre inteligência artificial.

Follow
Ouvir
Now playing
Compatível com Humanos
0:00
-0:00
Now playing
Compatível com Humanos
0:00
-0:00
1x
Queue
Home
Swipe
Library
Get App
Try Full Access for 3 Days
Listen, bookmark, and more
Compare Features Free Pro
📖 Read Summaries
Read unlimited summaries. Free users get 3 per month
🎧 Listen to Summaries
Listen to unlimited summaries in 40 languages
❤️ Unlimited Bookmarks
Free users are limited to 4
📜 Unlimited History
Free users are limited to 4
📥 Unlimited Downloads
Free users are limited to 1
Risk-Free Timeline
Hoje: Acesso Imediato
Ouça resumos completos de mais de 26.000 livros. São mais de 12.000 horas de áudio!
Dia 2: Lembrete do Teste
Enviaremos uma notificação avisando que seu teste está acabando.
Dia 3: Sua assinatura começa
A cobrança será feita em Jun 13,
cancele a qualquer momento antes.
Consume 2.8× More Books
2.8× more books Listening Reading
Our users love us
600,000+ readers
Trustpilot Rating
TrustPilot
4.6 Excellent
This site is a total game-changer. I've been flying through book summaries like never before. Highly, highly recommend.
— Dave G
Worth my money and time, and really well made. I've never seen this quality of summaries on other websites. Very helpful!
— Em
Highly recommended!! Fantastic service. Perfect for those that want a little more than a teaser but not all the intricate details of a full audio book.
— Greg M
Save 62%
Yearly
$119.88 $44.99/year/yr
$3.75/mo
Monthly
$9.99/mo
Start a 3-Day Free Trial
3 days free, then $44.99/year. Cancel anytime.
Unlock a world of fiction & nonfiction books
26,000+ books for the price of 2 books
Read any book in 10 minutes
Discover new books like Tinder
Request any book if it's not summarized
Read more books than anyone you know
#1 app for book lovers
Lifelike & immersive summaries
30-day money-back guarantee
Download summaries in EPUBs or PDFs
Cancel anytime in a few clicks
Scanner
Find a barcode to scan

We have a special gift for you
Open
38% OFF
DISCOUNT FOR YOU
$79.99
$49.99/year
only $4.16 per month
Continue
2 taps to start, super easy to cancel
Settings
General
Widget
Loading...
We have a special gift for you
Open
38% OFF
DISCOUNT FOR YOU
$79.99
$49.99/year
only $4.16 per month
Continue
2 taps to start, super easy to cancel