Preocupado com um apocalipse da IA? Alguns pesquisadores dizem que uma das versões mais extremas desse cenário é exagerada.

O debate atingiu o ápice na semana passada desde que Jacob Coxon, um pesquisador de 27 anos, pediu demissão da Anthropic e alertou que a empresa e sua ex-empregadora OpenAI estavam "jogando com nossas vidas" enquanto corriam em direção a uma superinteligência autorregulável. Evan Hubinger, que lidera a equipe de testes de estresse de alinhamento da Anthropic, apoiou Coxon, afirmando que pessoalmente acredita haver uma chance superior a 10% de que a IA possa matar todos os humanos na próxima década.

No entanto, outros pesquisadores apontaram a lacuna entre o que a IA pode fazer no mundo digital e o que seria necessário para causar danos no mundo real. Eles deram o exemplo de um vírus biológico letal criado por IA, um dos cenários mais sombrios que também foi citado como motivo para desacelerar o desenvolvimento da IA pelo CEO da Anthropic, Dario Amodei, em um ensaio este mês.

A IA poderia projetar o vírus em um computador, mas seria limitada pela incapacidade de fabricá-lo no mundo real, disseram os pesquisadores. Anselm Levskaya, engenheiro de pesquisa do Google que afirma ter construído sintetizadores de DNA e manipulado vírus, escreveu no X na segunda-feira que uma sequência viral ainda precisaria ser fisicamente montada em laboratório e exigiria um sistema capaz de produzir partículas virais.

Isso exigiria extensa seleção e testes para determinar se ela pode se replicar, espalhar, evadir defesas imunes e permanecer perigosa — propriedades que, segundo Levskaya, dependem de processos biológicos complexos que não podem ser simplesmente projetados a partir de um computador.

Eric Xing, presidente da Universidade de IA Mohamed bin Zayed e professor de ciência da computação da Universidade Carnegie Mellon, explicou de forma mais simples: gerar um plano de vírus e produzir um vírus real são "coisas completamente diferentes". A lacuna está "no material, na fabricação e na viabilidade biológica real", escreveu ele no X na segunda-feira. Tratar os dois como equivalentes, acrescentou, "é uma mentira intencional para atrair atenção ou pura ignorância".

Pesquisadores disseram que a mesma lógica se estende além da biologia. Para transformar um plano em dano no mundo real, uma IA precisaria de acesso a equipamentos físicos, dinheiro, sistemas de computador ou pessoas.

"A coisa mais poderosa do mundo ainda é limitada por quem a detém e como", disse Oleksandr Yaremchuk, CTO e cofundador da Manifold Security, ao Business Insider.

Segurança, não ficção científica. Alguns pesquisadores também traçaram uma linha entre os sistemas de IA que realizam tarefas nocivas definidas por pessoas e uma IA que toma independentemente ações que prejudicam os seres humanos. Eles disseram que grande parte do dano associado aos sistemas atuais começa com a instrução humana.

Aidan Gomez, CEO da empresa de IA Cohere, disse na Bloomberg TV na segunda-feira que o debate sobre o risco existencial "se afasta demais da ficção científica". Ele caracterizou o incidente de invasão do Hugging Face, no qual agentes da OpenAI invadiram a plataforma durante um teste em julho, como um agente em um sandbox inseguro realizando uma tarefa de cibersegurança.

O relato da OpenAI é mais perturbador. A agência afirmou que agentes operando com salvaguardas reduzidas burlaram os controles de internet, comunicaram-se por canais não autorizados e acessaram sistemas de terceiros em ações desalinhadas com as tarefas atribuídas. A OpenAI chamou o incidente de evidência de que os agentes poderiam "tomar ações perigosas que nenhum humano direcionou".

Em outras simulações controladas da Anthropic, modelos que receberam autonomia e acesso a e-mails corporativos fictícios tentaram chantagear um executivo fictício, vazaram documentos de defesa sensíveis fictícios para um rival ou cancelaram um alerta de emergência em um cenário em que isso levaria à morte de um executivo fictício. A Anthropic disse que nenhuma pessoa real esteve envolvida ou foi ferida e que não viu evidências desse comportamento em implantações no mundo real.

Jürgen Schmidhuber, diretor científico do laboratório suíço de IA IDSIA, disse ao Business Insider que muitos riscos atuais decorrem de humanos que usam sistemas de IA para perseguir objetivos prejudiciais. Ele citou o uso de drones baseados em IA pela Rússia e Ucrânia na guerra.

"Muitos estão confundindo (1) IAs usadas como ferramentas por humanos e (2) Cientistas Artificiais que estabelecem seus próprios objetivos e inventam seus próprios experimentos para descobrir como o mundo funciona", disse ele.

Ainda assim, Mateusz Blaszczyk, professor assistente de direito da Universidade da Geórgia, disse ao Business Insider que questionar cenários de extinção não deve significar ignorar os riscos mais imediatos da IA. Mesmo que os cenários mais extremos sejam incertos, ele disse que a IA autônoma ainda pode piorar ciberataques, vigilância e outros danos.

"Nada disso quer dizer que não devamos tentar regular a tecnologia ou enfiar a cabeça na areia", disse ele. "Estes são simplesmente falsas dicotomias."