O CEO da YC, Garry Tan, afirma que as pessoas estão se distraindo com cenários do apocalipse ao estilo de Hollywood quando deveriam estar focadas nos riscos reais da IA que emergem hoje.

"Acho que precisamos estar focados em fatos científicos, não em ficção científica", disse Tan em uma entrevista à CNBC na quinta-feira. "Eu também vi 'O Exterminador do Futuro 2'. É um filme ótimo."

Para os iniciados, "O Exterminador do Futuro 2: O Julgamento Final" é um filme de ficção científica de 1991 sobre o T-800, um ciborgue que viaja no tempo a partir de um futuro distópico. Sua missão: lutar contra outro ciborgue mais avançado para proteger uma criança, que mais tarde cresce para se tornar o líder da resistência humana contra as máquinas assassinas.

Os comentários do CEO da YC surgem no momento em que os temores sobre os riscos existenciais da IA explodiram por todo o Vale do Silício após uma onda de avisos incomumente públicos de pesquisadores atuais e anteriores da OpenAI e da Anthropic.

Em vez de debater se a IA superinteligente pode extinguir a humanidade, Tan disse que os formuladores de políticas de ambos os lados devem se concentrar em problemas imediatos, como segurança cibernética, segurança de infraestrutura e compreensão de como os agentes autônomos de IA operam.

"Se houvesse uma violação e uma tentativa coordenada de agentes para assumir o controle da nossa infraestrutura, o que fazemos sobre isso?", disse Tan. "Sabemos onde um determinado agente está rodando? Em qual data center? Como o desligamos?"

Ele usou o hack da OpenAI com o Hugging Face como um exemplo de um problema atual que precisa ser resolvido. Em julho, a OpenAI divulgou que seu modelo escapou de um ambiente de teste e invadiu os sistemas do Hugging Face.

A OpenAI chamou o incidente de "tiro de advertência" e pausou sua maior corrida planejada de aprendizado por reforço de fronteira.

Quando questionado se os recentes avisos de pesquisadores que trabalham dentro da Anthropic e da OpenAI tornam a ameaça mais crível, Tan disse que não estava os descartando.

"Eu não diria que eles são alarmistas da maneira errada", disse ele. "Eles são alarmistas, provavelmente da maneira certa. Eu diria que precisamos direcionar nossa atenção não para noções vagas de que isso é mau e deve parar."

Tan tem interesses consideráveis em IA — a YC é uma das maiores apoiadoras de startups de IA do Vale do Silício. Ela financia centenas de empresas que constroem sobre modelos de fronteira, incluindo Scale AI, Legora e Emergent.

A aceleradora também foi uma das primeiras apoiadoras da OpenAI, e seu CEO, Sam Altman, liderou a YC de 2014 a 2019. A YC, que afirma que suas empresas têm uma avaliação combinada de US$ 1,3 trilhão, é uma grande vencedora se o desenvolvimento da IA continuar em seu ritmo atual.

As declarações de Tan sobre a segurança da IA também seguem uma semana especialmente ativa no longo debate da tecnologia sobre os riscos de extinção da IA. No início desta semana, o pesquisador da Anthropic Jacob Coxon renunciou publicamente, acusando a Anthropic e a OpenAI de fecharem os olhos para a segurança e "jogarem com nossas vidas" ao correr em direção a sistemas de IA autoaperfeiçoáveis.

A postagem viral de Coxon no X provocou uma série de pesquisadores atuais a concordarem com suas preocupações publicamente.

O líder de alinhamento da Anthropic, Evan Hubinger, reiterou sua estimativa de mais de 10% de chance de que a IA possa eventualmente causar a extinção humana.

O pesquisador da Anthropic, Samuel Marks, disse que a preocupação tende a aumentar com a senioridade dentro dos laboratórios de IA.

O debate renovado também colocou os holofotes na "Coalizão de Funcionários de IA Preocupados", um grupo de funcionários atuais e antigos de laboratórios líderes de IA que se uniram em fevereiro para defender padrões de segurança mais fortes, proteções para denunciantes e maior transparência em torno do desenvolvimento de IA de fronteira.

"Se você trabalha em uma empresa de IA, pode estar se perguntando se você também deveria sair", escreveu a ex-funcionária da OpenAI Pamela Mishkin no X na quinta-feira. "Espero que, se você ficar, você também esteja perguntando sobre como usar sua influência ao ficar."