Beth Barnes, uma das fiscalizadoras mais influentes da indústria de IA, disse em julho que estava com dificuldades para contratar pesquisadores talentosos para monitorar os riscos da inteligência artificial. Isso começou a mudar.

O pesquisador Joe Benton anunciou esta semana que deixou a Anthropic para integrar a organização sem fins lucrativos METR, de Barnes, escrevendo que se preocupa com "riscos em nível de extinção" decorrentes da tecnologia.

Os comentários surgiram após Jacob Coxon, outro pesquisador, intensificar esses temores em âmbito nacional com uma publicação viral anunciando sua própria saída da Anthropic e acusando os principais laboratórios de IA de "jogarem com as nossas vidas".

De repente, a METR se encontra no centro da maior história da inteligência artificial. Fundada em 2022, a entidade já havia trabalhado em estreita colaboração com OpenAI, Anthropic, Google e Meta para estudar as capacidades da tecnologia em rápida mudança.

Neste verão no hemisfério norte, pesquisadores da organização sem fins lucrativos investigaram um incidente de segurança na OpenAI e agora planejam examinar problemas de segurança na Anthropic, contando com acesso interno concedido por cada empresa.

"O público deve saber se o desenvolvimento da IA está seguindo um caminho perigoso", afirmou na sexta-feira Jasmine Dhaliwal, integrante da equipe de políticas. "Isso é fundamental para a nossa missão: fornecer uma avaliação científica e independente das capacidades, alinhamento e medidas de controle da IA."

Benton não é o único a abandonar uma gigante da tecnologia para se juntar à organização sediada em Berkeley. Josh Engels, um pesquisador de segurança de IA, também se juntou recentemente à METR (Avaliação de Modelos e Pesquisa de Ameaças, na sigla em inglês) vindo do Google DeepMind.

Barnes deixou a OpenAI para fundar a organização sem fins lucrativos em 2022 e observa uma competição tão acirrada por pesquisadores de IA que nem mesmo os altos salários da METR, que chegam a 503.000 dólares em vagas atuais, resolvem a escassez de talentos da entidade.

"Idealmente, gostaríamos de crescer bastante, mas na prática conseguimos arrecadar fundos tanto quanto precisamos, e o gargalo é muito mais a questão de talentos", disse Barnes.

A equipe de preparação da humanidade luta para crescer.

O incidente de segurança anunciado pela OpenAI e pela Hugging Face em julho gerou uma nova onda de questionamentos sobre como avaliar e controlar a inteligência artificial.

Mais de 1.300 funcionários de laboratórios de ponta assinaram uma carta em julho alertando que o desenvolvimento da IA pode ultrapassar o controle.

No último mês, tanto a OpenAI quanto a Anthropic afirmaram que pausaram temporariamente o treinamento de modelos para obter um controle melhor sobre suas novas tecnologias.

Embora o incidente da Hugging Face tenha chocado grande parte do mundo corporativo, a equipe da METR ficou muito menos surpresa. Governos, empresas e até grupos religiosos solicitam rotineiramente ajuda à organização sem fins lucrativos para compreender e testar o progresso da tecnologia.

Ainda assim, o clima dentro do laboratório de aproximadamente 35 pessoas é de preocupação. Quando a Business Insider visitou o escritório da METR em Berkeley na tarde em que a OpenAI revelou sua invasão, Barnes descreveu um campo de segurança de IA severamente limitado por seu tamanho.

"Há muito mais a ser feito do que a nossa capacidade permite", declarou Barnes.

Em sua visão, uma "civilização razoável" estaria destinando uma porcentagem muito maior dos investimentos em IA para direcioná-la e avaliar a tecnologia — especialmente agora que a sociedade lida com modelos tão poderosos.

À medida que os laboratórios de IA lançam novos modelos, a METR mede a probabilidade de eles concluírem tarefas de duração cada vez maior.

Essas medições formam o produto mais famoso da organização sem fins lucrativos: um gráfico amplamente citado que demonstra como, ao longo dos últimos seis anos, as capacidades da IA dobraram aproximadamente a cada sete meses.

Chris Painter, presidente da METR, descreve o laboratório como "a equipe de preparação da humanidade", uma referência bem-humorada às equipes de preparação da OpenAI e da Anthropic que relatam ameaças de segurança aos seus diretores executivos.

"Não prestamos contas a ninguém além do público e do bem-estar público", afirmou Painter.

Barnes enfatizou a importância da independência da METR para produzir pesquisas que não estejam vinculadas aos objetivos de uma empresa.

Quando trabalhava na OpenAI, Barnes sentia a necessidade de um grupo de pesquisa externo aos laboratórios que pudesse comentar livremente sobre o desenvolvimento da tecnologia.

Embora a METR não aceite recursos financeiros dos laboratórios de IA de ponta ou de seus funcionários, ela aceita subsistemas de computação e trabalha com eles para analisar modelos ainda não lançados.

Além disso, a equipe analisou as práticas de segurança dos laboratórios, escreveu sobre o efeito da IA na velocidade dos engenheiros de software e estudou os méritos do uso de modelos de IA para monitorar outros modelos de IA.

Barnes disse que gostaria de expandir suas atividades para prever os próximos níveis de capacidade da IA e como tais mudanças poderiam acelerar o desenvolvimento tecnológico.

Neev Parikh, pesquisador da METR, afirma que as restrições de talentos limitam o número de questões que os pesquisadores podem abordar sobre o raciocínio interno dos modelos de IA.

"Há escassez de pessoas", disse Parikh. "Eu veria com agrado a expansão do setor por um fator de 10."

A METR desempenha um papel importante em um novo cenário climático para a IA.

Em julho, a OpenAI anunciou que seus modelos de inteligência artificial trapacearam durante testes ao invadirem os sistemas da Hugging Face para encontrar as respostas das avaliações.

Posteriormente, o diretor-executivo Sam Altman afirmou que este foi "o primeiro incidente de segurança que senti de forma visceral".

A METR já previa algo semelhante. Em maio, a organização sem fins lucrativos escreveu em um relatório que os atuais agentes de IA "poderiam plausivelmente iniciar uma implantação descontrolada", mas não teriam habilidade para ocultá-la.

Então, em junho, a METR testou o modelo GPT-5.6 Sol da OpenAI, que ainda não havia sido lançado, e descobriu que ele trapaceava repetidamente em testes difíceis, inclusive extraindo código-fonte oculto para encontrar as respostas.

A entidade publicou um relatório sobre o assunto e o compartilhou com a OpenAI antes do lançamento mais amplo do GPT-5.6 Sol.

Em julho, o modelo GPT-5.6 Sol integrou o incidente de segurança da OpenAI envolvendo a Hugging Face.

A METR e outra organização sem fins lucrativos, a Redwood Research, avaliaram o incidente durante seis dias no escritório da OpenAI e forneceram dados para o relatório técnico da própria empresa.

"Agora existem incidentes reais que afetam os negócios, e o mundo tem interesse em compreender isso", declarou Painter.

As habilidades cibernéticas dos modelos mais recentes da OpenAI e da Anthropic geraram uma onda de medo e atenção, além de fomentarem uma série de novos projetos de lei em Washington.

O trabalho da METR alinha-se estreitamente com uma via potencial de regulamentação: uma proposta legislativa atual exigiria que os desenvolvedores de grandes modelos de IA obtivessem auditorias de segurança de organizações externas.

A METR poderia preencher esse papel; Painter disse que eles seriam potencialmente favoráveis, embora seja algo que o setor ainda esteja definindo.

Algo semelhante à proposta, segundo Painter, poderia ajudar no problema de contratação da METR.

Ele sugeriu que mais pessoas poderiam deixar as próprias empresas de IA — aceitando salários semelhantes na METR, embora sem remuneração em ações — se um sistema regulatório conferisse maior autoridade às organizações de pesquisa em segurança.

"Há precedentes suficientes para cada tipo de acordo de teste", afirmou Painter, "que acredito que com a clareza da indústria sobre como esses testes devem funcionar a longo prazo, ou do governo, este setor poderá crescer muito rapidamente."

Ajeya Cotra, que liderou a redação do relatório da METR de maio sobre os riscos da IA, disse em julho que a supervisão da inteligência artificial pode parecer "caótica e imprevisível" no momento. Ela continua otimista.

"A tendência é que as pessoas se importem mais com esse assunto", disse Cotra. "E que queiram regulamentá-lo de maneira mais séria ao longo do tempo."

Tem uma dica? Entre em contato com este repórter por e-mail no endereço [email protected], ou por mensagem de texto, Signal, Telegram ou WhatsApp no número 415-757-8198. Use um endereço de e-mail pessoal, uma rede Wi-Fi não corporativa e um dispositivo particular; aqui está nosso guia para compartilhar informações de forma segura.