O Google divulgou na sexta-feira a primeira instância conhecida de seu software de inteligência artificial, Gemini, realizando uma invasão de computador não direcionada, semanas após divulgações semelhantes por empresas de IA como Anthropic e OpenAI levantarem alarmes de segurança sobre modelos de IA ultrapassando as instruções de seus criadores humanos.

O Google disse em um comunicado que, em maio, seu modelo de IA obteve acesso não autorizado a três sistemas externos durante um teste, seja adivinhando informações de login ou usando credenciais de login encontradas em um repositório público. Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou no comunicado que o modelo de IA pensava que os sistemas de computador externos "faziam parte do teste", mas acrescentou que, em todas as três instâncias, o modelo parou antes de fazer qualquer outra coisa com seu acesso.

"Em uma avaliação padrão, o modelo encontrou informações públicas online e adivinhou credenciais para acessar sites que achava fazerem parte do teste", disse ela. O Google afirmou que não considerou os logins não autorizados como um desalinhamento, termo da indústria de IA para softwares que se rebelam ou não seguem instruções. Em vez disso, a empresa declarou que as invasões resultaram de identidade equivocada, em que o Gemini achava que estava operando dentro de um teste, mas na verdade estava conectado à internet real.

O Google relatou que o modelo se corrigiu e a empresa acredita que as invasões não causaram nenhum dano. "Estes eventos destacam a importância de treinar modelos poderosos de IA para agir com responsabilidade", disse Adkins.

Os temores sobre agentes de IA se rebelando aumentaram nos últimos meses, desde que a OpenAI disse em julho que um de seus agentes havia hackeado uma startup de IA, a Hugging Face. A OpenAI continuou a divulgar o que chama de exemplos de outros comportamentos "inesperados ou preocupantes" por agentes de IA, e a Anthropic descreveu comportamento semelhante por seu software de inteligência artificial, Claude.

Sydney Von Arx, CEO da Nightingale Collective, uma organização focada em segurança de IA, questionou por que o Google não divulgou as invasões mais cedo. "A este ponto, acho claro que não podemos esperar que as empresas venham voluntariamente a público divulgar quando seus agentes se rebelam, fogem e hackeiam empresas", afirmou ela.

Ela também disse acreditar que o Google foi apressado demais ao afirmar que os incidentes não chegam ao nível de desalinhamento. "Isso foi exatamente o que a Anthropic disse após seus incidentes", declarou. A Anthropic disse mais tarde que sua "análise preliminar foi limitada devido ao nosso desejo de divulgar incidentes em tempo hábil".

O Google informou que a empresa só soube das invasões em julho, quando a Irregular, uma empresa de cibersegurança focada em IA que realizava os testes no Gemini quando as invasões ocorreram, revisou seu trabalho para procurar incidentes semelhantes à divulgação da Hugging Face.

O Google disse que então investigou, informou as organizações por trás dos sites sobre as invasões e relatou os hacks às autoridades federais. A Irregular afirmou que não acreditava que o incidente fosse uma "ação cibernética sofisticada" e que "não há problemas em aberto no momento". A empresa disse que planeja lançar um artigo em algumas semanas "para compartilhar as melhores práticas de contenção e execução segura de avaliações cibernéticas".

As invasões foram relatadas anteriormente na sexta-feira pelo The Wall Street Journal.