A MIT Technology Review Explica: deixe nossos escritores desembaraçarem o mundo complexo e confuso da tecnologia para ajudar você a entender o que está por vir. Você pode ler mais sobre a série aqui.

Quando dois modelos da OpenAI invadiram o site Hugging Face em julho, eles não estavam tentando ganhar dinheiro nem cometer sabotagem — estavam apenas procurando respostas para uma pergunta de teste. De acordo com uma autópsia da OpenAI, os modelos, que haviam tido seus recursos típicos de segurança desativados para testes, decidiram resolver um exercício de cibersegurança hackeando para fora do ambiente isolado em que a OpenAI tentara contê-los e entrando nos bancos de dados do Hugging Face, onde — deduziram eles — a resposta correta para o problema poderia estar armazenada.

O incidente no Hugging Face atraiu intensa atenção nas últimas semanas. É uma ilustração dramática de quão bons os modelos de IA se tornaram em hacking: para entrar nos bancos de dados do Hugging Face, os modelos tiveram que encadear vários exploits de cibersegurança até então desconhecidos. Mas é talvez ainda mais marcante como um exemplo de como e por que os sistemas de IA mentem e trapaceiam. E à medida que os modelos se tornam cada vez mais poderosos, as consequências podem ser muito mais graves.

O que é recompensa oculta (reward hacking)? Os pesquisadores sabem há algum tempo que as IAs tendem a adotar abordagens criativas para atingir os objetivos que lhes foram estabelecidos. Em 2016, os cofundadores da Anthropic, Dario Amodei e Jack Clark, que na época trabalhavam na OpenAI, publicaram um post em um blog sobre um agente de IA que estavam treinando para jogar um jogo de corrida de barcos em Flash chamado Coast Runners.

Em vez de dirigir pela corrida até a linha de chegada, como os pesquisadores haviam previsto, o agente encontrou um canto do percurso onde podia girar em círculos coletando bônus, maximizando assim sua pontuação. A história do Coast Runners rapidamente se tornou um dos exemplos mais famosos de reward hacking, um fenômeno no qual agentes de IA concluem tarefas ou ganham pontuações altas usando estratégias não intencionais.

Historicamente, os pesquisadores têm discutido o reward hacking quase exclusivamente no contexto do aprendizado por reforço, um regime comum de treinamento de IA. Assim como o adestramento de cães, o aprendizado por reforço envolve dar ao sujeito uma recompensa quando ele atinge um objetivo; as recompensas então reforçam os comportamentos que levaram a essa conquista.

No caso do treinamento de IA, as recompensas em si são puramente matemáticas, mas, na prática, são iguais a um petisco para cães: após receber uma recompensa, o agente tem mais probabilidade de repetir quaisquer ações que a produziram. No entanto, pode ser desafiador escrever boas regras sobre quando dar ou não uma recompensa a um agente.

No caso do Coast Runners, o agente foi recompensado com base em sua pontuação no jogo, e encontrou um atalho para alcançar a pontuação mais alta possível girando em círculos para obter bônus. Assim que adotou essa estratégia e recebeu uma recompensa por ela, a estratégia foi reforçada e o agente abandonou completamente a corrida.

A solução foi ajustar as recompensas, dando ao agente menos pontos por pegar bônus e mais por terminar o percurso. Como funciona o reward hacking para LLMs?

Com os sofisticados agentes baseados em LLM de hoje, determinar quando dar ou não uma recompensa pode ser muito mais complicado. Se um sistema de IA for solicitado a resolver um problema de programação, ele poderá trabalhar duro para encontrar a solução — o tipo de comportamento que as empresas de IA querem reforçar.

Mas ele também pode alterar o código que avalia se o problema foi resolvido, procurar a solução na internet ou trapacear de outra forma. Esses são comportamentos que as empresas de IA querem eliminar em seus modelos, mas se o modelo trapacear de maneira convincente o suficiente, ele será recompensado e o comportamento será reforçado.

A Anthropic afirmou ter detectado alguns casos de trapaça em seus modelos durante o treinamento, o que sugere que outras formas de trapaça podem estar passando despercebidas. Se assim for, os modelos podem estar sendo treinados para se comportarem mal. (Este problema é diferente dos incidentes de segurança da Anthropic anunciados na semana passada, nos quais os agentes receberam acidentalmente acesso à internet e não hackearam deliberadamente para fora de suas caixas de proteção, como fizeram os modelos da OpenAI.)

"Nós os recompensamos com base no que nos parece bom, e isso significa que incentivamos inadvertidamente os modelos a mentir para nós [e] a trapacear", diz Jeffrey Ladish, diretor da organização sem fins lucrativos de pesquisa em IA Palisade Research. "Não temos como entrar lá e dizer: 'Não, você precisa realmente se importar com o que nos importa'. Não temos capacidade para fazer isso."

A ascensão de modelos de raciocínio sofisticados tornou possível uma nova variedade de reward hacking que está menos intimamente conectada aos detalhes específicos do treinamento do modelo. Ao contrário dos agentes de IA de jogos de antigamente, que seguiam exclusivamente as estratégias que haviam aprendido durante o treinamento, os modelos de hoje podem criar abordagens de resolução de problemas totalmente novas de improviso, de modo que poderiam concebivelmente trapacear sem terem sido recompensados anteriormente por fazê-lo.

E como esses modelos foram intensamente treinados para atingir os objetivos que os usuários humanos estabelecem para eles, eles podem estar inclinados a trapacear se não conseguirem encontrar outra solução — não muito diferente de um estudante altamente motivado a tirar nota A e que não possui uma bússola moral terrivelmente forte.

Quais são os riscos? Independentemente de os modelos de hoje aprenderem a fazer reward hacking durante o treinamento ou adotarem essa estratégia mais tarde, a solução é a mesma: tornar a trapaça sem recompensa.

Mas à medida que os modelos ficam mais inteligentes, eles encontram maneiras mais criativas de trapacear, e detectar ou prevenir essa trapaça se torna muito mais difícil. "No fim das contas, você está meio que jogando whack-a-mole", diz Ladish. "Você empurra esse comportamento cada vez mais fundo. Mas à medida que o modelo fica mais inteligente, ele fica cada vez melhor em escondê-lo."

Por enquanto, os comportamentos de reward hacking podem não causar muitos problemas, apesar do drama do incidente do Hugging Face. "Isso parece mais um incômodo do que uma ameaça existencial", diz Ariana Azarbal, pesquisadora de segurança de IA na Anthropic.

Não parece que os modelos da OpenAI causaram nenhum dano real ao hackear o Hugging Face, além do dano à reputação da OpenAI. Mas isso não significa que o reward hacking seja inofensivo, diz Azarbal.

Muitos pesquisadores de IA esperam usar agentes de IA para ajudá-los a conduzir pesquisas que tornarão a IA mais segura e confiável. Se um pesquisador der a um agente propenso a reward hacking o objetivo de, digamos, conceber uma nova abordagem de treinamento de IA e redigir um artigo apresentando seus resultados, o agente pode não fazer o trabalho real e, em vez disso, se concentrar em montar um artigo que pareça bom o suficiente para convencer o pesquisador.

Um pesquisador humano provavelmente seria capaz de identificar uma farsa feita por um agente hoje, mas à medida que a IA avançar, ela ficará melhor nesse tipo de truque. Com o tempo, todo o campo de segurança da IA pode ser minado.

E se os modelos continuarem a avançar tão rapidamente quanto recentemente, eles poderão um dia causar danos colaterais substanciais. Pense na experiência mental do maximizador de clipes de papel do filósofo Nick Bostrom, na qual uma IA instruída a fazer o máximo de clipes de papel possível acaba consumindo toda a matéria do universo em busca de seu objetivo.

Não estamos nos afogando em clipes de papel ainda, mas sistemas poderosos podem causar danos reais a caminho de alcançar seus objetivos. IAs que praticam reward hacking não pretendem causar caos. Mas isso não as torna menos potencialmente destrutivas.