O plano da UE é proibir que chatbots simulem emoções ou relacionamentos interpessoais em interações com menores de 18 anos, enquanto o bloco tenta impedir que crianças desenvolvam dependências emocionais da tecnologia. As regras farão parte do EU Kids Act, proposto na quinta-feira, que inclui restrições semelhantes ao acesso de menores a mídias sociais e plataformas de compartilhamento de vídeos.

Crianças menores de 13 anos serão proibidas de acessar chatbots sem a supervisão de seus responsáveis, e as plataformas digitais terão que integrar proteções de segurança infantil em seus produtos ou enfrentar multas de até 6% do faturamento mundial total, de acordo com um rascunho da legislação visto pelo WIRED. Os chatbots operados na UE também não terão permissão para reter memória de interações entre conversas separadas sob as novas regras, pois a Comissão teme que isso possa levar os sistemas a acumularem dados sensíveis de menores ao longo do tempo e potencialmente reforçar padrões de interação prejudiciais.

Provedores de sites de redes sociais online, plataformas de compartilhamento de vídeos e jogos não devem ativar automaticamente ou incentivar o uso de chatbots de IA em seus serviços, segundo estipulará a proposta de lei. Isso inclui não fixar companheiros de IA e chatbots conversacionais gerais no topo da lista de contatos de um menor, como vinha sendo feito pelo Snapchat, afirma o texto.

A proposta limita-se a companheiros de IA e chatbots conversacionais gerais considerados pela Comissão como geradores de riscos graves à saúde, segurança e bem-estar de menores. Simeon de Brouwer, consultor de políticas do grupo de defesa European Digital Rights, baseado em Bruxelas, acolhe bem as medidas sobre chatbots, mas diz ao WIRED: "Não faz sentido restringi-los apenas aos jovens".

"Será que todos nós não merecemos ser protegidos de IAs projetadas para serem viciantes, de IAs que criam dependências emocionais, ou de recursos de IA que são ativados e empurrados por padrão para os usuários?" A UE afirma que sua Lei de Justiça Digital, com lançamento previsto para o final deste ano, deve propor restrições mais amplas ao design viciante.

Em documentos vistos pelo WIRED, a Comissão Europeia afirma estar preocupada que a dependência de chatbots possa impactar negativamente o desenvolvimento de uma criança e suas relações com outros seres humanos. Ela também se preocupa com o fato de chatbots fornecerem conselhos perigosos a menores, inclusive sobre saúde mental e desenvolvimento pessoal, o que, segundo o órgão, pode moldar e incentivar comportamentos de risco.

"As plataformas têm brincado irresponsavelmente com a saúde mental das crianças", disse a presidente Ursula von der Leyen em uma entrevista coletiva na quinta-feira. Cerca de metade dos europeus com idades entre 11 e 25 anos discutiu assuntos íntimos ou pessoais com chatbots de IA, de acordo com uma pesquisa da Ipsos BVA na França, Alemanha, Suécia e Irlanda.

Austrália e Reino Unido estão tentando restringir o acesso de menores a chatbots por meio de suas proibições de mídia social. O relatório também destacou os malefícios de deepfakes gerados por chatbots, que Von der Leyen mencionou no discurso sobre o Estado da União na quarta-feira: "Não precisamos aceitar que meninas tenham suas fotos usadas para imagens sexualizadas geradas por IA... A Europa tem o poder de agir".

Embora a Lei de IA da UE exija que o conteúdo sintético seja rotulado como gerado por IA desde agosto, as regras atualmente se aplicam apenas a deepfakes gerados para uso comercial. A Comissão também culpa a distração digital pelo declínio nas habilidades básicas dos jovens.

Crianças que afirmam usar chatbots de IA para trabalhos escolares obtêm pontuações mais baixas em testes do que aquelas que não os utilizam, de acordo com pesquisas abrangendo 91 países da Organização para a Cooperação e Desenvolvimento Econômico. Preocupações sobre impactos cognitivos e a perda de habilidades "expõem a ausência de direitos das crianças no design das ferramentas de IA gerativa", escreveram pesquisadores da rede independente EU Kids Online em um relatório.