O Google admitiu que seu modelo de inteligência artificial (IA) Gemini também foi responsável por invadir três empresas reais, após escapar do ambiente de testes devido a um erro que permitiu obter acesso à internet.
O episódio soma-se aos incidentes semelhantes relatados pela OpenAI, Anthropic e Meta.
Como foi o teste
Nos testes, foi solicitado ao Gemini que tentasse obter informações de uma empresa fictícia.
No entanto, o modelo acabou acessando uma empresa real que, por coincidência, usa o mesmo nome, aproveitando uma vulnerabilidade no sistema de testes para acessar a internet.
Foi isso que o Google especificou em declarações ao The Wall Street Journal, onde explicou que esses incidentes ocorreram durante o mês de maio como parte de um teste realizado nas infraestruturas da Irregular, que é a mesma empresa responsável pelos testes executados com modelos de IA de outras empresas, como é o caso da OpenAI e da Anthropic.
Mais especificamente, foram identificados três incidentes causados pelo Gemini ao testar uma simulação conhecida como "captura da bandeira".
Em um deles, o modelo tentou adivinhar senhas até conseguir acessar um sistema protegido de uma empresa real.
Por outro lado, os outros dois incidentes ocorreram porque o modelo pesquisou na internet o nome da empresa em questão e encontrou credenciais de outras empresas em um repositório público, o que também lhe permitiu acessar sistemas protegidos de outras duas empresas.
Em todos os casos, embora o modelo não pudesse acessar a internet e devesse permanecer isolado no ambiente de testes, um erro no sistema permitiu que o Gemini realizasse a pesquisa na web de forma "involuntária". Além disso, os incidentes ocorreram com uma versão anterior do Gemini.
Apesar de ter obtido esses acessos não autorizados, o Google garantiu que o Gemini interrompeu suas atividades assim que identificou que havia acessado os sistemas de empresas reais.
Da mesma forma, embora não tenha divulgado o nome das empresas hackeadas, informou que todas as três foram notificadas sobre esses incidentes.
Por sua vez, a Irregular afirmou ao The Wall Street Journal que os problemas em seu sistema de testes foram resolvidos "há semanas".
No entanto, o Google explicou que a Irregular comunicou esses incidentes no final de julho, após o "hack" ao Hugging Face por parte dos modelos da OpenAI, embora a gigante da tecnologia só tenha divulgado isso agora em declarações ao veículo de mídia citado.
Conforme detalhado, isso se deve ao fato de que não consideram que os "ataques" ocorridos tenham sido uma falha, já que não causaram danos às empresas em questão e o modelo interrompia sua atividade assim que percebia que havia acessado uma empresa real, em vez de continuar no ambiente de testes com empresas simuladas.
"Nesse caso, o modelo agiu adequadamente", afirmou a respeito a vice-presidente de engenharia de segurança do Google, Heather Adkins, em declarações ao veículo de comunicação citado, ao mesmo tempo em que ressaltou que esse tipo de incidente "destaca a importância de treinar modelos potentes de IA para que ajam de forma responsável".
Fora de controle
Trata-se do primeiro caso conhecido de um modelo de IA do Google que saiu do controle durante um teste de segurança cibernética.
No entanto, vale ressaltar que isso ocorreu juntamente com outros incidentes envolvendo modelos de outras empresas do setor.
Seis casos foram relatados à Hugging Face, seguidos pelo acesso a outros serviços e, recentemente, por seis novos casos de desalinamento, compartilhados no âmbito de uma nova estratégia para "o acompanhamento, a investigação e a divulgação de casos de desalinamento de modelos".
Empresas como a Anthropic e a Meta também sofreram incidentes com o mesmo modus operandi, cujos modelos também ficaram fora de controle e acabaram invadindo empresas nos últimos meses.
