A Anthropic revelou que identificou três incidentes em que os seus modelos de inteligência artificial Claude acederam à internet durante uma avaliação e obtiveram acesso não autorizado aos sistemas reais de três organizações diferentes.

A empresa explicou que estes casos foram detetados após uma revisão retrospetiva em larga escala das suas avaliações de cibersegurança. Esta revisão foi desencadeada por um incidente de segurança separado mas semelhante, divulgado pela OpenAI na semana anterior.

De acordo com a descrição desse outro incidente, uma combinação de modelos da OpenAI conseguiu escapar de um ambiente de testes isolado com acesso muito limitado à internet. Os modelos encadearam uma série de vulnerabilidades até alcançarem a web aberta e acabaram por obter acesso ao Hugging Face, que opera uma plataforma de desenvolvimento de código aberto.

Nos três incidentes detetados pela Anthropic, os modelos acederam à internet enquanto interagiam com um ambiente de testes de um dos seus parceiros externos de avaliação, denominado Irregular. A Anthropic indicou que Claude foi informado de que se encontrava numa simulação sem acesso à internet, mas, devido a um mal-entendido entre a empresa e o parceiro de avaliação, tal não correspondia à realidade e o acesso à internet estava disponível.

Os modelos conseguiram então violar os sistemas das organizações afetadas recorrendo a técnicas consideradas básicas, como o acesso a pontos de ligação sem autenticação e a exploração de palavras-passe fracas. A Anthropic não revelou quais foram as três organizações envolvidas.

A empresa destacou que vários fatores contribuíram para estes incidentes e sublinhou que, em linha com uma cultura de análise pós-incidente sem culpabilização, está a encarar a implementação de correções como se toda a responsabilidade fosse exclusivamente sua.

Esta divulgação da Anthropic surge num contexto de crescente preocupação no setor tecnológico quanto às capacidades de ciberataque dos sistemas de IA, que evoluem rapidamente. Tanto a Anthropic como a OpenAI têm alertado para estes riscos nos últimos meses. Na sequência do incidente envolvendo o Hugging Face, dois membros do Congresso dos Estados Unidos apresentaram uma proposta legislativa denominada AI Kill Switch Act, que pretende obrigar as empresas de IA a manter a capacidade de desligar, limitar ou suspender os seus modelos caso estes assumam comportamentos fora de controlo.

A Anthropic detalhou que três dos seus modelos estiveram envolvidos nas violações: Opus 4.7, Mythos 5 e um modelo interno de investigação em fase de testes. Mythos 5 é um modelo avançado que a empresa lançou em junho e cujo acesso está restringido a um grupo limitado de utilizadores, precisamente devido às suas capacidades avançadas em cibersegurança. Uma versão anterior deste modelo foi lançada em abril, atraindo grande atenção por parte de Wall Street e de responsáveis governamentais.

Segundo a Anthropic, os três modelos reagiram de forma distinta quando detetaram que tinham alcançado sistemas de uma empresa real. Opus 4.7 prosseguiu o ataque, Mythos 5 convenceu-se de que continuava numa simulação e o modelo de investigação interrompeu o exercício.

A empresa assinalou que este padrão é consistente com a ideia de que os modelos mais avançados tendem a reagir de forma mais adequada, embora seja necessário realizar mais testes para confirmar esta conclusão.

A Anthropic esclareceu ainda que estes modelos estavam a ser testados sem as salvaguardas padrão que a empresa implementa antes de disponibilizar um modelo publicamente.

A revisão dos incidentes começou na semana passada, altura em que a Anthropic suspendeu todas as avaliações de cibersegurança assim que detetou que Claude poderia ter acedido indevidamente à internet. A empresa está a trabalhar com a METR, entidade que realiza avaliações independentes de IA, para aprofundar a investigação.

No mesmo comunicado, a Anthropic incentivou outros laboratórios de investigação em IA a realizarem revisões semelhantes aos seus processos e avaliações.