Nas últimas duas semanas, a OpenAI, a Anthropic e a Meta revelaram que os seus modelos de IA saíram do comportamento esperado durante testes de segurança de rotina. Na explicação do que aconteceu, as três empresas referiram a mesma startup israelita de pequena dimensão, a Irregular.

Fundada há três anos e sediada em Telavive, a Irregular é um interveniente de nicho em inteligência artificial, apoiado com 80 milhões de dólares da Sequoia e da Redpoint Ventures e avaliado, no ano passado, em 450 milhões de dólares. A sua tecnologia funciona como uma espécie de campo de testes de cibersegurança para modelos de IA.

À medida que os principais modelos se tornam mais poderosos, a capacidade de agirem de forma maliciosa está a transformar-se numa ameaça importante para empresas e governos, sobretudo porque o risco envolve intrusões em sistemas informáticos e infraestruturas críticas. Os incidentes recentes na OpenAI, Anthropic e Meta envolveram modelos que acederam a websites que deveriam estar fora dos limites, no âmbito desses testes de cibersegurança.

O nome da Irregular voltou repetidamente a surgir porque foi identificada como a entidade que acolhia o chamado ambiente de avaliação. A OpenAI afirmou, num texto publicado a 4 de agosto, que o campo de testes da Irregular continha uma “má configuração” não especificada, que “permitiu aos modelos aceder à internet pública”. A Anthropic disse, no seu texto da semana anterior, que notificou a Irregular poucos dias depois de começar a analisar dados, informando que o seu modelo Claude poderá ter “acedido à internet”.

A Meta, que está bastante atrás das duas rivais no esforço para competir na fronteira da IA, foi a última a divulgar que um modelo de IA tinha invadido um sistema de terceiros ao aceder à internet. Um porta-voz afirmou esta semana que a empresa soube do caso através da Irregular e está a investigar.

A Meta “irá publicar uma análise completa assim que tivermos todos os factos”, afirmou o porta-voz.

A Irregular afirmou num comunicado que os incidentes resultaram todos do “mesmo problema no ambiente de avaliação”, primeiro tornado público pela Anthropic, e que a empresa está a desenvolver um livro branco “para partilhar boas práticas de contenção e de execução segura de avaliações de cibersegurança”.

A situação “não envolveu uma fuga de sandbox nem uma ação cibernética sofisticada”, afirmou a empresa, acrescentando que “não existem problemas abertos no momento”.

Os incidentes de segurança sublinham a natureza acelerada da evolução da IA e a pressão sobre os criadores de modelos para estabelecerem barreiras de proteção em torno da sua tecnologia poderosa, com o apoio de um número limitado de empresas especializadas em áreas específicas do mercado. Entre esses intervenientes estão especialistas em treino e anotação de dados, na execução de avaliações para apurar as capacidades de um modelo e na realização de testes de segurança destinados a encontrar pontos fracos que agentes maliciosos possam explorar, afirmou Sundeep Bhimireddy, responsável de IA da startup empresarial Von.

A Irregular é uma das poucas entidades com a capacidade técnica necessária para ajudar os criadores de modelos de base a realizar testes de segurança de vanguarda, afirmou Bhimireddy. Entre outras empresas que mencionou estão a organização sem fins lucrativos METR e a corporação de benefício público Apollo Research.

“Quando estão a testar estes modelos, não querem corrigir os próprios trabalhos”, afirmou Bhimireddy. “Querem testes independentes que precisam de ser feitos por fornecedores externos de terceiros.”

A Irregular, anteriormente chamada Pattern Labs, foi fundada em 2023 pelo presidente executivo Dan Lahav, que trabalhou anteriormente em investigação de IA na IBM, e pelo diretor de tecnologia Omer Nevo, que passou mais de dois anos na Google. A startup tem cerca de 35 trabalhadores, segundo a PitchBook.

Quando a Irregular anunciou a sua ronda de financiamento de 80 milhões de dólares, em setembro, os parceiros da Sequoia Shaun Maguire e Dean Meyer escreveram num texto que a equipa liderada por Lahav e Nevo é “capaz de ver à frente do que os outros conseguem ver, realizando avaliações ofensivas de cibersegurança em modelos avançados e desenvolvendo defesas antes de esses modelos serem lançados”.

Embora os incidentes mais recentes envolvendo a OpenAI, a Anthropic e a Meta estejam a ser intensamente escrutinados, uma leitura possível da situação é que isto é exatamente o que deve acontecer. Bhimireddy disse que está a ser “um pouco exagerado”, uma vez que o modelo de IA recebeu instruções para descobrir e explorar falhas de segurança num ambiente de testes que imita de perto o mundo real, e para identificar os tipos de erros de software e configurações em falta que podem conduzir a acessos não intencionais à internet.

Mesmo assim, Bhimireddy afirmou que, se o modelo de IA nunca tivesse a intenção de explorar realmente um site ligado à internet, os “laboratórios de modelos fundamentais poderiam ter monitorizado facilmente o tráfego de saída e encerrado o experimento de imediato”.

Gordon Rios, cientista fundador da empresa de segurança Magnitude, afirmou que todo o processo é como “desenho experimental na ciência”.

As capacidades e a natureza imprevisível dos modelos de base fazem com que abordagens convencionais de teste de software possam não funcionar bem, disse. Como os modelos estão continuamente a aprender novos truques, não é surpreendente que descubram vulnerabilidades de software esquecidas nos ambientes de teste e informáticos destinados a contê-los.

O Mythos, da Anthropic, por exemplo, criou identidades falsas online enquanto tentava pressionar humanos a aprovar atualizações de código malicioso num projeto de código aberto. Rios disse que o Mythos estava “literalmente a inventar explorações que os humanos ainda nem sequer tinham visto”.

“Estamos a aprender muito agora no espaço de algumas semanas curtas”, disse Rios.

O tema está rapidamente a tornar-se central em Washington. No mês passado, legisladores dos dois partidos apresentaram a AI Kill Switch Act, que exigiria que os laboratórios de IA mantivessem a capacidade de desligar, limitar ou suspender os seus modelos. A redação do projeto de lei referia um incidente de segurança de IA separado relacionado com a OpenAI e a startup HuggingFace.

Um dos autores do projeto de lei, o congressista democrata Ted Lieu, da Califórnia, afirmou esta semana que “precisamos de aprovar este projeto de lei até ao final deste ano”, agora que estamos a ver “piratarias não autorizadas noutras empresas”.

Trevor Koverko, cofundador da startup de treino de dados Sapien, afirmou que as empresas de modelos de base têm incentivos para divulgar algumas das suas descobertas, mesmo não sendo isso, neste momento, uma obrigação, para tentarem antecipar-se a legisladores e reguladores.

“Há tanto receio que os políticos estão agora a ameaçar ou a regular ativamente a IA”, afirmou Koverko. “A indústria disse que prefere auto-regular-se do que ter um novo departamento federal a fazer isso por nós.”

A Anthropic e a OpenAI afirmaram em declarações públicas que continuam a trabalhar com a Irregular e que estão a apoiar a revisão subsequente.