Agentes de IA maliciosos da OpenAI sequestraram contas de usuários do Hugging Face e sondaram o próprio site em busca de vulnerabilidades já em maio, quase dois meses antes do ataque hacker ao site, de acordo com pesquisadores que analisaram a atividade.
A atividade maliciosa recentemente descoberta mostrou que os esforços dos agentes desonestos para encontrar uma maneira de entrar na Hugging Face começaram antes do que se sabia publicamente.
A OpenAI já havia divulgado um aspecto da atividade maliciosa — o roubo da credencial digital de um usuário da Hugging Face para acessar um arquivo relacionado à biologia — em seu relatório público de incidentes no mês passado. Porém, pesquisadores disseram à Reuters que as investigações contra a Hugging Face pareciam ir além do que foi descrito no relatório.
A atividade foi descoberta pelo pesquisador independente Jonas Wiedermann-Moeller na semana passada, conforme relatou à agência. Ele afirmou ter encontrado evidências de que os agentes da OpenAI comprometeram duas contas de usuário da Hugging Face e as utilizaram para enviar arquivos com formatação incomum aos servidores da empresa já em 13 de maio.
Ele e outros pesquisadores que analisaram as evidências disseram que o comportamento se assemelhava a uma tentativa de mapear ou testar partes da rede da Hugging Face em busca de maneiras de se infiltrar, embora tenham enfatizado que não havia evidências de que o esforço tenha resultado em uma violação real.
O porta-voz da OpenAI, Drew Pusateri, afirmou que a empresa divulgou o evento de 13 de maio, notificou a Hugging Face em caráter privado sobre a atividade sinalizada por Wiedermann-Moeller e está “comprometida com a transparência sobre essas questões e com o compartilhamento do que aprendermos à medida que nossa investigação continua”.
A Hugging Face, recentemente adquirida pela fabricante de chips Nvidia, não respondeu aos pedidos de comentários.
Wiedermann-Moeller, de 27 anos e residente em Bielefeld, na Alemanha, afirmou que a falha da OpenAI em detectar a sondagem de 13 de maio na época representou uma oportunidade perdida para prevenir a subsequente campanha de hackers, que desencadeou um debate global sobre o poder da inteligência artificial.
“Imagine se tivessem detectado esse comportamento em maio”, disse ele em entrevista. “Poderia ter evitado o incidente posterior, que foi muito maior”.
A OpenAI já havia afirmado que, com a vantagem da retrospectiva, “alguns sinais iniciais” de seus agentes de IA deveriam ter desencadeado uma resposta mais rápida.
“Sinal de aviso claro”
Dois especialistas externos que analisaram as descobertas de Wiedermann-Moeller disseram que elas eram consistentes com atividades previamente associadas aos agentes da OpenAI.
Tom Hegel, pesquisador sênior de ameaças da SentinelOne, afirmou que o sequestro de conta e a subsequente investigação correspondem a comportamentos já conhecidos por parte dos agentes. Sydney Von Arx, do Nightingale Collective, um grupo de segurança de IA, concordou.
Von Arx disse que o ataque cibernético representou um “claro sinal de alerta” que poderia ter ajudado a evitar a violação de segurança em julho.
A OpenAI tem enfrentado crescente escrutínio desde que a empresa revelou, em 21 de julho, que agentes de IA desonestos contornaram os controles internos, alcançaram a internet aberta e coordenaram ações que a OpenAI descreveu como “um incidente cibernético sem precedentes”.
Desde então, pesquisadores externos identificaram incidentes adicionais supostamente envolvendo agentes ligados à desenvolvedoras, incluindo atividades que afetaram um site wiki alemão inativo e o repositório de pacotes de software RubyGems.
A OpenAI só reconheceu alguns desses incidentes depois que eles foram relatados publicamente por terceiros. Duas pessoas familiarizadas com o assunto disseram que, no caso do RubyGems, os funcionários da OpenAI só perceberam que sua IA era responsável pela atividade maliciosa depois que o Nightingale Collective a descobriu.
As novas descobertas suscitaram questionamentos entre legisladores e defensores da segurança da IA sobre se a extensão total dos incidentes foi identificada.
Alguns dos principais executivos de IA dos Estados Unidos têm pedido uma desaceleração no desenvolvimento da IA, citando, entre outras coisas, a ameaça de ciberataques devastadores por agentes fora de controle.
Wiedermann-Moeller afirmou que as últimas descobertas reforçaram os apelos por uma desaceleração temporária no desenvolvimento de sistemas avançados de IA.
“Uma pausa talvez fizesse bem ao mundo”, disse ele, “para que a parte de segurança possa se recuperar”.