Ataque permitiu que a equipe acessasse a conta de funcionário da empresa no ChatGPT e, a partir dela, lesse arquivos e sugerisse alterações em repositório privado de software O post Pesquisadores usam Claude para invadir OpenAI e acessar sistema de código int…

Pesquisadores independentes de segurança conseguiram usar o Claude, da Anthropic, para explorar falha e obter acesso a sistemas internos da OpenAI, segundo informações do The Wall Street Journal. O ataque permitiu que a equipe acessasse a conta de um funcionário da empresa no ChatGPT e, a partir dela, lesse arquivos e sugerisse alterações em um repositório privado de software.

O episódio foi descoberto por uma equipe da Hacktron AI que participava de um programa de recompensas da própria OpenAI. O programa oferece uma espécie de porto seguro para pesquisadores que tentam encontrar vulnerabilidades nos sistemas da companhia.

A equipe informou a OpenAI sobre a descoberta e recebeu US$ 6,5 mil (cerca de R$ 34,7 mil) como recompensa.

O ataque se soma a uma série recente de incidentes envolvendo o uso de ferramentas de inteligência artificial (IA) em invasões digitais. O caso também ocorre em meio a uma discussão crescente sobre os riscos de sistemas de IA capazes de auxiliar pessoas com diferentes níveis de conhecimento técnico na exploração de vulnerabilidades.

Os pesquisadores descobriram que os tokens permitiam acessar o sistema de código da OpenAI conhecido como “Monorepo”.

Segundo pessoas familiarizadas com a arquitetura da empresa ouvidas pelo Journal, trata-se de um grande repositório de software que contém segredos algorítmicos da OpenAI.

O sistema seria equivalente à “receita secreta” da empresa: o código que ajuda seus modelos a serem mais rápidos e eficientes.

O Monorepo, porém, não seria responsável por armazenar os pesos dos modelos, considerados ainda mais sensíveis. Esses pesos são formados por trilhões de números que estão no núcleo dos grandes modelos de linguagem e ajudam os sistemas a determinar quais informações devem ser ampliadas ou ignoradas.

Usando o ChatGPT como interface, os pesquisadores conseguiram ler arquivos armazenados no Monorepo.

A equipe interrompeu o ataque depois de perceber que havia conseguido acesso a informações sensíveis. Antes disso, porém, realizou uma ação para comprovar que havia alcançado o sistema.

Os pesquisadores instruíram o chatbot a criar um pull request, uma sugestão de alteração em um arquivo do repositório.

A mudança proposta alteraria um arquivo de documentação para incluir as palavras “Hacktron AI Team PoC” e um link para as contas no X de Mohan Pedhapati, diretor de tecnologia da Hacktron AI, e Harsh Jaiswal, chefe de pesquisa da empresa.

A alteração não foi aceita, segundo os pesquisadores. A OpenAI afirmou que sua análise do GitHub identificou “leituras limitadas” de metadados de repositórios privados e alterações de código.

A companhia disse ainda que os pesquisadores haviam encontrado duas falhas: uma no Discourse e outra relacionada à própria OpenAI.

“ Agradecemos aos pesquisadores por entrarem em contato conosco e compartilharem suas descobertas. Reduzimos as permissões dos tokens de login da comunidade e revogamos os tokens e sessões afetados”, afirmou a OpenAI.

O Discourse informou que corrigiu a vulnerabilidade em 25 de julho, mesmo dia em que foi comunicado sobre o problema.

Para Mohan Pedhapati, o episódio demonstra o potencial que equipes avançadas de cibersegurança apoiadas por Estados poderiam ter para acessar segredos relacionados à IA.

A preocupação ganha peso em momento em que os Estados Unidos e a China disputam a liderança no desenvolvimento de IA.

“Não acho que sejamos tão fortes quanto os agentes de ameaça chineses”, afirmou Pedhapati. “Somos apenas três caras com assinaturas do Claude e do Codex.”

Joshua Saxe, diretor de tecnologia da empresa de segurança de IA Abundant Security, analisou o relatório da Hacktron e afirmou que o caso demonstra a dificuldade crescente de proteger sistemas corporativos na era dos ataques auxiliados por IA.