Pesquisadores alertam que o avanço acelerado da IA pode superar a capacidade de controle humano, colocando segurança, alinhamento e automelhoria recursiva no centro do debate. O post Pesquisador da DeepMind deixa equipe de segurança e alerta para riscos da IA…

Principais destaques

A corrida para construir sistemas de inteligência artificial cada vez mais capazes ganhou um novo capítulo de tensão dentro dos próprios laboratórios que estão liderando esse desenvolvimento.

Josh Engels, pesquisador que trabalhava com segurança e interpretabilidade no Google DeepMind, deixou a empresa e passou a integrar a METR, organização independente sem fins lucrativos especializada em avaliar capacidades e riscos de sistemas avançados de IA.

A mudança chama atenção não apenas pela saída de um profissional de uma das empresas mais importantes do setor, mas também pelo motivo apresentado por Engels. O pesquisador afirma estar preocupado com a possibilidade de os sistemas avançarem para níveis de capacidade que a humanidade ainda não sabe controlar adequadamente.

Em uma publicação nas redes sociais, Engels confirmou que havia deixado o Google DeepMind e que estava começando uma nova etapa na METR.

A mensagem publicada pelo pesquisador também deixa claro que sua decisão não foi motivada por uma experiência negativa na empresa. Pelo contrário, Engels afirmou que seu período no DeepMind foi muito positivo.

O que mudou foi a avaliação sobre onde seu trabalho poderia ter maior impacto neste momento.

Na METR, ele pretende atuar em investigações relacionadas a incidentes de desalinhamento, buscando produzir evidências públicas sobre situações em que sistemas de IA apresentam comportamentos diferentes daqueles esperados por seus desenvolvedores.

“Acho que precisamos de mais tempo.”

A ideia resume uma das principais preocupações que vêm ganhando espaço entre especialistas em segurança de IA: não basta desenvolver métodos para tornar os modelos mais inteligentes. É preciso garantir que as ferramentas utilizadas para avaliar e controlar esses sistemas também acompanhem a evolução.

A própria METR descreve seu trabalho como uma tentativa de medir quando e como sistemas avançados de IA podem representar riscos graves para a sociedade. A organização já trabalhou com empresas como OpenAI, Anthropic, Google DeepMind, Meta e Amazon em avaliações de modelos e riscos.

Um dos conceitos centrais nessa discussão é a chamada automelhoria recursiva.

A ideia é relativamente simples. Um sistema de IA suficientemente capaz poderia ajudar pesquisadores a criar modelos melhores, encontrar métodos de treinamento mais eficientes, desenvolver novas ferramentas ou identificar maneiras de superar suas próprias limitações.

Esse processo poderia criar um ciclo.

IA mais capaz → pesquisa mais eficiente → modelos melhores → IA ainda mais capaz.

O problema começa quando esse ciclo passa a acontecer em uma velocidade superior à capacidade dos seres humanos de analisar o que está acontecendo.

Hoje, empresas ainda conseguem realizar testes, impor limites de acesso e observar o comportamento dos modelos antes de colocá-los em determinadas aplicações. Mas, quanto maior a autonomia e a capacidade de um sistema, mais difícil pode se tornar prever todas as maneiras pelas quais ele poderá utilizar suas ferramentas.

É essa possibilidade que preocupa Engels.

O receio não é simplesmente que uma IA fique mais inteligente. A questão é o que acontece quando inteligência, autonomia, capacidade de executar tarefas e acesso a ferramentas começam a se combinar em um único sistema.

Modelos atuais já conseguem escrever código, pesquisar informações, operar ferramentas, analisar grandes volumes de dados e executar sequências de tarefas com pouca intervenção humana.