Jacob Coxon afirma que corrida por modelos capazes de se aprimorar pode levar a sistemas que escapem ao controle humano O post Anthropic: pesquisador deixa empresa por medo de IA “sair do controle” apareceu primeiro em Olhar Digital.

Um pesquisador da Anthropic decidiu deixar a indústria de inteligência artificial (IA) por temer que a corrida entre empresas do setor esteja levando ao desenvolvimento de sistemas que, no futuro, poderão escapar do controle humano.

Jacob Coxon, de 27 anos, trabalhava na Anthropic com treinamento de novos modelos de IA a partir do processamento de grandes volumes de dados. Ele deixou a empresa porque não quer participar do que considera uma corrida da indústria para criar sistemas capazes de melhorar a si próprios.

Segundo Coxon, esses modelos poderiam evoluir rapidamente a ponto de se tornarem impossíveis de controlar e, em cenário extremo, representar uma ameaça à humanidade.

O pesquisador, que estudou matemática anteriormente, afirmou que colegas do setor passaram a utilizar expressões como “crunchtime” e “endgame” para descrever o caminho em direção a modelos capazes de autoaperfeiçoamento.

“Estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, afirmou Coxon.

Para ele, a competição entre empresas estadunidenses e novas companhias chinesas torna inevitáveis determinados compromissos entre segurança e velocidade de desenvolvimento.

Coxon também citou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos associados ao avanço das capacidades dos sistemas.

Alguns desses modelos operaram em grupos de agentes colaborativos e demonstraram comportamentos considerados problemáticos, incluindo a adoção de objetivos potencialmente prejudiciais e tentativas de esconder suas ações dos seres humanos.

Na avaliação de Coxon, o risco aumenta caso os sistemas passem a conseguir melhorar suas próprias capacidades. Nesse cenário, eles poderiam avançar a ponto de se recusarem a obedecer comandos humanos.

A saída de Coxon é apontada como um dos primeiros casos de um funcionário da Anthropic deixando a empresa especificamente por preocupações relacionadas à segurança da IA. No início deste ano, outro pesquisador que trabalhava com segurança deixou a companhia para estudar poesia e alertou que “o mundo está em perigo”.

Pesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, alegando preocupações semelhantes.

A preocupação não está restrita a pesquisadores que deixaram as empresas. Sam Altman, CEO da OpenAI, afirmou recentemente que os avanços da IA exigem atenção urgente, especialmente na área de segurança cibernética.

“Eu acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência”, afirmou Altman durante uma reunião com autoridades do G20, na Carolina do Norte (EUA).

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de extrema cautela. “Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas”, escreveu Pachocki em uma publicação no domingo. Ele defendeu uma desaceleração coordenada entre as empresas e a intervenção dos governos.

Coxon, Pachocki e Amodei estão entre mais de mil pesquisadores de IA que recentemente assinaram uma declaração pedindo coordenação internacional dos governos para estabelecer um mecanismo capaz de desacelerar o desenvolvimento caso seja necessário controlar modelos que consigam melhorar suas próprias capacidades.

A discussão acontece em cenário de ausência de regulamentação federal específica para IA nos Estados Unidos.

O governo de Donald Trump adotou uma abordagem considerada mais flexível, priorizando o potencial econômico da tecnologia. Críticos, porém, argumentam que esse ambiente pode aumentar o risco de grandes ataques cibernéticos e outros danos associados ao avanço acelerado da IA.

O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos parlamentares que propõem limites mais rígidos para a tecnologia.

Na semana passada, os dois apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.

A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que pode estar entre as maiores já realizadas. A empresa busca avaliação de US$ 2 trilhões (cerca de R$ 10,4 trilhões) e tem enfatizado o desenvolvimento responsável da IA para atrair investidores.