Embora os três líderes tenham alertado ao longo dos anos sobre os riscos da IA, uma desaceleração coordenada de fato tem poucos precedentes The post Amodei, Altman e Musk afirmam que é hora de desacelerar modelos de IA; o que explica? appeared first on InfoM…

(Bloomberg) –Os líderes das maiores plataformas de inteligência artificial do mundo afirmaram que é hora de desacelerar o ritmo de desenvolvimento de seus modelos mais avançados — e mais lucrativos —, citando os riscos crescentes da tecnologia.

O diretor executivo da Anthropic PBC, Dario Amodei, publicou um longo artigo em seu blog no sábado, afirmando que sua empresa implementaria novas medidas de segurança, como avaliações por terceiros, e conclamando o setor a apoiar uma redução mais ampla das atividades.

O diretor executivo da OpenAI, Sam Altman, prometeu rapidamente adotar a sugestão de Amodei de “avaliadores independentes com acesso semelhante ao de um funcionário”, enquanto Elon Musk, que dirige a xAI Corp., escreveu: “Dario está certo”.

Embora os três líderes tenham alertado ao longo dos anos sobre os riscos da IA, uma desaceleração coordenada de fato tem poucos precedentes em um setor implacável que historicamente lançou um produto após o outro em nome do aumento do engajamento do usuário, da conquista de participação de mercado e da busca por ganhos de vendas.

Mas a preocupação com os graves riscos da IA ​​começou a ganhar espaço na sociedade, impulsionada em parte pela renúncia de alto perfil, esta semana, de um pesquisador da revista Anthropic, devido a temores existenciais de que sua empresa estivesse agindo de forma irresponsável.

Saiba mais: “Mundo está em perigo”: por que este alerta sobre o risco da IA “quebrou” a internet?

Não está claro até que ponto as principais empresas de IA — que são rivais acirradas entre si e também enfrentam forte concorrência de empresas chinesas — irão impor novos limites ou verificações de segurança.

Também não está claro se as autoridades antitruste permitiriam que as empresas regulamentassem o desenvolvimento de forma coordenada. Além disso, há a questão empresarial: como reagiriam os investidores ávidos por margens e lucros à ideia de desaceleração?

Amodei citou dois fatores principais para sua nova cautela: a capacidade da IA ​​de se aprimorar e o recente incidente envolvendo a OpenAI e a Hugging Face, onde um enxame de agentes de IA colaborou para invadir um site de terceiros.

“Precisamos diminuir o ritmo com que aprimoramos as capacidades dos modelos de IA”, escreveu ele no sábado em uma postagem de blog. “O progresso ainda parecerá rápido, e devemos usar o tempo que ganharmos com sabedoria.”

Mas ele também afirmou que qualquer desaceleração deve ser equilibrada com a realidade da concorrência.

“Para sermos claros, o ritmo não significa interromper o treinamento do modelo ou o progresso técnico, mas sim garantir que as empresas reservem tempo suficiente para alinhar e proteger seus modelos, e para que avaliadores terceirizados confirmem isso”, escreveu Amodei.

Ao longo do boom da IA, executivos dos principais laboratórios de IA alertaram sobre potenciais riscos existenciais — alegações que às vezes foram descartadas como tentativas de comercializar as capacidades de seus produtos e se posicionar como os melhores gestores da tecnologia. O próprio Amodei já afirmou que há 25% de chance de as coisas darem “muito, muito errado”.

Autoridades do governo temem comprometer a liderança dos EUA sobre a China, uma vantagem desafiada por uma nova vanguarda de desenvolvedores chineses, incluindo a Moonshot AI

A Anthropic sempre se posicionou como uma empresa focada no desenvolvimento de IA de forma mais responsável e segura, para mitigar os potenciais perigos da tecnologia e maximizar os benefícios para a sociedade. No início deste ano, a empresa se esforçou para limitar o lançamento de seu modelo Mythos após determinar que ele representava ameaças únicas à segurança cibernética. A Anthropic também já afirmou que o mundo precisa de um sistema para decidir coletivamente quando diminuir o ritmo do desenvolvimento dessa tecnologia.

Ao mesmo tempo, a Anthropic permanece em uma acirrada competição com sua rival de longa data, a OpenAI, para desenvolver modelos cada vez mais sofisticados que possam automatizar tarefas mais complexas e valiosas para clientes corporativos. Ambas as empresas já protocolaram documentos confidenciais para abrir capital, e a expectativa é que a Anthropic faça sua estreia na Bolsa de Valores ainda este ano.

Pouco depois da divulgação do incidente de segurança da Hugging Face, a Anthropic revelou que seus modelos haviam comprometido três organizações durante testes de cibersegurança, aumentando as preocupações sobre a capacidade dos laboratórios de IA de impedir que sua tecnologia saia do controle. No início desta semana, a Anthropic afirmou ter descoberto um quarto ataque .

Embora nenhuma das violações de segurança envolvendo IA ativa, incluindo a da Hugging Face, tenha causado danos significativos até o momento, Amodei afirmou que sua preocupação é que “em 6 a 12 meses, um enxame desse tipo possa ser capaz de dominar toda a internet com uma botnet persistente (potencialmente causando prejuízos de centenas de bilhões de dólares), e que a escala dos danos continue a aumentar a partir daí”.

Amodei escreveu que a Anthropic se comprometerá a dar acesso total a avaliadores terceirizados para verificar as práticas de segurança e relatar incidentes. Ele disse que a Anthropic em breve integrará esses “avaliadores internos” aos seus escritórios e lhes fornecerá mesas, crachás, laptops da empresa e “permissões em grande parte comparáveis ​​às que as equipes internas de avaliação de riscos possuem”.

Ele afirmou que medidas adicionais exigirão coordenação em toda a indústria, bem como cooperação global.