Esses alertas devem ser levados a sério. Mas existe outra pergunta que também merece atenção O post IAs podem acabar com o mundo? A mensagem que você ainda não entendeu apareceu primeiro em Olhar Digital.

Por John Park, especialista em inteligência artificial e Founding Member of Technical Staff da AGI Inc.As recentes advertências de pesquisadores que deixaram empresas como Anthropic e OpenAI reacenderam uma questão que há algum tempo acompanha o desenvolvimento da inteligência artificial: quão perigosa a IA avançada pode se tornar?

Esses alertas devem ser levados a sério. A própria Anthropic, por exemplo, desenvolveu políticas específicas para lidar com riscos catastróficos associados a modelos cada vez mais avançados. A discussão sobre segurança não é hipotética nem deve ser tratada como uma simples disputa de narrativas entre empresas de tecnologia.

Mas existe outra pergunta que também merece atenção: quando uma empresa afirma que sua tecnologia é extraordinariamente poderosa, transformadora e potencialmente perigosa, o que essa mensagem comunica a investidores e formuladores de políticas públicas?

Anthropic e OpenAI deram passos formais em direção a possíveis ofertas públicas de ações. A Anthropic, por exemplo, pode começar a apresentar sua proposta a investidores já em outubro, enquanto investidores discutem uma possível avaliação de até US$ 2 trilhões.

Minha preocupação aqui não é questionar se Anthropic ou OpenAI merecem suas respectivas avaliações. É reconhecer que existe uma conexão natural entre a maneira como as empresas de IA de fronteira descrevem suas tecnologias e o valor econômico que o mercado pode atribuir a elas.

Considere a narrativa criada quando uma empresa enfatiza que seus modelos não são apenas poderosos, mas poderosos o suficiente para transformar a sociedade e, ao mesmo tempo, gerar riscos sem precedentes.

A primeira mensagem é que a tecnologia é extraordinariamente capaz. A segunda é que seu impacto potencial pode ser extraordinariamente grande.

E a terceira, que pode surgir naturalmente na cabeça dos investidores, é que a empresa responsável por desenvolver essa tecnologia pode capturar um valor econômico extraordinário.

Não estou afirmando que isso seja necessariamente uma estratégia deliberada para inflar avaliações. Estou dizendo que essas ideias se reforçam mutuamente.

Uma empresa não precisa afirmar explicitamente que sua tecnologia justifica determinada avaliação para que os investidores façam essa associação por conta própria.

Isso também não significa que os riscos sejam inventados ou exagerados. Uma tecnologia pode, de fato, ser revolucionária e representar riscos reais sem necessariamente gerar lucros proporcionais à sua importância tecnológica.

É justamente por isso que precisamos separar três questões diferentes: quão poderosa é uma tecnologia, quão perigosa ela pode ser e quanto valor econômico a empresa que a desenvolve conseguirá capturar.

Essas três coisas podem estar relacionadas, mas não são a mesma coisa.

Sou favorável a requisitos de segurança para sistemas de IA de alto risco. Se determinados modelos podem causar danos em escala significativa, é razoável exigir avaliações de segurança, transparência e mecanismos de controle.

O problema começa quando as regras passam a refletir as estruturas, os recursos financeiros e a infraestrutura das maiores empresas do setor.

Uma regulamentação que exige equipes enormes, processos complexos, auditorias caras ou níveis de computação que apenas as maiores empresas conseguem sustentar pode, na prática, criar barreiras à entrada — mesmo que essa não tenha sido sua intenção original.

A regulação deveria ser proporcional ao risco, e não ao tamanho ou ao poder de mercado da empresa. A experiência recente da Califórnia ajuda a ilustrar esse debate.

Em 2024, o estado aprovou o SB 1047, projeto que estabelecia requisitos de segurança para desenvolvedores de alguns dos modelos de IA mais poderosos, incluindo medidas destinadas a prevenir danos catastróficos. O governador Gavin Newsom vetou a proposta, argumentando, entre outros pontos, que ela não levava suficientemente em consideração como e onde os sistemas de IA seriam efetivamente utilizados.

Um ano depois, a Califórnia aprovou o SB 53, criando uma estrutura diferente de segurança para desenvolvedores de modelos de fronteira. A legislação estabeleceu requisitos de transparência e práticas de segurança que atingem principalmente os grandes desenvolvedores desse tipo de tecnologia.

O debate em torno dessas propostas também mostrou como as próprias empresas de IA participam ativamente da construção das regras que irão governar o setor. A Anthropic, por exemplo, apoiou uma versão modificada do SB 1047, enquanto a OpenAI adotou uma posição diferente e defendeu uma abordagem federal.