Google DeepMind lança instituto para ampliar o debate sobre AGI, transparência dos modelos, segurança e avaliação independente de sistemas de IA de fronteira. O post Google DeepMind cria instituto para colocar a AGI no centro do debate apareceu primeiro em Go…

Principais destaques

A corrida pela inteligência artificial geral, a famosa AGI, ganhou mais uma arena de disputa. Só que, desta vez, a ideia não é lançar um modelo novo.

O Google e o Google DeepMind anunciaram na quarta-feira o DeepMind Institute, criado para ampliar a conversa sobre o futuro da AGI e colocar diferentes perspectivas na mesma mesa.

Na direção estão Shane Legg, cofundador da DeepMind, James Manyika, executivo do Google, e Demis Hassabis, presidente do Google DeepMind. Legg também assume a função de editor-chefe.

O instituto nasce com uma premissa curiosa para uma organização ligada a uma das maiores empresas de IA do mundo: as pessoas envolvidas não precisam concordar.

A própria apresentação afirma que Google, Google DeepMind e pesquisadores de outras partes do mundo provavelmente terão opiniões diferentes. E mais: essas opiniões podem mudar conforme novos dados e informações apareçam.

🔎 A ideia central: em vez de tratar a AGI como uma discussão com respostas prontas, o instituto quer acompanhar as mudanças na fronteira tecnológica e colocar as divergências em público.

A primeira coleção reúne quatro ensaios, abordando desde políticas econômicas para lidar com possíveis impactos da AGI até princípios para o florescimento humano.

Também entram na pauta a transparência do raciocínio dos modelos e uma proposta para avaliar sistemas de IA de fronteira.

Um dos textos foi escrito pelos pesquisadores de segurança da DeepMind Rohin Shah e Anca Dragan.

O argumento é direto: a redução da transparência dos modelos de IA não precisa ser tratada como um destino inevitável.

Modelos mais avançados podem realizar processos internos cada vez mais difíceis de observar e verificar. Para pesquisadores e reguladores, isso cria um problema bastante concreto: como fiscalizar um sistema quando fica mais difícil entender o caminho que ele percorreu até chegar a uma resposta?

É aí que aparece o conceito de “opaque serial depth”, usado para descrever a quantidade de computação sequencial que um modelo consegue executar sem produzir um registro de raciocínio que possa ser lido e analisado.

💡 O ponto de tensão: quanto mais poderosa e opaca fica uma IA, maior pode ser a distância entre aquilo que o sistema faz e aquilo que humanos conseguem efetivamente monitorar.

Os autores defendem que desenvolvedores e reguladores deveriam enfrentar explicitamente esse trade-off de segurança.

Entre as possibilidades discutidas estão limitar essa profundidade de computação opaca ou exigir que os desenvolvedores demonstrem que sistemas menos transparentes continuam oferecendo níveis equivalentes de monitorabilidade.

O segundo movimento importante aparece em um ensaio assinado por Demis Hassabis.

O executivo propõe a criação de um organismo de padrões para IA de fronteira liderado pelos Estados Unidos, responsável por avaliar os modelos mais avançados antes que eles sejam disponibilizados.

Inicialmente, a participação seria voluntária. As empresas poderiam enviar seus modelos para avaliação até 30 dias antes do lançamento.

A proposta, portanto, começa com uma espécie de período de teste para o próprio mecanismo de fiscalização.