O DiffusionGemma inaugura uma nova abordagem para geração de texto com inteligência artificial, priorizando velocidade extrema e abrindo caminho para futuras arquiteturas capazes de responder em tempo quase instantâneo. O post Google lança DiffusionGemma, um …

Principais destaques

A evolução da inteligência artificial tem sido marcada por avanços constantes em qualidade, capacidade de raciocínio e eficiência. Agora, o Google DeepMind aposta em uma direção diferente: aumentar drasticamente a velocidade com que os modelos de linguagem produzem texto.

A empresa anunciou o lançamento do DiffusionGemma, um novo modelo experimental de código aberto que utiliza uma arquitetura baseada em difusão para gerar conteúdo de forma paralela. A proposta representa uma ruptura com a abordagem que domina praticamente todos os grandes modelos de linguagem atuais, incluindo aqueles utilizados em chatbots, assistentes virtuais e ferramentas de programação.

Segundo o Google, a nova arquitetura permite produzir respostas muito mais rapidamente em determinados cenários, alcançando velocidades de inferência que podem ser até quatro vezes superiores às obtidas por modelos autorregressivos tradicionais de tamanho semelhante.

O lançamento também reforça o compromisso da empresa com o ecossistema aberto de inteligência artificial, permitindo que pesquisadores, universidades e desenvolvedores explorem uma tecnologia que pode ajudar a definir os próximos passos da indústria.

Para entender a importância do DiffusionGemma, é necessário observar como os modelos de linguagem funcionam atualmente.

A grande maioria dos sistemas modernos utiliza uma abordagem chamada autorregressiva. Nesse método, a inteligência artificial gera uma palavra, símbolo ou fragmento de texto por vez. Após criar um token, ela calcula qual será o próximo, repetindo o processo até concluir a resposta.

Esse sistema oferece excelente qualidade e coerência textual, mas possui uma limitação importante: a geração é essencialmente sequencial. Isso significa que cada etapa depende da anterior, criando um limite natural para a velocidade.

O DiffusionGemma propõe uma alternativa inspirada em técnicas de difusão que ganharam notoriedade inicialmente na geração de imagens. Em vez de construir o texto gradualmente, o modelo cria e refina múltiplos tokens simultaneamente.

Na prática, o sistema consegue produzir até 256 tokens em paralelo durante cada passagem de processamento. Isso reduz significativamente a necessidade de cálculos sequenciais e transfere o principal gargalo da operação para a capacidade bruta de processamento da GPU.

Essa mudança arquitetural pode parecer técnica à primeira vista, mas tem implicações profundas. Em aplicações onde a velocidade é um fator crítico, como edição instantânea de documentos, autocompletar de código ou sistemas de resposta em tempo real, cada milissegundo economizado faz diferença.

Outro aspecto que chama atenção é a estrutura interna do modelo.

O DiffusionGemma possui 26 bilhões de parâmetros, um número que o coloca entre os sistemas mais robustos da família Gemma. No entanto, graças ao design conhecido como Mixture of Experts (MoE), apenas uma pequena parcela desses parâmetros é utilizada em cada tarefa.

Durante a inferência, aproximadamente 3,8 bilhões de parâmetros são ativados. Isso permite que o modelo mantenha um elevado potencial computacional sem exigir a execução completa de todos os seus componentes a cada resposta.

Essa estratégia traz benefícios importantes para eficiência e custos operacionais. Após processos de quantização, o modelo pode ser executado utilizando cerca de 18 GB de VRAM, tornando possível sua utilização em placas gráficas avançadas voltadas para consumidores.

Em um momento em que muitas empresas enfrentam desafios relacionados ao alto custo de infraestrutura para IA, essa característica pode aumentar significativamente a acessibilidade da tecnologia.

Além disso, pesquisadores independentes e pequenos laboratórios passam a ter condições mais realistas de experimentar arquiteturas avançadas sem depender exclusivamente de grandes datacenters.

Grande parte do potencial do DiffusionGemma está ligada à sua otimização para hardware moderno.

O Google informou que trabalhou em colaboração direta com a Nvidia para garantir compatibilidade e desempenho em diversas plataformas. Isso inclui desde placas voltadas ao mercado consumidor até sistemas empresariais utilizados em ambientes de pesquisa e computação de larga escala.

Entre os equipamentos compatíveis estão as GPUs GeForce RTX 4090 e RTX 5090, além das arquiteturas Hopper e Blackwell utilizadas em aceleradores profissionais.