Nvidia integra chips Groq para acelerar respostas de inteligência artificial

Imagem gerada com IA

A Nvidia, líder global em tecnologia, anunciou a integração dos racks Groq 3 LPX em sua neocloud Nebius, com previsão de operação ainda este ano. A iniciativa visa acelerar drasticamente as respostas de sistemas de inteligência artificial, um avanço crucial para diversas aplicações.

Este movimento estratégico segue a aquisição de ativos da Groq pela Nvidia, em um negócio avaliado em US$ 20 bilhões. O principal objetivo é a inferência de baixa latência, que promete diminuir o tempo entre um comando do usuário e a resposta da IA, beneficiando especialmente áreas como programação, onde a agilidade é essencial.

Tecnologia Groq: Inovação em Data Centers

Na neocloud Nebius, os novos racks Groq 3 LPX serão instalados em conjunto com os processadores Vera e as GPUs Rubin, conforme confirmado por Dion Harris, diretor sênior da Nvidia. A arquitetura inovadora da Groq integra 500 MB de memória SRAM de alta velocidade diretamente no chip, uma estratégia que minimiza gargalos no acesso à memória durante a execução dos modelos de IA.

Cada rack Groq 3 LPX reúne 256 chips Groq 3, alcançando uma velocidade de 3.400 tokens por segundo, um dado validado por benchmarks da Artificial Analysis. Essa capacidade é fundamental para a tecnologia priorizar a inferência de baixa latência, resultado direto do investimento de US$ 20 bilhões da Nvidia na aquisição dos ativos da Groq.

Estratégia Híbrida: GPUs e Chips Groq

É importante ressaltar que a tecnologia da Groq não visa substituir as GPUs, mas sim complementar suas funcionalidades. Os chips Groq se concentram na etapa de “decode” da inferência, crucial para a geração de tokens que formam as respostas dos modelos de IA. As GPUs, por sua vez, continuam sendo fundamentais para o treinamento e inferência mais ampla, oferecendo maior flexibilidade para diferentes modelos e tecnologias.

Dion Harris enfatiza que “Isso não significa substituir as GPUs. Trata-se de usar o preço certo e o processador certo para a parte certa da carga de trabalho”, conforme declaração à CNBC. Jensen Huang, CEO da Nvidia, já havia indicado que um quarto do espaço de data centers para aplicações de programação seria reservado aos chips Groq, com o restante dedicado aos sistemas Vera Rubin.

A Corrida pela Latência Mínima na IA

A busca por menor latência na inteligência artificial é um campo de intensa competição. Empresas como a AMD anunciaram a integração de seus sistemas com chips da Cerebras, enquanto a OpenAI introduziu seu modo Ultrafast, que promete 750 tokens por segundo, também impulsionado pela Cerebras. A Nvidia, ao expandir seus sistemas Vera Rubin e integrar a tecnologia Groq, solidifica sua posição nessa corrida, oferecendo soluções especializadas para diferentes demandas de processamento. A combinação estratégica de GPUs e chips Groq permite à Nvidia otimizar o desempenho onde o tempo de resposta é um fator crítico.

O Rio das Ostras Jornal acompanha as inovações que moldam o futuro da tecnologia.