Inovação em memória promete superar limitações de GPU e HBM com o módulo de memória condicional ENGAM

Engram: Um Novo Avanço em Modelos de IA

A DeepSeek divulgou um novo artigo técnico que apresenta uma abordagem inovadora para modelos de inteligência artificial, batizada de Engram. Este método utiliza um banco de dados acessível que é armazenado na memória do sistema, proporcionando um desempenho superior em consultas de longo contexto. Ao registrar sequências de dados na memória estática, a técnica permite que as placas gráficas (GPUs) se concentrem em tarefas mais complexas, melhorando a eficiência e reduzindo a dependência de memórias de alta largura de banda (HBM).

O artigo explica como os N-grams, ou sequências estatísticas de palavras, são integrados nas redes neurais do modelo, criando um banco de memória consultável. Assim, ao invés de processar informações de maneira custosa, os modelos conseguem “lembrar” fatos quando necessário.

Reduzindo a Dependência de HBM

A necessidade de HBM, especialmente em aceleradores de IA, é um desafio enfrentado por diversas tecnologias, incluindo a série Ascend da Huawei. Com a demanda crescente, facilitar a dependência de HBM dos modelos de IA pode melhorar significativamente a eficiência. O Engram separa a memória estática da potência computacional dos modelos, permitindo que as GPUs se dediquem à razão, o que resulta em sistemas baseados em Engram mais rápidos e eficazes do que modelos tradicionais.

Um modelo baseado em Engram com quase 27 bilhões de parâmetros superou os modelos convencionais em treinamentos de longo contexto, eliminando desperdícios computacionais ao armazenar informações externamente. Modelos tradicionais podem perder tempo reconstruindo dados, enquanto o Engram simplifica esse processo.

Diferenças em Relação ao KVCache

Enquanto o KVCache da Nvidia atua como uma solução temporária, armazenando dados recentes em memória NVMe, o Engram oferece um armazenamento mais robusto e permanente. O KVCache se assemelha a anotações rápidas, enquanto o Engram representa uma enciclopédia completa — uma ferramenta duradoura que otimiza a eficiência do modelo.

Hashing e Alocação Perfeita

A metodologia de Engram utiliza compressão de tokens para reduzir o tamanho do vocabulário em seu módulo de memória condicional, facilitando a análise rápida de informações. A abordagem de hashing aplicada aos dados garante que cada termo seja utilizado de forma precisa, levando a uma alocação ideal entre parâmetros de Engram e MoE dentro do modelo.

Implicações para a Indústria de IA

Experimentos com o Engram revelaram que, se a memória condicional for ampliada quase sem limites, o desempenho dos modelos pode continuar aumentando sem expandir o orçamento computacional, o que poderia mudar drasticamente o panorama da indústria de IA. A capacidade de armazenar informações de forma mais eficiente e acessível é uma promessa de inovação que pode mitigar a crise atual de fornecimento de DRAM.

Os resultados obtidos com modelos de 27 bilhões de parâmetros mostraram ganhos significativos em tarefas que exigem conhecimento, e em tarefas de raciocínio também. O incremento na precisão em benchmarks de longo contexto foi notável, sugerindo que a tecnologia Engram pode resolver desafios históricos encontrados em modelos de IA.

Futuro Promissor

Com os impactos do Engram podendo ser significativos, há rumores sobre a DeepSeek anunciar novos modelos de IA em breve, potencialmente aproveitando essa metodologia. Embora os resultados sejam promissores em testes, a verdadeira efetividade em implementações reais ainda está para ser verificada. Se as expectativas se concretizarem, a DeepSeek pode estar em um momento decisivo no desenvolvimento de inteligência artificial.

O Engram representa um avanço fascinante e abre novas possibilidades para o futuro da inteligência artificial.