Novo servidor de IA de empresa impressiona com 2 TB de RAM e preço surpreendente

Um usuário do Reddit recentemente surpreendeu a comunidade r/pcmasterrace ao compartilhar imagens do novo “brinquedo” da sua empresa: um servidor de Inteligência Artificial que custou impressionantes US$ 350 mil, equivalente a cerca de R$ 1,8 milhão.

O destaque dessa poderosa máquina são suas dez GPUs NVIDIA H100, cada uma equipada com 80 GB de memória HBM3, totalizando 800 GB de VRAM. Essa configuração impressionante permite carregar modelos de linguagem gigantes, como o LLaMA 3.1, que tem 405 bilhões de parâmetros, completamente na memória de vídeo.

A “ostentação” técnica não para nas GPUs. A máquina conta com dois processadores Intel Xeon Platinum 8488C, que oferecem 112 núcleos físicos e 224 threads. Além disso, a memória RAM é de 2 TB (2.048 GB) de DDR5, ocupando todos os slots disponíveis na placa-mãe. Para completar, o poder de cálculo da máquina chega a quase 10 petaFLOPS em operações de IA, uma marca impressionante para um único chassi.

A escolha de comprar em vez de alugar esse tipo de hardware faz sentido quando a carga de trabalho é previsível e constante. Treinar modelos proprietários com dados sensíveis ou gerenciar ambientes controlados de MLOps são situações onde ter o equipamento próprio ajuda a evitar latência de rede, flutuações nos preços de serviços em nuvem e a dependência da disponibilidade de instâncias, que ainda é escassa para GPUs H100 em provedores populares.

#IA #Tecnologia #NVIDIA #Servidores #InteligênciaArtificial [