Equipe liderada pela Huawei afirma ter aprimorado o modelo de 1,6 trilhão de parâmetros do DEEPSEEK com 1.000 chips Ascend 910C em treinamento

Um grupo de pesquisa, que inclui a Huawei Technologies, anunciou a conclusão do treinamento completo do modelo V4-Pro da DeepSeek, que possui 1,6 trilhões de parâmetros. Essa operação foi realizada utilizando um cluster com pelo menos 1.000 chips Huawei Ascend 910C, conforme reportado pelo governo municipal de Shenzhen.

Esse avanço demonstra que os aceleradores chineses estão finalmente capazes de lidar com cargas de trabalho voltadas para treinamento utilizando silício nacional, uma área onde as empresas chinesas enfrentaram dificuldades devido às restrições de exportação dos EUA que dificultam a transição do hardware da Nvidia. O trabalho foi realizado em parceria com o Instituto da Área Loop de Shenzhen, o campus de Shenzhen do Instituto de Tecnologia de Harbin e o Instituto de Pesquisa de Big Data de Shenzhen.

O Ascend 910C é o principal acelerador de IA da Huawei e mostrou ter um desempenho próximo de 60% em relação ao Nvidia H100 em testes anteriores realizados pela DeepSeek. Os chips chineses têm se mostrado competitivos em tarefas de inferência, onde um modelo finalizado responde a perguntas, mas ainda são frágeis no treinamento, que envolve o ajuste do modelo em grandes conjuntos de dados. A equipe da DeepSeek informou que o treinamento completo envolveu a atualização de todos os pesos do modelo, ao invés de apenas adicionar uma camada adaptadora.

O treinamento pós-treinamento, por sua vez, é a etapa que ajusta o comportamento do modelo, incluindo o seguimento de instruções e a integração de dados específicos para tarefas. Realizar essa fase no silício Ascend é um verdadeiro resultado para a plataforma, mas não prova que os chips podem realizar o pré-treinamento de um modelo de ponta desde o início, tarefa mais complexa e custosa.

Em agosto, surgiram relatos de que a DeepSeek não conseguiu completar nenhuma execução de treinamento bem-sucedida para seu modelo R2 utilizando chips Ascend, mesmo com engenheiros da Huawei presentes, citando problemas de desempenho instável e limitações no software CANN, que substitui o CUDA da Nvidia. Em decorrência, a empresa acabou recorrendo aos GPUs da Nvidia para o treinamento.

A alegação de Shenzhen, no entanto, não apresenta benchmarks, não informa a duração do treinamento nem como se compara a desempenhos anteriores com hardware da Nvidia, levantando dúvidas sobre a credibilidade dessa informação, que se junta a uma série de declarações sem respaldo concreto vindas do estado chinês. A DeepSeek não fez comentários a respeito.