Nova suíte de benchmark SPEC CPU 2026 foca em servidores e já tem resultados com Raspberry Pi 5! Ferramentas atualizadas oferecem mais testes e abrangem diversos sistemas.

A Standard Performance Evaluation Corporation, também conhecida como SPEC, está prestes a lançar uma nova versão de seu famoso benchmark SPEC CPU, após quase uma década. O SPEC CPU 2026 moderniza as cargas de trabalho incluídas na suíte e traz ainda mais benchmarks, mais do que dobrando a base de código do SPEC CPU 2017. Um ponto crucial deste lançamento é que a suíte foi projetada para ser portátil, permitindo a execução em uma ampla variedade de dispositivos, desde um Raspberry Pi até laptops com Windows em ARM, e servidores de alto desempenho.

Para os entusiastas, os dois benchmarks da SPEC mais conhecidos são o SPECviewperf, voltado para desempenho gráfico, e o SPEC Workstation, este último utilizado em análises de CPUs. Embora o SPEC CPU foque na performance da CPU, ele é mais direcionado a servidores do que para os melhores CPUs para jogos.

A suite atualizada inclui 52 testes, nove a mais do que a versão anterior, exigindo mais do que o dobro de linhas de código. A SPEC utiliza aplicações reais, mas elas são modificadas de diversas maneiras para se adequarem ao benchmark. Um dos principais focos, conforme descrito em seu documento técnico, é garantir resultados determinísticos de cada aplicação, o que envolve a remoção de fontes de não-determinismo. Por exemplo, a SPEC substituiu a função std::sort em C++ por std::stable_sort.

O documento técnico aponta que o objetivo fundamental é garantir que o benchmark execute uma quantidade idêntica de trabalho em espaço de usuário em todos os sistemas compatíveis, gerando resultados idênticos em cada execução dentro de uma determinada tolerância. Para atingir esse nível de rigor, cada candidato a benchmark passa por uma série de modificações.

Além de eliminar o não-determinismo, a SPEC adapta as aplicações para que sejam portáteis, garantindo que tudo seja escrito em C, C++ ou Fortran, com foco na execução em espaço de usuário. Segundo o documento, o alvo da SPEC é que pelo menos 95% do tempo de execução ocorra dentro do código do benchmark, minimizando a influência do sistema operacional.

A SPEC levou mais de três anos (de fevereiro de 2020 a março de 2023) coletando candidatos para a nova suite. O resultado foi a seleção de 70 aplicações candidatas, das quais 38 foram aprovadas pelo comitê de CPU da SPEC. A busca por determinismo influenciou a escolha das aplicações, sendo evitadas “diferenças arquitetônicas ou de compilador menores que podem levar a atalhos”. Algumas aplicações que passaram por uma avaliação profunda acabaram não sendo incluídas no final.

Algumas delas tinham cargas de trabalho modernas de IA, como llama.cpp e whisper.cpp. O documento técnico explica que as opções foram restritas a caminhos de código C++ portáteis, o que acabou desqualificando essas aplicações devido a desvios significativos dos comportamentos previstos. A SPEC também decidiu evitar codecs como AV1 e Opus para não levantar dúvidas sobre viés, considerando que o comitê inclui representantes de grandes empresas do setor.

Uma visão geral do funcionamento do SPEC CPU revela que a suite analisa quatro métricas: velocidade inteira, throughput inteiro, velocidade de ponto flutuante e throughput de ponto flutuante. Duas métricas de velocidade combinadas resultam no SPECspeed, enquanto as duas métricas de throughput dão origem ao SPECrate. O SPECspeed é mais familiar para a maioria dos leitores, focando em uma única aplicação em um único sistema, enquanto o SPECrate avalia o total de throughput com múltiplas instâncias da mesma aplicação rodando simultaneamente.

Cada suite possui sua própria lista de benchmarks, mas algumas aplicações são reutilizadas entre diferentes suites. Por exemplo, testes de compilação GCC e LLVM estão disponíveis tanto nas suites SPECrate quanto SPECspeed Integer. Ao categorizar os benchmarks, a SPEC segmenta aplicações com mais de 10% de instruções de ponto flutuante na categoria FP. Algumas aplicações que estavam na “zona cinza” (entre 1% e 10% de instruções de ponto flutuante) foram categorizadas caso a caso, considerando seu propósito computacional primário e reputação na comunidade.

Lista de Benchmarks SPECrate 2026

A seguir, uma amostra dos benchmarks SPECrate 2026 de inteiros:

Após o lançamento do SPEC CPU 2026, terá um período de espera antes que as empresas possam publicar mais resultados. Novos dados serão esperados no dia 4 de junho de 2026. A partir de 11 de agosto, a SPEC exigirá que os resultados do SPEC CPU 2017 sejam acompanhados dos resultados de 2026. Em 3 de novembro, o SPEC CPU 2017 será completamente descontinuado.

Até 3 de novembro, usuários que possuem uma licença do SPEC CPU 2017 poderão atualizar para a nova suíte por $2,000. Uma nova licença custa $3,000. Organizações sem fins lucrativos podem adquirir a suíte com desconto de $750, enquanto algumas instituições acadêmicas podem conseguir uma licença gratuita.