Desenvolvedor veterano do Windows apresenta projeto ‘gloriosamente absurdo’ com IA rodando em PDP-11 de 47 anos, equipado com CPU de 6 MHz e 64KB de RAM

Dave Plummer, um desenvolvedor veterano de Windows, está de volta ao seu garage repleto de computadores, desta vez com a intenção de desmistificar a inteligência artificial revelando seu “segredo sujo”. Esse segredo é desvendado logo no início da descrição do vídeo: “Dave usa um PDP-11 para treinar uma Rede Neural real, completa com Transformers e Attention, para que você possa vê-los em sua forma mais básica.” Para contextualizar, o desenvolvedor aposentado demonstra seu sistema PDP-11, que já tem 47 anos, com um processador de 6 MHz e 64 KB de RAM. Ele roda um modelo transformer chamado ‘Attention 11’, escrito em linguagem de montagem PDP-11.

A princípio, a tarefa que o PDP-11 irá “aprender” parece simples — inverter uma sequência de oito dígitos. Contudo, o modelo precisa compreender uma regra estrutural para ter sucesso em cada entrada, capturando a essência de como os LLMs modernos funcionam.

A equipe da Super Select analisou as informações disponíveis em fóruns e comunidades online. O projeto demonstra que, mesmo utilizando o Attention 11, um transformer de camada única e cabeça única totalmente escrito em linguagem de montagem PDP-11, ainda são necessárias várias otimizações para respeitar as limitações do sistema. O engenheiro afirma que as restrições não são inimigas da engenharia, mas sim estimulam a criatividade. Surpreende perceber como pouca estrutura é necessária para que a inteligência se manifeste. Por exemplo, o modelo possui apenas 1.216 parâmetros e realiza operações matemáticas de ponto fixo, com precisão reduzida a 8 bits, além de cada ciclo ser otimizado para que o treinamento termine antes que “o universo chegue ao seu fim térmico”.

Dave observa que “estamos testemunhando a anatomia reduzida do aprendizado em si”. O modelo começa sem saber e, com o tempo, os pesos se organizam em padrões, fazendo com que a máquina transite entre a adivinhação e o conhecimento.

Os resultados desse experimento de treinamento de inteligência artificial em um computador de 6 MHz foram animadores. O modelo alcançou 100% de precisão na tarefa de inversão de números após cerca de 350 passos de treinamento, o que levou aproximadamente 3,5 minutos. Para atingir esse nível de treinamento, uma placa de cache ajudou.

Essa experiência confirma que a inteligência moderna não é um mistério, mas sim um processo mecânico repetitivo de correção de erros e cálculos. “Esse velho computador não pensa de forma mística. Ele apenas realiza cálculos para atualizar alguns milhares de números armazenados cuidadosamente. E essa é a essência do jogo”, explica Plummer.

Por fim, o desenvolvedor ressalta que, em um cenário onde os recursos computacionais se tornam um fator limitante, empresas que adotarem uma abordagem mais tradicional, focada na eficiência e otimização, poderão conquistar uma significativa vantagem competitiva.