Desenvolvedor lendário do Windows revela que rodou IA em computador de 1979: “Não é magia”

Um computador de 1979, com apenas 64 KB de memória e um processador de 6 MHz, conseguiu executar um modelo de inteligência artificial baseado em rede neural e transformers, atingindo 100% de precisão em sua tarefa! Esse experimento foi conduzido por um engenheiro da Microsoft, que se destacou pelo desenvolvimento do Gerenciador de Tarefas do Windows e pelo clássico Pinball Space Cadet. O objetivo não era impressionar com uma proeza técnica, mas, ao contrário, retirar o misticismo que envolve a IA e revelar sua essência.

### O computador e o modelo

O equipamento utilizado foi um PDP-11/44, um minicomputador lançado pela Digital Equipment Corporation em 1979 como sucessor dos modelos 11/45 e 11/70. Este PDP-11 foi o último a ser construído sem um microprocessador. A unidade utilizada contava com um processador de 6 MHz, 64 KB de RAM e uma placa de cache adicional. Foi nesse contexto que o ATTN-11, um transformer de camada única e atenção única, foi executado. Ele foi escrito em linguagem de montagem para PDP-11 por um desenvolvedor. O modelo possui apenas 1.216 parâmetros e utiliza aritmética de ponto fixo, com precisão reduzida a 8 bits. Cada ciclo de processamento foi otimizado manualmente para que o treinamento pudesse ser realizado em um tempo razoável.

### A tarefa e o resultado

A tarefa imposta ao modelo consiste em inverter uma sequência de oito dígitos. O PDP-11 não recebe a regra de inversão pronta; ele precisa descobrir o padrão a partir dos exemplos oferecidos durante o treinamento. Esse aspecto, segundo o engenheiro, reflete o funcionamento central de grandes modelos de linguagem como o ChatGPT. Após cerca de 350 ciclos de treinamento, o modelo obteve 100% de precisão, e todo o processo levou apenas 3,5 minutos na máquina de 1979.

Durante o treinamento, o engenheiro descreve o processo de maneira direta: “O modelo começa sem saber nada. A perda inicial é alta, e a precisão oscila descontroladamente. Depois, em algum momento, os pesos se estabilizam, a atenção identifica o padrão de inversão, e a máquina faz a transição de adivinhar para saber.” A conclusão apresentada é clara: “Não se trata de mágica da IA. É a máquina ajustando repetidamente a força de milhares de elos ponderados para que a próxima resposta seja apenas um pouco menos errada que a anterior.”

O engenheiro, que mantém um canal no YouTube, ressalta que os grandes modelos de linguagem contemporâneos fazem exatamente a mesma coisa, mas em uma escala muito maior. Ele ainda observa que, em um cenário onde a competição por poder computacional se acirra, empresas que focam na eficiência e otimização, similar ao que é exigido por máquinas com restrições severas de hardware, se destacam na disputa.