John Carmack reflete sobre o uso de fibras ópticas como cache L2 para dados de IA

John Carmack, conhecido por suas contribuições notáveis na indústria dos games, gerou bastante discussão com suas recentes reflexões sobre o uso de uma fibra óptica como uma espécie de cache L2. A ideia é armazenar pesos de modelos de IA para otimizar a latência e a largura de banda, aproveitando as impressionantes velocidades de 256 Tb/s alcançadas em fibras monomodo, mesmo a 200 km de distância.

Através de cálculos simples, Carmack observou que 32 GB de dados podem estar presentes na fibra em um determinado momento. O conceito envolve acessar pesos de modelos de IA de forma sequencial, visando alimentar sempre o acelerador de IA. A intenção é pensar em um sistema onde a RAM convencional sirva apenas como um intermediário, buscando melhorar ou até eliminar essa necessidade.

A conversa atraiu diversos comentários, incluindo de profissionais altamente qualificados, que fizeram comparações com a memória de linha de atraso, utilizada na metade do século passado. Essa memória, que utilizava mercúrio como meio, enfrentou desafios por sua complexidade. A principal vantagem do uso de fibra, segundo Carmack, estaria na economia de energia, visto que a manutenção da DRAM consome bastante energia, enquanto a gestão de luz é muito mais eficiente.

Entretanto, limitações foram levantadas. A proposta de Carmack exigiria uma quantidade significativa de fibra, e amplificadores ópticos poderiam reduzir as economias energéticas. Além disso, alguns comentários sugeriram até mesmo o uso de vácuo como meio, embora isso levante questões práticas consideráveis.

Outra abordagem mencionada foi a de conectar chips de memória flash diretamente aos aceleradores, algo que, embora desafiador, é viável e poderia ser facilitado pela crescente colaboração entre fabricantes de chips e aceleradores.

Diante disso, propostas semelhantes já foram exploradas por grupos de cientistas, refletindo um interesse crescente na prática desses conceitos inovadores. É provável que, à medida que a tecnologia avance, algumas dessas ideias ganhem vida e ofereçam novas possibilidades para a evolução da inteligência artificial.