Claude Mythos da Anthropic pode ser o melhor modelo de IA para cibersegurança, mas opções mais baratas também apresentam resultados semelhantes, aponta pesquisa sobre a confiabilidade do modelo de ponta.

O modelo de inteligência artificial Claude Mythos, desenvolvido pela Anthropic, fez bastante barulho na semana passada, gerando grande expectativa na indústria por suas supostas capacidades, que incluem a detecção de falhas em navegadores e sistemas operacionais. Isso gerou o “Project Glasswing”, uma iniciativa onde a Anthropic se unirá a gigantes da tecnologia para garantir que seus produtos estejam corrigidos antes do lançamento definitivo do Mythos, que ainda está em fase de prévia.

Embora os relatos sejam impressionantes, as habilidades reais do Claude Mythos não são tão exageradas assim; ele não é um modelo senciente capaz de derrubar sistemas de tecnologia moderna. Após o anúncio, um estudo indicou que outros modelos de IA já oferecem desempenho semelhante na identificação de vulnerabilidades e correção delas. Apesar de haver afirmações de que Mythos seria o melhor modelo de IA para apoiar esforços em cibersegurança, essa diferença não é tão significativa.

Pesquisadores testam Mythos

O uso de IA em cibersegurança não é novidade. Pesquisadores têm explorado suas aplicações em operações defensivas e ofensivas desde os anos 1980, mas a eficácia começou a realmente crescer nos anos 2000 e 2010, quando a quantidade de dados rotulados aumentou drasticamente. Desde então, essa tendência só se intensificou.

A Anthropic posiciona seu mais recente modelo como algo inovador e poderoso, capaz de identificar falhas críticas, necessitando compartilha-lo apenas com empresas responsáveis. A justificativa é simples: se consegue encontrar essas falhas, também pode ajudar a explorá-las.

O desafio para a Anthropic é que muitos outros modelos de IA já realizam a maior parte das funções do Mythos.

Pesquisas mostram que várias vulnerabilidades descobertas pelo Mythos também podem ser identificadas por modelos mais acessíveis, como aqueles que conseguiram detectar falhas específicas em sistemas operacionais de forma eficiente.

É mais complicado do que parece

As análises ressaltam que a Anthropic apresenta a cibersegurança baseada em IA como um instrumento único capaz de realizar várias etapas, como descoberta, verificação, exploração e correção de vulnerabilidades. Na prática, essas etapas são distintas e exigem diferentes abordagens. Modelos mais leves podem alcançar um alto padrão em várias dessas etapas.

Embora Mythos mostre-se muito eficaz, a questão que se coloca é: se não é significativamente superior a outros modelos, realmente traz inovações?

A pesquisa sugere que, embora a Anthropic tenha maximizado a inteligência por token com o Mythos, outros aspectos da cibersegurança podem ser igualmente ou até mais relevantes. Isso levanta dúvidas sobre se o modelo da Anthropic é, de fato, o melhor dentre as opções disponíveis.

A pesquisa conclui que, enquanto o Mythos é eficiente, modelos menores podem alcançar resultados similares de maneira mais econômica, fazendo com que, em muitas situações, valha mais a pena recorrer a essas alternativas.

A economia de inferência

Porém, o Mythos ainda pode não estar operando em sua capacidade máxima. De acordo com outra análise, ele é considerado o modelo de IA mais competente em suas próprias avaliações de cibersegurança, embora não se destaque dramaticamente em todas as tarefas. Seu forte desempenho aparece na descoberta e exploração de vulnerabilidades mais complexas.

Um fator importante é seu suporte para longos contextos, ou seja, a utilização de entradas de tokens maiores. Testes indicaram que ele possui desempenho superior até 100 milhões de tokens. A expectativa é que, com um orçamento de tokens maior, seu desempenho possa ainda melhorar.

No entanto, mesmo se o Mythos se mostrar superior, surge a dúvida: qual será o custo de tudo isso? Embora os valores exatos não sejam conhecidos, considerando que outros modelos já são considerados caros, espera-se que o Mythos seja ainda mais oneroso.

Esse investimento pode ser válido para testes pontuais, mas levanta questões sobre sua viabilidade econômica a longo prazo. Qual a facilidade de vender um serviço baseado no Mythos, especialmente quando pesquisas indicam que é possível obter resultados equivalentes com um investimento bem inferior?

Outro estudo sugere que, ao avaliar a eficácia de um modelo de IA em cibersegurança, é essencial considerar o custo total por sucesso. Essa é uma métrica que pode comprometer a competitividade do Mythos se analisado de forma justa.

A Anthropic consegue lidar com o Mythos?

No lançamento do Mythos, a Anthropic anunciou a doação de US$ 100 milhões em créditos de uso e US$ 4 milhões para organizações que ajudem a validar e corrigir falhas identificadas. Além disso, o acesso ao modelo foi restrito a um grupo de empresas tecnológicas como parte do Project Glasswing.

Essa abordagem é positiva. Testes de segurança e melhorias costumam ser realizados de forma privada e discreta, permitindo que as empresas protejam seus produtos. Embora esse primeiro aporte de US$ 100 milhões seja gratuito, os custos futuros podem ser substanciais, dependendo do preço final do modelo Mythos.

Portanto, isso significa que o Project Glasswing é apenas uma jogada de marketing? Não exatamente. Ele segue o padrão da indústria de divulgações coordenadas de vulnerabilidades e, ao analisar múltiplos relatórios, o Mythos se mostra um dos modelos de IA mais eficientes na área de cibersegurança.

Entretanto, após os holofotes sobre sua atuação com o Pentágono, a Anthropic quer consolidar sua posição na indústria de cibersegurança ao oferecer recursos computacionais gratuitos para os participantes do Project Glasswing.

Contudo, essa generosidade pode vir a um custo elevado para a Anthropic. Com a demanda por IA crescendo, empresas que fornecem modelos complexos precisam ter recursos computacionais adequados. Para um modelo como o Mythos, isso pode ser um desafio, especialmente considerando que a Anthropic já enfrentou problemas de disponibilidade recentemente.

Apesar de todas as expectativas, a conclusão é que o Mythos pode ser um dos melhores modelos de IA para cibersegurança, mas pode não ser o mais indicado para todas as situações. Se for muito caro, outros modelos podem alcançar uma qualidade semelhante com custos computacionais mais baixos.

Além disso, a Anthropic, apesar de todo alarde feito sobre seu modelo, ainda deve se assegurar de oferecer seus modelos lançados a padrões da indústria. Com a demanda por capacidade computacional em ascensão e a utilização de IA se expandindo globalmente, resta esperar para ver como a Anthropic se posicionará nesse cenário.