Descoberta revela falha no ChatGPT que gerava imagens sexuais

De acordo com a empresa de pesquisa e segurança em inteligência artificial, Mindgard, um especialista utilizou um comando que estava circulando na plataforma de mídia social, instruindo o ChatGPT a “restaurar imagens anexadas”, mesmo sem que nenhuma imagem fosse realmente fornecida.

Surpreendentemente, em vez de solicitar que os usuários enviassem arquivos, o sistema gerava imagens automaticamente. Os primeiros resultados eram, em sua maioria, imagens sexualizadas de mulheres. Quando os pesquisadores ajustaram alguns detalhes nos comandos, o ChatGPT continuou produzindo conteúdos sexualmente violentos ou perturbadores. O especialista faz parte da equipe de “contra-testes” da Mindgard, que visa simular como os usuários poderiam explorar vulnerabilidades em sistemas de IA.

A Mindgard observou que pequenas alterações no comando conseguiram contornar repetidamente os filtros de segurança, indicando que o problema pode não ser um incidente isolado. Essa situação representa um desafio significativo para as empresas de IA, que precisam encontrar formas de evitar conteúdo nocivo sem inibir o potencial criativo da tecnologia.

A OpenAI, por sua vez, afirmou ter investigado o caso e implementado novas medidas de segurança para lidar com esse tipo de comando. A empresa identificou que o problema ocorria quando o comando se referia a uma imagem anexada, mas esta não era realmente carregada. Para resolver isso, a OpenAI está ajustando o ChatGPT para que o sistema peça o arquivo ausente, ao invés de gerar uma imagem aleatória. Além disso, a Mindgard colaborou com a empresa oferecendo sessões e comandos relevantes para testes.