No mês passado, Antrópico fiz um grande negócio sobre a ameaça supostamente descomunal à segurança cibernética representada por seu modelo Mythos Preview, levando a empresa a restringir o lançamento inicial a “parceiros críticos da indústria”. Mas nova pesquisa do AI Security Institute do Reino Unido (AISI) sugere que o GPT-5.5 da OpenAI, que lançado publicamente na semana passadaalcançou “um nível de desempenho semelhante em nossas avaliações cibernéticas” ao Mythos Preview, que o grupo avaliou no mês passado.
Desde 2023, o AISI executou uma variedade de modelos de IA de fronteira em 95 diferentes Desafios de Capture a Bandeira projetado para testar capacidades em tarefas de segurança cibernética, como engenharia reversa, exploração da web e criptografia. Nas tarefas “Expert” de nível mais alto, o GPT-5.5 passou em média 71,4 por cento, um pouco superior aos 68,6 por cento alcançados pelo Mythos Preview (embora dentro da margem de erro). Em uma tarefa particularmente difícil que envolveu a construção de um desmontador para decodificar um binário Rust, AISI observa que “o GPT-5.5 resolveu o desafio em 10 minutos e 22 segundos sem assistência humana a um custo de US$ 1,73” em chamadas de API.
GPT-5.5 também igualou o Mythos Preview em seu progresso em “Os Últimos” (TLO), uma faixa de teste AISI configurada para simular um ataque de extração de dados em 32 etapas em uma rede corporativa. O GPT-5.5 teve sucesso em 3 de 10 tentativas no TLO, em comparação com 2 de 10 no Mythos Preview – nenhum modelo anterior teve sucesso no teste sequer uma vez. Mas o GPT-5.5 ainda falha na simulação mais difícil da “Torre de Resfriamento” do AISI, de uma tentativa de interrupção do software de controle de uma usina de energia, como todos os modelos de IA testados anteriormente também falharam.
Leia o artigo completo
Comentários
Leave a comment