Na terça-feira passada, a Microsoft corrigiu uma vulnerabilidade classificada como crítica máxima em sua plataforma M365 Copilot AI. Na segunda-feira, os pesquisadores que descobriram a vulnerabilidade e a relataram à Microsoft revelaram como sua exploração de prova de conceito poderia recuperar códigos 2FA e outros dados confidenciais de e-mails acessíveis ao Copilot.
A Microsoft e outros fornecedores de LLM não conseguiram impedir que seus produtos atendessem a solicitações maliciosas de revelação de dados. A causa raiz: os bots de IA não conseguem distinguir entre as instruções fornecidas pelos usuários e aquelas inseridas no conteúdo de terceiros que os modelos estão resumindo, redigindo respostas ou usando para executar outras ações em nome do usuário. Sem nenhuma forma de garantir esta fronteira crucial, a Microsoft e os seus pares são obrigados a erguer barreiras de protecção complicadas e ad hoc destinadas a controlar as consequências desta credulidade incurável.
Saltando sobre guarda-corpos
Uma proteção integrada ao Copilot e à maioria dos outros LLMs os impede de enviar formulários da web, enviar e-mails e realizar ações semelhantes que podem ser usadas para exfiltrar dados do usuário. Para contornar isso, os hackers do LLM recorreram à linguagem de marcação, que, entre outras coisas, permite aos usuários adicionar elementos de formatação como títulos, listas e links ao texto sem a necessidade de tags HTML. Outra solução alternativa é agrupar dados confidenciais em tags HTML como e
Leave a comment