Na breve história da segurança da IA, a injeção imediata tornou-se rapidamente a principal ameaça. Os modelos de linguagem grande são inerentemente incapazes de distinguir entre instruções legítimas fornecidas pelos usuários e instruções maliciosas inseridas em e-mails, código-fonte e outros conteúdos de terceiros que os modelos estão processando. Isso torna trivial injetar sub-repticiamente comandos maliciosos que o LLM segue prontamente.
Sem nenhuma forma de impor esta fronteira crucial entre fontes confiáveis e não confiáveis, os desenvolvedores de mecanismos de IA são obrigados a erguer barreiras de proteção elaboradas, projetadas para mitigar os danos, em vez de resolver a causa raiz.
Até o momento, a maioria das injeções imediatas caiu em uma classe conhecida como push, na qual cada vítima em potencial é o alvo. Por exemplo, o adversário injeta instruções maliciosas em um e-mail individual ou convite de calendário. Como a injeção deve então ser enviada (ou empurrada) para cada alvo específico, a escala do ataque é limitada, dificultando explorações em massa que atingem a Internet em geral.
Leia o artigo completo
Comentários
Leave a comment