Entenda como funciona o sistema de segurança de IA desenvolvido no RS que barrou 'código secreto' e impediu fraude em processo no Pará

Juiz multa advogadas em R$ 84 mil por 'código secreto' para enganar IA e sabotar processo Uma ferramenta de inteligência artificial (IA) desenvolvida pelo Tribunal Regional do Trabalho da 4ª Região (TRT4), de Porto Alegre, foi projetada com um sistema de "segurança por desenho" para identificar e neutralizar tentativas de manipulação, como a que ocorreu em um processo julgado em Parauapebas (PA). Chamado de Galileu, o sistema foi capaz de detectar um "código secreto" inserido por advogadas em uma petição. A técnica, conhecida como "prompt injection", visava enganar a IA para que ela fizesse uma análise superficial do documento. 📲 Acesse o canal do g1 RS no WhatsApp "Esse foi o primeiro caso confirmado de ataque do tipo prompt injection. O sistema já havia sinalizado outros conteúdos como suspeitos, mas, após verificação humana, eles foram considerados legítimos. Esses casos são classificados como falsos positivos", comenta a secretária-geral de tecnologia e inovação do TRT4, Natacha Moraes de Oliveira. O funcionamento do Galileu para barrar a fraude ocorreu em três etapas principais. Primeiro, ao processar o documento, a ferramenta identificou trechos de texto ocultos que continham instruções maliciosas. Em seguida, o sistema agiu de duas formas: emitiu um alerta em destaque para o usuário, neste caso, o juiz, com a identificação técnica da ocorrência e, simultaneamente, impediu que o comando malicioso fosse processado, neutralizando o ataque. Um ponto central do seu desenho é de que o Galileu não toma decisões. A ferramenta se limita a relatar o fato técnico, sem qualificar a conduta ou sugerir uma punição. A decisão final é sempre humana, segundo o TRT. No caso do Pará, o juiz examinou o conteúdo apontado pelo sistema antes de aplicar a multa, cumprindo a exigência de supervisão humana no uso de IA pelo Judiciário. Prompt injection: como é feito 'código secreto' usado por advogadas para tentar sabotar processo Segundo a secretária-geral Natacha de Oliveira, o c...

Original source: G1 Brazil