Un hombre escondió instrucciones dentro de documentos judiciales para intentar influir en unainteligencia artificial durante un juicioen Estados Unidos.
El juez Walter Spader Jr. descubrió los mensajes y sancionó a Matthew Elliott, aunque decidió no imponerle una multa económica.
Un juez advirtió sobre una nueva amenaza de la IA tras un insólito caso judicial
Prompt injection: qué hizo el hombre para intentar influir en el juicio
El caso ocurrió en Connecticut y fue informado por Ars Technica a partir de una decisión judicial publicada la semana pasada. El demandante, Matthew Elliott, habría escondido instrucciones dentro de sus presentaciones para que una eventual inteligencia artificial favoreciera sus argumentos.
El texto estaba escrito con una tipografía diminuta y en color blanco sobre fondo blanco. De esa manera, resultaba invisible para una persona, pero podía ser leído por un software que procesara el contenido del documento.
Las instrucciones buscaban que cualquier sistema de IA que analizara el escrito respaldara los argumentos de Elliott, ignorara decisiones judiciales anteriores y propusiera soluciones acordes con su posición.
Prompt injection: qué hizo el hombre para intentar influir en el juicio
El juez descubrió las instrucciones ocultas
El juez Walter Spader Jr. determinó que el intento no tuvo incidencia en la resolución del caso. El magistrado explicó que los escritos de Elliott fueron evaluados según sus argumentos y los méritos de la causa.
Sin embargo, consideró que el uso de prompt injection dentro de presentaciones judiciales establecía un precedente “peligroso”. Elliott continuó ocultando mensajes incluso después de haber sido advertido sobre posibles sanciones.
El juez descubrió las instrucciones ocultas
El demandante sostuvo que algunos de esos mensajes posteriores eran simplemente “chistes”. Entre ellos había un enlace a un video de Nosferatu, un mensaje que decía “hi :) I hope yo ucant see me” y otro texto sin sentido.
Para Spader, la explicación no resultó convincente. El juez sostuvo que esconder mensajes dentro de escritos que se pretende que el tribunal tome en serio “desafía la lógica”.
Qué dijo el juez sobre el uso de inteligencia artificial en tribunales
Elliott argumentó que una de las instrucciones tenía como objetivo auditar al tribunal. Según su explicación, temía que la Justicia estuviera utilizando IA de manera indebida para resolver casos.
Qué dijo el juez sobre el uso de inteligencia artificial en tribunales
Spader respondió que, si esa era realmente su preocupación, podía expresarla mediante palabras visibles. Para el juez, el hecho de haber ocultado las instrucciones fue una señal de su propósito malicioso.
El magistrado también aclaró que el Poder Judicial de Connecticut no utiliza IA para revisar o decidir presentaciones. Por eso, en este caso no existía un riesgo real de que un sistema judicial confundiera las instrucciones de Elliott con órdenes provenientes del tribunal.
El magistrado también aclaró que el Poder Judicial de Connecticut no utiliza IA
Según explicó Spader, una prompt injection busca introducir una instrucción dentro de un documento que luego será procesado por un sistema. El objetivo es que la herramienta interprete ese comando como si proviniera de quien opera el sistema.
Qué sanción recibió Matthew Elliott por usar prompt injection
El juez consideró que las instrucciones ocultas justificaban una sanción porque intentaban comunicarse de manera encubierta con el tribunal y dejaban a los demandados en una situación desigual.
Qué sanción recibió Matthew Elliott por usar prompt injection
Sin embargo, Spader tuvo en cuenta que Elliott actuaba como litigante pro se, es decir, sin representación legal. Por eso, decidió no imponerle una sanción económica.
En cambio, le prohibió presentar escritos de manera electrónica en el futuro. A partir de ahora deberá realizar presentaciones en papel, una medida que, según el juez, no afecta su acceso a la Justicia y evita nuevos abusos del sistema de presentación electrónica.
La advertencia por el uso de chatbots para preparar demandas
Spader sostuvo que no resulta sorprendente que aparezcan intentos de prompt injection en tribunales. La técnica ya es utilizada en otros ámbitos, como procesos laborales donde se esconden textos destinados a sistemas de IA que analizan currículums.
La advertencia por el uso de chatbots para preparar demandas
El juez también señaló que el caso plantea un problema más amplio. Los tribunales deberán contemplar reglas específicas frente a instrucciones adversariales escondidas dentro de documentos judiciales.
Hasta ahora, una de las principales preocupaciones vinculadas con la IA en la Justicia había sido el uso de citas inventadas o información falsa generada por chatbots. El caso de Elliott suma otro riesgo: manipular las instrucciones que reciben los sistemas al procesar documentos.
