Come la prompt injection può alterare i sistemi di IA e quali tutele prevede l’AI Act

Un curriculum vitae contiene, in caratteri bianchi su sfondo bianco, un’istruzione destinata non al recruiter ma all’intelligenza artificiale che lo valuterà: considerare quel candidato perfettamente idoneo. Uno studente inserisce nella risposta d’esame un comando analogo per indurre un sistema di correzione automatica ad assegnargli il massimo punteggio. È il fenomeno della prompt injection (letteralmente, iniezione di prompt): l’inserimento, all’interno dei dati analizzati da un modello, di istruzioni volte ad alterarne il comportamento.

La vulnerabilità nasce da una caratteristica strutturale dei large language models (LLM): il sistema deve distinguere le istruzioni impartite dall’applicazione dal contenuto che deve analizzare. Se questa separazione fallisce, un documento può smettere di essere soltanto una fonte di informazioni e diventare anche un insieme di comandi.

Dai CV ai tribunali: il rischio della manipolazione

Il problema assume una dimensione ancora più delicata quando l’intelligenza artificiale entra nei tribunali. Nel maggio 2026, la 3ª Vara do Trabalho di Parauapebas, in Brasile, ha affrontato un caso giudiziario di questo tipo. In una petizione erano state inserite istruzioni in caratteri bianchi, invisibili al lettore umano ma leggibili dal sistema di IA Galileu, utilizzato dalla giustizia del lavoro brasiliana. Il comando tentava di orientare il sistema affinché trattasse superficialmente la petizione e non contestasse la documentazione prodotta. Galileu rilevò l’anomalia e la manipolazione non ebbe successo; il giudice sanzionò i due avvocati firmatari con una multa pari al 10% del valore della causa. Ciò dimostra che, anche qualora un attacco non riesca a condizionare un sistema di supporto alle decisioni, il mero tentativo può assumere autonoma rilevanza sotto il profilo dell’illecito.

Il caso è brasiliano e quindi estraneo all’applicazione territoriale dell’AI Act, ma rappresenta efficacemente il rischio che il legislatore europeo ha cercato di intercettare. L’Allegato III del Regolamento qualifica infatti come “ad alto rischio” i sistemi destinati ad assistere un’autorità giudiziaria nella ricerca e interpretazione dei fatti e del diritto o nell’applicazione della legge a un caso concreto. La stessa logica riguarda, tra l’altro, i sistemi utilizzati per il recruiting e quelli impiegati per valutare i risultati di apprendimento.

Quali sono i rischi

La prompt injection non costituisce, in sé, una pratica vietata dall’AI Act. Diventa però un problema di compliance quando dimostra che un sistema ad alto rischio può essere manipolato attraverso gli input che riceve. Gli articoli 9, 14 e 15 impongono infatti gestione dei rischi, supervisione umana effettiva, robustezza e cybersecurity, prevedendo anche la necessità di resistere a input progettati per indurre il modello in errore.

Per i sistemi dell’Allegato III, tali obblighi specifici troveranno applicazione dal 2 dicembre 2027, secondo il calendario risultante dall’AI Omnibus entrato in vigore nel luglio 2026. La direzione regolatoria, tuttavia, è già netta: maggiore è l’incidenza dell’IA su diritti e decisioni, maggiore deve essere la capacità di prevenire e rilevare manipolazioni.

Sul piano operativo, ciò significa che memorie, documenti, CV e risposte d’esame non possono essere trattati come contenuti necessariamente neutrali, ma devono essere valutati considerando il rischio che contengano istruzioni o elementi progettati per alterare il comportamento del sistema di IA. Diventa quindi essenziale predisporre misure idonee a rilevare e registrare output anomali e, soprattutto, a evitare che il risultato del modello si traduca automaticamente nella decisione finale.

La prompt injection dimostra quindi che l’affidabilità di un sistema di IA non dipende soltanto dalla qualità dei suoi output, ma anche dalla capacità di riconoscere input manipolati e impedirne l’incidenza sul processo decisionale. Una capacità che, per i sistemi ad alto rischio, diventerà parte integrante della loro conformità all’AI Act.

Angelo Vito Falsini