Quando l’AI sbaglia, il rischio è reale
Il falso allarme in una scuola americana e la responsabilità delle decisioni.
Un ragazzo aspetta che qualcuno venga a prenderlo dopo l’allenamento. È davanti alla sua scuola, insieme a tre amici. Ha in mano un sacchetto di patatine. Una telecamera di sorveglianza riprende la scena. Un sistema di intelligenza artificiale interpreta qualcosa di sospetto e genera un allarme per la possibile presenza di un’arma. Poco dopo arrivano agenti di polizia armati. I ragazzi vengono costretti a inginocchiarsi, sono ammanettati e perquisiti. Ma non vengono individuate armi.
Potrebbe sembrare l’inizio di un racconto distopico. Invece è quanto denunciato da quattro studenti della Kenwood High School, nel Maryland, Usa, che il 17 novembre 2026 hanno avviato un’azione legale contro il distretto scolastico, alcuni responsabili e agenti di polizia e Omnilert, l’azienda fornitrice del sistema di rilevamento delle armi. L’episodio risale al 20 ottobre 2025. La novità di questi giorni è l’iniziativa giudiziaria, che riporta l’attenzione su una questione fondamentale: cosa accade quando affidiamo a un algoritmo il compito di riconoscere un pericolo e le istituzioni reagiscono senza un’adeguata verifica?
Un allarme tecnologico, una conseguenza umana
Secondo il ricorso presentato dagli studenti, il sistema Omnilert Gun Detect, progettato per individuare possibili armi attraverso le telecamere di sicurezza, avrebbe erroneamente segnalato un ragazzo che teneva in mano un sacchetto di patatine. La ricostruzione merita una precisazione. Un’indagine dell’Office of the Inspector General for Education del Maryland, condotta dopo l’episodio, aveva indicato che il sistema non aveva identificato direttamente il sacchetto come un’arma. L’allerta sarebbe stata generata dall’interpretazione della posizione e del movimento della mano dello studente.
La differenza è importante per comprendere il funzionamento della tecnologia, ma non modifica la questione principale: una situazione innocua era stata classificata come potenzialmente pericolosa. Secondo i legali dei ragazzi, l’allarme sarebbe stato riconosciuto come errato e annullato, senza però impedire l’intervento della polizia. La denuncia sostiene che le carenze nelle procedure di comunicazione e coordinamento abbiano contribuito a trasformare il falso positivo in un episodio traumatico. Le responsabilità contestate dovranno essere valutate in sede giudiziaria. Non sarebbe corretto considerarle già accertate. Resta però un elemento sul quale vale la pena riflettere: l’errore tecnologico e la gestione umana dell’allarme sono due componenti diverse di uno stesso processo. Ed entrambe richiedono controlli adeguati.
La sicurezza non coincide con il numero di allarmi
L’intelligenza artificiale può offrire strumenti preziosi per la sicurezza. La capacità di analizzare immagini in tempo reale e individuare configurazioni sospette può aiutare a riconoscere situazioni che altrimenti passerebbero inosservate. Ma c’è una differenza sostanziale tra rilevare una possibile minaccia e stabilire che quella minaccia esista realmente. Ogni sistema di riconoscimento deve confrontarsi con falsi positivi e falsi negativi. Nel primo caso viene segnalato un pericolo inesistente; nel secondo una minaccia reale non viene individuata. In contesti sensibili, entrambi possono avere conseguenze importanti. Il problema è particolarmente delicato quando il risultato dell’algoritmo attiva procedure capaci di incidere sulla libertà, sulla dignità o sull’incolumità delle persone.
Un falso allarme in un sistema di monitoraggio industriale può provocare l’arresto di una macchina. In una scuola, può determinare l’intervento di personale armato. Non è sufficiente, quindi, misurare quanto rapidamente l’AI individui una potenziale minaccia. Occorre valutare anche quanto sia affidabile il processo attraverso il quale quella segnalazione viene verificata, comunicata e trasformata in un’azione. La sicurezza non dovrebbe essere misurata soltanto dal numero di allarmi generati, ma dalla capacità complessiva di distinguere tempestivamente i pericoli reali da quelli apparenti.
Il vero rischio è nella catena delle decisioni
Dal punto di vista del Project Management, la vicenda offre uno spunto particolarmente significativo. Quando introduciamo un sistema intelligente all’interno di un’organizzazione, tendiamo a concentrarci sulle sue funzionalità: quali informazioni raccoglie, quanto rapidamente le elabora, quali anomalie è in grado di identificare. Ma un progetto non termina con il corretto funzionamento del software. Bisogna comprendere come il sistema si inserisce nei processi, quali decisioni può influenzare, chi è autorizzato a intervenire e cosa deve accadere quando un’informazione viene corretta o un allarme annullato.
Immaginiamo che un algoritmo generi una segnalazione, un operatore la riceva e un responsabile decida di attivare una procedura di emergenza. Se successivamente la segnalazione viene smentita, tutti gli attori coinvolti ricevono l’aggiornamento? Esiste una procedura che blocchi automaticamente le azioni non più necessarie? Le responsabilità sono definite oppure ciascuno presume che qualcun altro abbia effettuato le verifiche? Non si tratta certo di dettagli amministrativi. Sono requisiti di sicurezza del processo.
Un sistema AI può essere sofisticato e, nello stesso tempo, inserirsi in un’organizzazione impreparata a gestirne gli errori. È per questo che una corretta governance non può limitarsi alla selezione del fornitore, ai test iniziali e alla messa in esercizio. Deve comprendere simulazioni, procedure di escalation, tracciabilità delle decisioni, formazione e verifiche periodiche dell’intero processo operativo. La presenza di un essere umano non garantisce automaticamente il controllo. Quel controllo deve essere effettivo, informato e accompagnato dalla possibilità di sospendere o correggere tempestivamente le azioni.
Proteggere le persone significa anche proteggerle dagli errori del sistema
La vicenda americana introduce infine una dimensione sociale che non possiamo trascurare. I quattro studenti hanno denunciato anche una violazione dei propri diritti civili. Il fatto che siano ragazzi afroamericani rende particolarmente importante esaminare le modalità dell’intervento e le possibili conseguenze discriminatorie, senza attribuire automaticamente all’algoritmo un pregiudizio che il rapporto ispettivo non ha accertato. La protezione delle persone non dovrebbe dipendere soltanto dalle intenzioni con cui una tecnologia viene introdotta. Un sistema installato per aumentare la sicurezza può generare nuovi rischi se le sue segnalazioni vengono considerate più affidabili di quanto siano realmente, oppure se mancano procedure per gestirne gli errori. Ed è questo il paradosso più interessante.
Una scuola può investire nell’intelligenza artificiale per proteggere i propri studenti e ritrovarsi a dover rispondere delle conseguenze di una procedura di sicurezza che, secondo le contestazioni avanzate, avrebbe messo proprio quegli studenti in una situazione di pericolo. Non significa rinunciare alla tecnologia, ma rifiutare l’idea che la sua adozione costituisca, da sola, una garanzia di progresso.
L’intelligenza artificiale può aiutarci a riconoscere minacce, individuare anomalie e intervenire più rapidamente. Ma la qualità delle decisioni dipenderà anche dalla capacità delle organizzazioni di interpretare quei segnali, verificarli e riconoscere quando non devono produrre conseguenze.
Perché una tecnologia progettata per proteggerci non dovrebbe diventare, attraverso i suoi errori e le nostre procedure, una nuova fonte di pericolo.
