Sta girando questo articolo, che commento qui sotto, e che credo metterò tra i materiali extra del mio corso di machine learning, tre le varie letture opzionali "pro e contro". reuters.com/investigations/a… Negli ultimi anni abbiamo iniziato a mettere l’AI dappertutto, come il prezzemolo, spesso con un entusiasmo comprensibile, ma l’articolo ci ricorda una cosa semplice: nei settori critici l’ottimismo non è MAI una strategia di sicurezza (è il cosiddetto principio di precauzione non banale, che molti travisano e sminuiscono, per poi frignare ex post). Il caso citato è emblematico: recentemente, uno strumento chirurgico già in commercio per il trattamento della sinusite cronica è stato sottoposto a un upgrade, aggiungendo una componente di machine learning pensata per assistere i chirurghi nelle loro operazioni. Il punto è che, in medicina, non esiste il “vabbè, pazienza”. Esistono errori ad alto impatto. E l’AI ha una particolarità: può sbagliare in modo silenzioso, con un’aura di autorevolezza che induce al cosiddetto bias di automazione. Se la macchina sembra precisa, il controllo umano tende a calare proprio quando serve di più. Dopo questa integrazione, i report di malfunzionamenti ed eventi avversi ricevuti dalla FDA sono aumentati in modo drastico, con anche casi di pazienti feriti e cause legali in corso. Sia chiaro: i report FDA non provano automaticamente un nesso causale e possono essere incompleti, quindi non è processo all’AI. È però un segnale del rischio che si corre nel lanciare funzionalità “AI-powered” come leva di marketing. Il fenomeno non è isolato, infatti i dispositivi medici con componenti AI autorizzati sono tanti e in crescita; e in crescita sono anche i richiami e le segnalazioni, dall’imaging ai monitor cardiaci. Tutto questo mentre i regolatori faticano a stare al passo. E poi c’è la questione più scomoda: non basta che l’algoritmo sia “buono”! Deve esserlo l’intero sistema socio-tecnico: interfaccia, formazione, procedure, piani B, audit, logging, responsabilità. Perché l’incidente, spesso, non nasce da un singolo bug, ma da una catena di piccole assunzioni ottimistiche, da ingenuità che, sommate, diventano un problema grande. Ovviamente la soluzione non sono né i fermiamo tutto né i profeti di sventura. È molto più pragmatica: innoviamo meglio. Bravo, hai scoperto l'acqua calda, direte! Beh, sì, sembra banale ma non lo è. Ad esempio, in taluni campi, innovare meglio significa anche avere una buona regolamentazione di complemento. Senza gli eccessi dei quali l'UE è maestra, ma senza neanche la cieca fiducia. Negli ambiti più sensibili, come ad esempio la medicina (ma anche la vita democratica...), servono più validazione clinica, test antagonistici e di degrado nel tempo à gogo (convalidati da soggetti terzi), trasparenza sui limiti (ripeto: TRASPARENZA SUI LIMITI), monitoraggio post-market serio, formazione continua, e responsabilità chiara quando qualcosa va storto. L’AI può salvare, salva e salverà tempo e vite, ma solo se la trattiamo come tecnologia ad alto impatto (e quindi ad alto rischio in taluni settori), non come un giocattolino da lanciare sul mercato, come l'ennesimo filtro buffo per l'ennesimo selfie.