Non so voi ma quando leggo la parola inglese bias il significato non si palesa chiaramente nella mia testa. Devo riflettere sul contesto nel quale compare. Tra i tanti esempi che Aurélie Jean fa nel suo libro uno mi sembra davvero semplice e intuitivo per spiegare questa parola che in italiano si traduce con pregiudizio. Cosa c’entrano i pregiudizi con gli algoritmi, vi chiederete. Parecchio. Intanto c’è un filo diretto che lega i nostri pregiudizi nei comportamenti sociali ai bias algoritmici. Alcuni sono da ricondurre alla nostra cultura e al nostro ambiente, altri si formano nel corso delle nostre esperienze. Segnatevi questo «I bias algoritmici derivano da questi bias cognitivi». Li ritroviamo dunque negli algoritmi e nei modelli, nei dati utilizzati per addestrare gli algoritmi nel campo dell’apprendimento automatico.

Comprendere il passaggio dai nostri bias ai bias algoritmici, ci dice l’autrice, è essenziale per sviluppare uno sguardo critico sulle tecnologie che ci circondano. Per chi si fosse sintonizzato qui soltanto oggi e si fosse perso le due puntate precedenti, diciamo che il libro in questione è uscito per Neri Pozza, si intitola Nei paesi degli algoritmi. Allora, ci sono un gruppo di ricercatori riuniti al Massachussetts Institute of Technology e un fattorino delle pizze. Il gruppo di ricercatori si è riunito per presentare un progetto di ricerca per il calcolo della propagazione delle fessurazioni fino al cedimento di strutture o materiali, dalla scala atomica a quella metrica. Non focalizziamoci sulle cose difficili! Come in tutte le riunioni di questo mondo arriva l’ora del pranzo e il menù prevede pizze per tutti. Aurélie si gusta la sua mentre chiacchiera di calcolo atomistico con il professor Markus Buehler. Ad un tratto entra in sala un ometto dai tratti messicani vestito con jeans, scarpe da tennis, felpa e cappuccio. Non il dress code da riunioni professionali insomma. Lei lo scambia per il fattorino delle pizze. In quel momento sente dire al collega: «Eccolo, il luminare del dipartimento di informatica del MIT!». Lei, da sempre contraria a qualsiasi forma di discriminazione, impegnata nella lotta agli stereotipi, proprio lei è caduta in questo pregiudizio, in questo bias cognitivo. È qui, in questa dinamica, che entrano in gioco molte delle questioni etiche legate agli algoritmi.

I nostri bias cognitivi, e tutti ne abbiamo, si trasferiscono da noi agli algoritmi. Possono dipendere da diversi fattori: estrazione sociale, formazione, esperienze vissute, statistiche o nostre percezioni. Altro esempio. Sempre al MIT la nostra autrice entra in una sala riunioni per unirsi alla discussione e, come la vede, un professore di un’università straniera le dice: «Prenderei volentieri un caffè», scambiandola per le segreteria di turno. Facciamo un altro esempio, questa volta però relativo a un algoritmo. Nell’ottobre del 2018 Amazon interrompe i suoi test per la selezione del personale. Parliamo di test dunque non di un vero processo di selezione. Il fatto è che viene interrotto perché Amazon e l’algoritmo utilizzato vengono accusati di sessismo e discriminazione contro le donne. L’algoritmo è stato addestrato sulle selezioni dell’ultimo decennio che erano state in prevalenza maschili. Risultato: l’algoritmo ha sviluppato un bias che lo induce a sottostimare i profili femminili. Non è difficile a questo punto dubitare delle potenzialità tecnologiche e della loro bontà.

Proprio per questo vale la pena sentire il pensiero di Aurélie Jean perché ci aiuta a mettere le cose in prospettiva, a non perdere senso e proporzioni della realtà. Per prima cosa ci dice che i bias esisteranno sempre così come i nostri pregiudizi cognitivi. Cancellarli e uniformare le nostre percezioni non è possibile, l’obiettività assoluta non esiste. Pretendere di combatterli a tutti i costi equivale a combattere un automatismo naturale dell’essere umano in nome della purezza intellettuale ed emotiva. Certo ci sono alcuni pregiudizi collettivi che devono cadere, perché ci impediscono di avanzare e di far progredire la civiltà come quelli sulle presunte difficoltà delle ragazze in matematica. Per il resto la sfida consiste nel maturare una certa consapevolezza dei nostri bias ed evitare che si convertano in pregiudizi algoritmici. Tutto sta nella misura, nella consapevolezza che abbiamo delle nostre reazioni e delle lezioni da trarre dalle esperienze che possono generare discriminazioni tecnologiche, e quindi sociali o razziali.