Siamo governati dagli algoritmi?

Siamo governati dagli algoritmi

Non passa un minuto senza che una macchina decida parte del nostro futuro. Non stiamo parlando solo di libri o film raccomandati: gli algoritmi oggigiorno decidono il tasso di interesse che pagherai, se verrai chiamato o meno per un colloquio di lavoro, o anche se le tue possibilità di commettere un crimine aumentano o si ridurranno.

Già oggi, molte transazioni sociali sono in sostanza determinate da algoritmi: investimenti, viaggi, relazioni personali. Gli algoritmi ci impersonano, ad esempio scegliendo per noi, e ci giudicano, ad esempio classificandoci. Se è vero, come diceva Heidegger con una celebre inversione, che “siamo parlati dal linguaggio”, molto di ciò che oggi “ci parla” non è più riposto nell’umanità, ma è codificato in qualche remoto anfratto del cyberspazio.

La grande speranza era che il software sarebbe stato in grado di prendere queste decisioni in modo più imparziale. La realtà che abbiamo scoperto, come già anticipato dai film di fantascienza d'altra parte, è che gli algoritmi che abbiamo messo in funzione non solo replicano, ma amplificano anche i pregiudizi degli ingegneri che li creano.

Nemmeno i grandi nomi della tecnologia sono al riparo dai loro effetti. Il co-fondatore di Apple, Steve Wozniak ha da poco denunciato il fatto che la Apple Card gli avrebbe dato una linea di credito 10 volte superiore a quella di sua moglie a causa di decisioni algoritmiche. Questa carta, lanciata la scorsa primavera, è il risultato di un'alleanza con Goldman Sachs e Mastercard. David Heinemeier Hansson, il fondatore di Ruby on Rails, ha lo stesso problema, ma nel suo caso il credito concesso è di 20 volte superiore.

Vediamo di chiarire alcuni concetti.

Cos'è un algoritmo

Un algoritmo non è altro che una sequenza finita di passaggi in ognuno dei quali viene applicata meccanicamente una regola che permette di elaborare un'informazione o di eseguire un compito. Un algoritmo può basico: ordinare in ordine alfabetico, una ricetta per fare una torta (purché non si cerchi di accontentare tutti). Quelli delle aziende tecnologiche sono molto più complicati. Facebook o Google hanno speso miliardi per sviluppare il loro. Con loro ordinano e distribuiscono le tonnellate di informazioni che noi affidiamo loro giorno per giorno.

Dove ottengono le informazioni gli algoritmi?

Da noi. Da tutte le piccole azioni che compiamo in ogni momento. Ogni volta che ci registriamo su un sito o consultiamo informazioni su Wikipedia o ogni volta che vediamo una pubblicità sul nostro smartphone, lasciamo una traccia che le aziende condividono tra loro per fare affari. Tutto lascia una traccia, anche il più innocente clic. Una pratica comune, inoltre, è il controllo incrociato dei dati nei registri pubblici.

Dove si produce la discriminazione?

I dati in sé non sono intrinsecamente discriminatori. Sono solo dati. Il problema nasce dal modo in cui vengono utilizzati ed interpretati, soprattutto quando si occupa di profilare un potenziale cliente utilizzando correlazioni o variabili proxy: dati che non sono di per sé di grande interesse, ma da cui possono essere ottenuti altri che lo sono. Così, ciò che sentite su YouTube o Spotify può determinare il vostro sesso o la vostra età, o un like su facebook può determinare la vostra posizione ideologica o il vostro livello economico.

Uno studio pubblicato nel 2017 da Bloomberg sosteneva che Facebook aveva classificato alcuni utenti come omosessuali sulla base delle pubblicazioni alle quali avevano dato un "like", anche se non erano stati apertamente identificati come tali.

Qual e' allora il problema? Quello che il sistema/algoritmo fa è raggruppare le parole per tematiche. O per tipo di abbigliamento, se stiamo organizzando un armadio: abbiamo la sezione cappotti, top, magliette, t-shirt, sciarpe, calzini..... e poi stabiliamo relazioni. E se la macchina ha appreso che, se vede dei pantaloni il soggetto che li indossa è un uomo? Non potrebbe essere una donna? No, ma l'algoritmo intuisce che è probabile che sia un uomo perché è statisticamente più probabile che lo sia.

Sono queste relazioni che hanno portato un team di ricercatori a concludere che un algoritmo utilizzato per analizzare i rischi per la salute di milioni di pazienti negli Stati Uniti discrimina sistematicamente la popolazione nera.

Come fa la macchina a stabilire queste relazioni proxy?

Con i dati. Piu' sono, meglio è'. È il modo in cui viene alimentato il cosiddetto apprendimento automatico (machine learning). Nell'apprendimento automatico, una delle tecniche più frequenti è quella di alimentare la macchina con migliaia e migliaia di testi in modo che trovi modelli e impari la lingua stessa, che è conosciuta come mappatura delle parole. Inoltre, è necessaria una persona che convalidi le risposte giuste e rifiuti quelle sbagliate.

In altre parole, la macchina attraversa un periodo di apprendimento in cui regola il peso delle sue risposte in base a ciò che il validatore si aspetta. "È una rete artificiale per capire la struttura di una frase. La macchina è alimentata con molti testi che rappresentano la lingua studiata", spiega Álvaro Barbero, chief data scientist del Instituto de Ingeniería del Conocimiento. "Il sistema impara quali parole sono simili le converte in numeri in modo che la macchina possa capirne il linguaggio. E' molto usato perchè è un sistema molto efficace".

Ma come si corregge una macchina che si è nutrita di testi e considera buoni i pregiudizi sessisti o razzisti in essi?

Rischio di amplificazione?

Se la macchina trae conclusioni imprecise dai dati può portare a conclusioni errate. E' come un proiettile: un millimetro di deviazione può compromettere il raggiungimento del bersaglio.

Bloomberg cita un caso: Nel 2017 la città di Chicago ha annunciato l'intenzione di utilizzare un software di sorveglianza predittiva per assegnare ulteriori agenti di polizia alle aree più esposte alla criminalità. Il problema era che il modello indirizzava più risorse in quelle aree in cui esisteva già una maggiore presenza della polizia, poiché rafforzava i pregiudizi della polizia stessa.

Cosa si può fare per evitarlo?

Esistono fortunatamento alcuni principi di base riguardanti la responsabilità algoritmica. Si tratta della "configurazione etica", per cui i creatori degli algoritmi devono essere consapevoli che esiste una possibilità di errore e, se si verifica, erradicarla. Il passo successivo è la validazione, che obbliga a testarli con prove e test sperimentali. Tutti i dati utilizzati dovrebbero inoltre far parte di una relazione che ne specifichi l'origine, le cosiddette informazioni pubbliche, che devono essere accessibili e soggette a revisioni contabili esterne. È improbabile, tuttavia, che Facebook o Google siano disposti ad aprire o rendere pubblici i loro preziosi algoritmi...

Fa paura ma, la costruzione algoritmica della realtà sociale è pienamente in atto. 

Silvia Mazzetta

Web Developer, Blogger, Creative Thinker, Social media enthusiast, Italian expat in Spain, mom of little 9 years old geek, founder of  @manoweb. A strong conceptual and creative thinker who has a keen interest in all things relate to the Internet. A technically savvy web developer, who has multiple  years of website design expertise behind her.  She turns conceptual ideas into highly creative visual digital products.