RE_CRASH – Il big bang dell'intelligenza artificiale

Questo podcast fa parte di Voice Podcast Creators Company Nel 2012 la ImageNet Challenge era giunta alla sua terza edizione. Ufficialmente noto come ImageNet Large Scale Visual Recognition Challenge, il concorso, ancora oggi attivo, era stato lanciato nel 2010 dalla docente di Stanford Fei-Fei Li per permettere di sfidarsi ai migliori software di riconoscimento immagini, in grado quindi di riconoscere gli oggetti o gli esseri viventi presenti in una fotografia, premiando il più preciso ad analizzare correttamente le immagini presenti nel database. La realizzazione del database battezzato ImageNet era stato l'immane compito a cui proprio Fei-Fei Li si era dedicata per anni nonostante lo scetticismo dei colleghi, portando la termine nel 2009 anche grazie alle intuizioni informatiche dei suoi studenti. Come racconta Fei-Fei Li nel suo salto a Harvard University Press, ImageNet era un database di dimensioni che all'epoca non si erano mai viste: 15 milioni di immagini suddivise in 22.000 categorie distinte, selezionate da un totale di quasi un miliardo e annotate da una squadra internazionale di oltre 48.000 collaboratori provenienti da 167 paesi. ImageNet possedeva la scala e la varietà di una serie di immagini disponibili sui siti e sui siti internazionali. "Non cedeva la scala e la varietà che avevamo sognato per anni, pur mantenendo un livello stabile di precisione", scrive Fei-Fei Li. Ciascuna singola immagine non era soltanto etichettata manualmente, ma anche organizzata all'interno di una gerarchia e verificata tre volte. Fin qui, questa vicenda riguarda soltanto gli addetti ai lavori, i docenti e i ricercatori che principalmente nelle università statunitensi e canadesi lavoravano allo sviluppo dei primi programmi di linguistica scolastico. Inoltre, non c'era nessun'altra scelta in questo senso. Quello che nessuno invece avrebbe potuto immaginare era che il 30 settembre 2012, proprio durante la terza ImageNet Challenge, si sarebbe verificata una svolta improvvisa, che avrebbe dato il via alla rivoluzione tecnologica delle reti neurali e del deep learning, e che avrebbe portato il mondo intero a farlo. portato il mondo intero a fare conoscenza con i sistemi informatici che oggi chiamiamo intelligenza artificiale. portato il mondo intero a fare conoscenza con i sistemi informatici che oggi chiamiamo "intelligenza artificiale". Sono Andrea Daniele Signorelli e questo è Crash, la chiave per il digitale. Fino a quel momento i vincitori della ImageNet Challenge erano stati degli algoritmi di computer vision noti come SVM , realizzati dai ricercatori dei NEC Labs o dal centro di ricerca della Xerox in Francia. Nel 2012 questi sistemi sarebbero però stati sconfitti da un algoritmo noto come AlexNet. In realtà dire che AlexNet abbia sconfitto gli avversari è riduttivo. L'algoritmo di riconoscimento immagini sviluppato all'Università di Toronto aveva infatti stracciato la concorrenza, raggiungendo un livello di accuratezza mai visto prima, che si avvicinava in maniera sorprendente all'abilità degli esseri umani di distinguere e catalogare ciò che vedono. Per la precisione, nel 2012 AlexNet ha raggiunto un livello di accuratezza dell'85%, segnalando ovviamente che cos'è presente nelle immagini nell'85% dei casi, mentre il secondo classificato si è fermato al 74%. Solo due anni prima il vincitore non aveva superato quota 71%. Il salto qualitativo di AlexNet non è quindi stato solo enorme, ma improvviso e soprattutto imprevisto da tutti gli addetti ai lavori. A stupire più di ogni altra cosa, l'organizzatrice della ImageNet Challenge, Fei-Fei Li, era stato però il tipo di software che era riuscito in questa impresa. AlexNet era infatti una rete neurale basata su machine learning, una tecnologia vecchia ormai decenni e che da lungo tempo era stata praticamente abbandonata dalla comunità scientifica durante il periodo noto come "inverno" dell'intelligenza artificiale. Negli anni '10, spiega nel libro Fei-Fei Li, la maggior parte di noi considerava la rete neurale quella serie di unità decisionali interconnesse, organizzate da un gruppo di studenti con una gerarchia di ispirazione biologica, un oggetto polveroso, racchiuso in una teca e protetto da cordoni di velluto. Era come se mi avessero detto che il record di velocità su strada era stato infranto con un margine di 150 km/h da un Honda Civic, ma il progresso non funziona così. Come era potuto avvenire, come aveva fatto una vecchia tecnologia abbandonata da tutti i ricercatori a stracciare la concorrenza dei più avanzati modelli dell'epoca? In realtà, negli anni '90 e '2000, le reti neurali non erano state abbandonate da tutti i ricercatori. Alcuni di loro continuavano infatti a lavorarci, convinti che, nonostante le difficoltà, fosse quella la strada migliore per conquistare il sacro graal tecnologico dell'intelligenza artificiale. Il problema infatti non erano le limitazioni intrinseche delle reti neurali o degli algoritmi di machine learning, non era la teoria a essere sbagliata. Era il progresso tecnologico. Come lo stesso sviluppo del database ImageNet dimostrava, visto che non sarebbe stato possibile crearlo senza l'enorme quantità di immagini reperibili in rete, negli anni '10 la situazione stava rapidamente cambiando. Da una parte, Internet aveva permesso un'esplosione di dati che adesso potevano essere sfruttati per creare i database necessari ad addestrare le reti neurali. Dall'altra, la potenza di calcolo a disposizione degli scienziati continuava a crescere. Come scrive sempre Fei-Fei Li, AlexNet, a quanto pareva, non era soltanto uno dei partecipanti al concorso. Era invece un momento di rivalsa, progettato un quarto di secolo prima. A essere convinti che fosse solo una questione di tempo prima che la storia desse loro ragione, erano diversi, come Jan LeCun, Joshua Bengio e Geoff Hinton, che avevano continuato a lavorare sulle reti neurali, nonostante il mondo accademico li trattasse come reietti, ma si sarebbero presto abbondantemente rifatti. Proprio Hinton, all'epoca docente all'Università di Toronto, risulta come terzo firmatario del paper che presenta AlexNet, assieme ai suoi due studenti, Alex Kryszewski e Ilya Suskever, che qualche anno dopo avrebbe ceduto alla corte di Elon Musk e Sam Altman e avrebbe cofondato Open AI. Insomma, con AlexNet nel 2012 inizia ufficialmente l'epoca del machine deep learning, delle reti neurali e di tutto ciò che oggi chiamiamo "intelligenza artificiale", la tecnologia che ha reso possibili sistemi di riconoscimento immagini impiegati dalle telecamere di sorveglianza o gli algoritmi predittivi usati da Amazon per suggerirci che cosa comprare, da Instagram e TikTok per individuare quali video hanno le maggiori possibilità di piacerci, dai laboratori di biologia per prevedere la struttura di una proteina e, ovviamente, da Open AI e da Deep Seek per dare vita ai loro stupefacenti modelli linguistici. E quindi i dati necessari all'addestramento delle reti neurali che nel 2012 hanno dato il via alla rivoluzione dell'intelligenza artificiale erano diventati disponibili grazie a internet e ai social network. E per quanto invece riguarda la potenza di calcolo, che cosa aveva consentito l'università? C'è un momento di fare un salto di qualità così lungamente atteso? Per rispondere a questa domanda facciamo prima un passo indietro. Il cuore di ogni sistema informatico è rappresentato dal suo chip, che a partire dagli anni '60, grazie alle innovazioni di Intel, si stava rapidamente trasformando. Come racconta Cesare Alemanni in Il Re Invisibile, pubblicato sempre da Lewis University Press, in quegli anni, grazie a innovazioni come il processo di fabbricazione del chip, si producevano ormai circuiti che riuscivano a integrare migliaia di transistor in un unico chip, con tempi e costi molto più ridotti. Condensando alcuni di questi fondamentali sviluppi in un singolo progetto, nel 1971 un gruppo di ingegneri e ricercatori di Intel, guidati dall'italiano Federico Faggin, riuscì a realizzare il primo microprocessore della storia. Messo sul mercato con il nome di Intel 4004, esso conteneva 2300 transistor e poteva eseguire 60 minuti. 2000 istruzioni al secondo. In meno di un anno Intel fu già in grado di presentare un esemplare di processore ulteriormente migliorato, l'Intel 8008, un nome che suggeriva un raddoppio delle prestazioni che era in grado di offrire. Si era all'inizio di un decennio in cui Intel avrebbe ridefinito la curva di avanzamento dell'industria informatica e del suo impatto sulla società, immettendo sul mercato, uno dopo l'altro, una serie di chip e microprocessori sempre più performanti. Come abbiamo visto, mentre le CPU di Intel facevano rapidissimi passi da gigante, le reti neurali affrontavano invece l'inverno dell'intelligenza artificiale, senza quindi riuscire ad avvantaggiarsi degli inarrestabili progressi informatici. Com'è però possibile, considerando che proprio la crescita del potere computazionale assieme ai dati è il fulcro dell'avvantaggio? Per capirlo, bisogna osservare una foto, descritta da Alessandro Aresu in Geopolitica dell'intelligenza artificiale, pubblicato invece da Feltrinelli. C'è una foto del 2012 che ritrae Geoffrey Hinton in primo piano, sulla destra, scrive Aresu. Sorride ed è chiaramente felice. Dietro di lui, oltre alle lavagne che riportano le sue reti neurali, ci sono due suoi studenti. Uno, che sta sulla sinistra dell'immagine, è ancora più sorridente di Hinton, visibilmente soddisfatto e in posa, con i suoi abiti comodi. Al centro, ma fuori fuoco, c'è l'altro, che non guarda verso la camera. Lo sguardo sembra distratto, perso. Si tratta di Alex Krischewski. Come avrete capito, la foto descritta da Aresu ritrae i tre ricercatori immortalati dopo aver presentato l'algoritmo AlexNet. L'immagine rende visibili tre persone, prosegue Aresu, il maestro e i due allievi. Ma, in realtà, a tenerli insieme c'è anche un dettaglio che non viene fotografato: la GPU di Jensen. Jensen è Jensen Huang, il fondatore di NVIDIA, e la GPU è la Graphic Processing Unit prodotta proprio da NVIDIA, che, grazie alle sue caratteristiche, ha permesso al Deep Learning di esplodere, soppiantando, almeno nei settori tecnologicamente più avanzati, le CPU Central Processing Unit di Intel, che avevano invece permesso la rivoluzione informatica e informatica internazionale, con l'utilizzo delle tecnologie internazionali. A NVIDIA, la CPU Central Processing Unit è un'unica di quelle che ha promesso la rivoluzione informatica dei personal computer. Qual è la differenza tra CPU e GPU? Per spiegarlo, Aresu si rifà la vita di Jensen Huang, immigrato da Taiwan negli Stati Uniti all'età di 9 anni e che, prima di fondare NVIDIA nel 1993, aveva svolto ogni sorta di umile lavoro, compreso pulire i bagni della scuola pubblica in cui studiava in Kentucky o fare il cameriere nel fast food Denny's in Oregon. "Jensen si è abituato a vivere in parallelo, scrive Aresu. Aiutare Lori, sua moglie, coi bambini, andare da Denny's, parlare con i clienti per LSI, l'azienda in cui lavorava prima di NVIDIA, andare di nuovo da Denny's, poi di nuovo i bambini, giocare ai videogiochi nelle pause dallo studio per Stanford. Questa è la sua assurda agenda giornaliera. Un essere umano può effettivamente svolgere questi compiti insieme, nella stessa giornata. Non può, però, svolgerli nello stesso momento. Le operazioni dell'economia del silicio fondate sul processore centrale attorno a cui ruota un mondo di calcoli e di prodotti non funzionavano in modo troppo diverso, tanti compiti da fare, uno dopo l'altro. Le GPU di Yen Sen Wang miravano, invece, a superare questo limite e a eseguire i calcoli in parallelo tramite la suddivisione di ogni singola grande computazione in una serie di computazioni più complessi. Il piano fisico di chip e transistor si traduceva in un'architettura logica meno sofisticata e intelligente rispetto a quella di una CPU, ma molto più specializzata, rapida e potente a livello puramente computativo. Nacquero così le GPU. Inizialmente il successo delle GPU, e quindi di NVIDIA, è legato al boom che nel frattempo sta attraversando il mondo dei videogiochi, che grazie a esse riesce a fare enormi passi avanti, soprattutto dal punto di vista grafico. Si scopre poi che questi stessi processori si prestano perfettamente al mining di criptovalute, ovvero la corsa computazionale per validare le transazioni che avvengono sulla blockchain e che consente di ottenere delle criptovalute come ricompensa. E poi si scopre anche un'altra cosa, che il sistema di parallel computing che rende le righe particolarmente brave a calcolare i poligoni di un videogioco in 3D, le rende anche decisamente abili a risolvere i calcoli coinvolti nell'addestramento delle reti neurali alla base del funzionamento di alcune tipologie di intelligenza artificiale, inclusi i cosiddetti large language model come chat GPT. E' quindi la GPU a rendere possibile il big bang dell'intelligenza artificiale e il trionfo nel 2012 di AlexNet. In una testimonianza raccolta da Aresu, la potenza delle GPU viene riassunta così. Per insegnare a un computer come riconoscere con precisione, per esempio, i veicoli, c'è bisogno di 100 milioni di immagini di automobili, camion, autobus, veicoli di emergenza, ecc. Senza GPU sarebbe necessario addestrare un sistema a riconoscere quelle immagini per mesi. I sistemi all'avanguardia di oggi possono ridurre questo tempo a un singolo giorno. Assieme ai dati presi disponibili da internet e dai social network, e assieme alla perseveranza dei padrini del deep learning Jeff Hinton, Jan Lecune e Joshua Bengio, insegniti nel 2018 per le loro conquiste del Turing Award, il Nobel dell'informatica, sono proprio le GPU ad aver reso possibile la rivoluzione tecnologica in cui oggi siamo immersi. Una rivoluzione che, tra le altre cose, ha portato Nvidia al vertice delle aziende più ricche del mondo e che ha fatto sì che i chip finissero al centro della colossale competizione economica e politica tra Cina e Stati Uniti, le due superpotenze tecnologiche della nostra epoca. Se ti è piaciuta questa puntata e vuoi supportare Crash, puoi fare due cose semplicissime ma che fanno la differenza, mettere 5 stelline e condividere questa puntata con i tuoi amici e le tue amiche. A mercoledì prossimo!