Nell’ultimo decennio, l’intelligenza artificiale e l’apprendimento automatico sono emersi come importanti focolai di ricerca, guidati dai progressi nel calcolo GPU, negli algoritmi software e nella progettazione di hardware specializzato. Nuovi dati suggeriscono che almeno alcuni dei miglioramenti algoritmici dell’ultimo decennio potrebbero essere stati più piccoli di quanto si pensasse in precedenza.

Ricercatori che lavorano per convalidare i miglioramenti a lungo termine in vari algoritmi di IA hanno trovato più situazioni in cui modesti aggiornamenti alle vecchie soluzioni hanno permesso loro di corrispondere a nuovi approcci che si supponeva li avessero superati. Il team ha confrontato 81 diversi algoritmi di potatura rilasciati in un periodo di dieci anni e non ha trovato alcuna prova chiara e inequivocabile di miglioramento in quel periodo di tempo.

Secondo David Blalock, uno studente laureato in informatica al MIT che ha lavorato al progetto, dopo cinquanta documenti “è diventato chiaro che non era nemmeno ovvio quale fosse lo stato dell’arte”. Il consulente di Blalock, il dottor John Guttag, ha espresso sorpresa per la notizia e ha detto a Science: “È il vecchio detto, giusto? Se non puoi misurare qualcosa, è difficile migliorarlo”.

Problemi come questo, per inciso, sono esattamente il motivo per cui l’iniziativa MLPerf è così importante. Abbiamo bisogno di test oggettivi che gli scienziati possano utilizzare per un valido confronto incrociato di modelli e prestazioni hardware.

Quello che i ricercatori hanno trovato, in particolare, è che in alcuni casi, gli algoritmi più vecchi e più semplici erano in grado di tenere il passo con i nuovi approcci una volta che i vecchi metodi sono stati modificati per migliorare le loro prestazioni. In un caso, un confronto di sette algoritmi di raccomandazione di media basati su reti neurali ha dimostrato che sei di loro erano peggio dei vecchi algoritmi non neurali, più semplici. Un confronto di Cornell degli algoritmi di recupero delle immagini ha trovato che le prestazioni non sono cambiate dal 2006, una volta che i vecchi metodi sono stati aggiornati:

Immagine da Science

Ci sono alcune cose che voglio sottolineare qui: In primo luogo, ci sono un sacco di guadagni AI che non sono stati illusori, come i miglioramenti ai video upscaler AI, o i noti progressi nelle telecamere e nella computer vision. Le GPU sono molto meglio per i calcoli AI di quanto non fossero nel 2009, e gli acceleratori specializzati e le istruzioni AVX-512 specifiche per l’AI del 2020 non esistevano nemmeno nel 2009.

Ma non stiamo parlando del fatto che l’hardware sia diventato più grande o migliore nell’esecuzione degli algoritmi AI. Stiamo parlando degli algoritmi sottostanti stessi e di quanta complessità è utile in un modello di IA. In realtà ho imparato qualcosa su questo argomento direttamente; il mio collega David Cardinal ed io abbiamo lavorato su alcuni progetti relativi all’IA in relazione al lavoro che ho fatto con il progetto DS9 Upscale. I miglioramenti fondamentali degli algoritmi sono difficili e molti ricercatori non sono incentivati a testare completamente se un nuovo metodo è effettivamente migliore di uno vecchio – dopo tutto, sembra meglio se si inventa un metodo completamente nuovo per fare qualcosa piuttosto che mettere a punto qualcosa creato da qualcun altro.

Naturalmente, non è nemmeno così semplice come dire che i modelli più recenti non hanno contribuito nulla di utile al campo. Se un ricercatore scopre ottimizzazioni che migliorano le prestazioni su un nuovo modello e queste ottimizzazioni funzionano anche per un vecchio modello, ciò non significa che il nuovo modello sia irrilevante. Costruire il nuovo modello è il modo in cui quelle ottimizzazioni sono state scoperte in primo luogo.

L’immagine qui sopra è ciò che Gartner definisce un ciclo di hype. L’IA è stata sicuramente soggetta ad uno, e dato quanto la tecnologia è centrale per quello che stiamo vedendo da aziende come Nvidia, Google, Facebook, Microsoft e Intel in questi giorni, sarà un argomento di discussione anche in futuro. Nel caso dell’IA, abbiamo visto vere e proprie scoperte su vari argomenti, come insegnare ai computer come giocare efficacemente, e un sacco di ricerca sui veicoli a guida autonoma. Le applicazioni principali per i consumatori, per ora, rimangono abbastanza di nicchia.

Non leggerei questo documento come prova che l’IA non è altro che aria fritta, ma prenderei sicuramente con un grano di sale le affermazioni sulla sua conquista dell’universo e la sostituzione di noi in cima alla catena alimentare. I veri progressi nel campo – almeno in termini di principi fondamentali sottostanti – potrebbero essere più difficili da ottenere di quanto alcuni abbiano sperato.

Top image credit: Getty Images

Ora leggi:

• Level Up: GameGAN AI di Nvidia crea Pac-Man senza un motore di gioco sottostante
• Microsoft ha costruito uno dei più potenti supercomputer del mondo per sviluppare un’intelligenza artificiale simile a quella umana
• Nvidia svela la sua prima GPU basata sull’ampere, alzando il livello dell’intelligenza artificiale dei centri dati