L'ossessione per la scalabilità dell'industria dell'intelligenza artificiale è destinata a crollare

Un nuovo studio del MIT suggerisce che i modelli di intelligenza artificiale più grandi e computazionalmente più intensivi potrebbero presto offrire rendimenti decrescenti rispetto ai modelli più piccoli. Confrontando le leggi di scala con i continui miglioramenti nell'efficienza dei modelli, i ricercatori hanno scoperto che potrebbe diventare più difficile ottenere balzi in avanti nelle prestazioni da modelli di grandi dimensioni, mentre i guadagni in efficienza potrebbero rendere i modelli eseguiti su hardware più modesto sempre più performanti nel prossimo decennio.

"Nei prossimi cinque o dieci anni, è molto probabile che la situazione inizi a restringersi", afferma Neil Thompson, informatico e professore al MIT coinvolto nello studio.

I balzi in avanti in termini di efficienza, come quelli osservati con il modello notevolmente economico di DeepSeek a gennaio, hanno già rappresentato un punto di svolta per il settore dell'intelligenza artificiale, abituato a bruciare enormi quantità di risorse di elaborazione.

Allo stato attuale, un modello di frontiera di un'azienda come OpenAI è attualmente molto migliore di un modello addestrato con una frazione della potenza di calcolo di un laboratorio accademico. Sebbene la previsione del team del MIT potrebbe non essere valida se, ad esempio, nuovi metodi di addestramento come l'apprendimento per rinforzo producessero risultati sorprendenti, suggeriscono che le grandi aziende di intelligenza artificiale avranno un vantaggio minore in futuro.

Hans Gundlach, ricercatore del MIT che ha guidato l'analisi, si è interessato alla questione a causa della natura complessa dell'esecuzione di modelli all'avanguardia. Insieme a Thompson e Jayson Lynch, un altro ricercatore del MIT, ha mappato le prestazioni future dei modelli di frontiera rispetto a quelli costruiti con mezzi computazionali più modesti. Gundlach afferma che la tendenza prevista è particolarmente pronunciata per i modelli di ragionamento attualmente in voga, che si basano maggiormente su calcoli aggiuntivi durante l'inferenza.

Thompson afferma che i risultati dimostrano l'importanza di perfezionare un algoritmo e di aumentarne la potenza di calcolo. "Se si investono molti soldi nell'addestramento di questi modelli, allora si dovrebbe assolutamente investire una parte di questi soldi nello sviluppo di algoritmi più efficienti, perché questo può avere un impatto enorme", aggiunge.

Lo studio è particolarmente interessante considerando l'attuale boom delle infrastrutture di intelligenza artificiale (o dovremmo dire "bolla"?), che non mostra segni di rallentamento.

OpenAI e altre aziende tecnologiche statunitensi hanno firmato accordi da centinaia di miliardi di dollari per costruire infrastrutture di intelligenza artificiale negli Stati Uniti. "Il mondo ha bisogno di molta più potenza di calcolo", ha proclamato questa settimana il presidente di OpenAI, Greg Brockman, annunciando una partnership tra OpenAI e Broadcom per chip di intelligenza artificiale personalizzati.

Un numero crescente di esperti mette in dubbio la solidità di questi accordi. Circa il 60% del costo di costruzione di un data center è destinato alle GPU, che tendono a deprezzarsi rapidamente. Anche le partnership tra i principali attori appaiono circolari e opache .

Jamie Dimon, CEO di JP Morgan, è l'ultimo grande nome della finanza a lanciare un avvertimento, come dichiarato alla BBC la scorsa settimana. "Il livello di incertezza dovrebbe essere più alto nella mente della maggior parte delle persone".

La corsa all'oro delle infrastrutture di intelligenza artificiale non riguarda solo la creazione di modelli più performanti. OpenAI sta effettivamente scommettendo che la domanda di nuovi strumenti di intelligenza artificiale generativa crescerà in modo esponenziale. L'azienda potrebbe anche cercare di ridurre la sua dipendenza da Microsoft e Nvidia e trasformare la sua enorme valutazione di 500 miliardi di dollari in infrastrutture che può progettare e personalizzare.

Ciononostante, sembrerebbe prudente per il settore utilizzare analisi come quella presentata dal MIT per esplorare come gli algoritmi e l'hardware potrebbero evolversi nei prossimi anni.

Il boom edilizio che sta attualmente sostenendo gran parte dell'economia statunitense potrebbe avere conseguenze anche sull'innovazione americana. Investendo così massicciamente in GPU e altri chip specializzati per il deep learning, le aziende di intelligenza artificiale potrebbero perdere nuove opportunità che potrebbero derivare dall'esplorazione di idee provenienti dai margini del mondo accademico, come alternative al deep learning, nuovi progetti di chip e persino approcci come il calcolo quantistico. Dopotutto, è da lì che provengono le attuali scoperte in ambito di intelligenza artificiale.

Ti preoccupano i soldi investiti in nuove infrastrutture di intelligenza artificiale? Invia un'e-mail a [email protected] per condividere le tue opinioni.

Questa è un'edizione della newsletter AI Lab di Will Knight . Leggi le newsletter precedenti qui.