Locale vs. cloud: ecco come utilizzare l'intelligenza artificiale su un computer senza connessione Internet.

Il futuro dell'intelligenza artificiale non implica necessariamente l'affidamento al cloud, ma piuttosto all'elaborazione locale, proprio come altri servizi che eseguiamo sui nostri computer. Da alcuni mesi utilizziamo un Lenovo P14 S , dotato di un Qualcomm Snapdragon X Elite e di una NPU che lo colloca tra i migliori computer per l'elaborazione dell'intelligenza artificiale. Abbiamo avuto l'opportunità di parlare con Alberto Ruano, presidente di Lenovo Spagna, di questa nuova generazione di computer, che sta cambiando per dare priorità all'intelligenza artificiale. Una delle novità più interessanti è stata l'esecuzione di modelli simili a ChatGPT – nel nostro caso, LLaMA 3.2 di Meta – direttamente sul computer, senza bisogno di una connessione internet .

Ruano è chiaro: "Il futuro del PC risiede nell'intelligenza artificiale. Non solo assistenti intelligenti, ma funzionalità che consentono di lavorare in locale, senza inviare dati ai server". Ed è esattamente ciò che stiamo testando.

L'esperienza ci ha stupito. Utilizzando applicazioni come AnythingLLM, siamo stati in grado di eseguire modelli linguistici completamente in locale, integrando persino i nostri database tramite funzioni RAG. Per chi gestisce informazioni sensibili, come giornalisti o avvocati, questa funzionalità è rivoluzionaria: il modello non ha bisogno di inviare nulla al cloud; tutto rimane sul dispositivo. La privacy è totale. È incredibile che, con i modelli locali, si possa raggiungere il livello di risposta di ChatGPT-40 , che gran parte della base di conoscenza umana sia installata sul nostro computer e che l'intelligenza artificiale sia in grado di rispondere praticamente a qualsiasi domanda.

Nei nostri test, i modelli che si sono distinti sono stati LLaMA 3.1 8B Chat, con 8.000 token di contesto (equivalenti a 6.000 o 7.000 parole che possiamo includere nel prompt), e Phi 3.5 Mini Instruct, con 4.000 token di contesto (circa 3.000 parole). Entrambi sono specificamente ottimizzati per l'esecuzione sulla NPU dello Snapdragon X Elite e si integrano direttamente in AnythingLLM. In questo caso, trattandosi di modelli progettati su misura da Qualcomm per la sua NPU, le prestazioni sono state eccellenti: tempi di risposta rapidi e un senso di immediatezza che rivaleggia con qualsiasi esperienza cloud.

L'utilizzo della NPU non solo migliora la velocità di inferenza, ma riduce anche significativamente il consumo della batteria e libera il processore principale per altre attività. In questo modo, anche se giochiamo costantemente con il nostro ChatGPT, possiamo comunque godere di una durata della batteria di quasi un giorno intero, che è esattamente ciò che gli utenti cercano: una lunga durata della batteria. Ruano spiega: "L'obiettivo è raggiungere una durata della batteria fino a 25 ore su alcuni modelli, senza aumentare significativamente il peso del dispositivo".

Abbiamo anche provato modelli non ottimizzati per la NPU, come il nuovo Qwen 3 con 8 miliardi di parametri o il Deepseek r11B di ultima generazione. Qui, l'esperienza cambia: funzionano, ma non altrettanto velocemente, poiché operano sulla CPU. Nel caso di altri modelli, non siamo nemmeno riusciti a caricarli correttamente a causa dei limiti di memoria; in altri, le prestazioni erano molto basse, sebbene funzionali, cosa molto comune senza una GPU ad alte prestazioni.

Questo test dimostra chiaramente che, nonostante l'hardware di Qualcomm sia promettente, la chiave è avere modelli ben adattati all'ecosistema, ovvero alla sua NPU.

La visione di Lenovo va oltre l'hardware. "Vogliamo che i computer siano più di un semplice strumento di lavoro; dovrebbero essere parte di un ecosistema connesso, adattabile a qualsiasi ambiente", ha spiegato Ruano. E questo significa dispositivi in grado di comprendere, elaborare e aiutare in tempo reale, senza bisogno di essere costantemente connessi a internet. Il chip Qualcomm e strumenti come AnythingLLM ci avvicinano ulteriormente a un'intelligenza artificiale più privata, efficiente e personale.