I ricercatori dell’intelligenza artificiale di Apple hanno compiuto un passo avanti significativo nell’utilizzo dei Large Language Models (LLM) su iPhone e altri dispositivi Apple con memoria inferiore introducendo un’ingegnosa tecnica di memoria flash.
Il documento di ricerca, intitolato “LLM in a Flash: Efficient Inference of Large Language Models with Limited Memory“, è stato rilasciato il 12 dicembre 2023, ma ha guadagnato un’attenzione più ampia quando Hugging Face, il sito web più popolare tra gli scienziati dell’intelligenza artificiale per mostrare il proprio lavoro, lo ha annunciato mercoledì scorso. Questo è il secondo documento di ricerca Apple sull’intelligenza artificiale generativa di questo mese ed è l’ultimo di una serie di mosse che consentono ai modelli di generazione di immagini, come Stable Diffusion, di funzionare sui suoi chip personalizzati.
In passato, la possibilità di eseguire modelli linguistici di dimensioni considerevoli su dispositivi con limitata capacità di memoria era un’impresa impossibile. Questo vincolo derivava dalla notevole quantità di memoria richiesta dagli LLM per immagazzinare dati e sostenere processi intensivi dal punto di vista della memoria. Per superare questa sfida, i ricercatori di Apple hanno sviluppato una tecnologia innovativa che consente di memorizzare dati sulla memoria flash, la memoria secondaria destinata all’archiviazione di immagini, documenti e applicazioni.
I ricercatori Apple affermano che “affronta la sfida di gestire in modo efficiente LLM che superano la capacità DRAM disponibile memorizzando i parametri del modello sulla memoria flash ma portandoli su richiesta nella DRAM.“
Di conseguenza, l’intero Large Language Model (LLM) è ora conservato sul dispositivo, ma la sua utilizzazione avviene attraverso la RAM in collaborazione con la memoria flash, un modulo di memoria virtuale. Questo approccio non si discosta significativamente da come viene implementato su macOS per le attività che richiedono elevate risorse di memoria. In parole semplici, i ricercatori di Apple hanno astutamente superato queste limitazioni attraverso l’applicazione di due tecniche che minimizzano il trasferimento di dati e massimizzano il throughput della memoria flash.
Questo processo può essere concepito come un mezzo per riciclare i dati: anziché caricare i dati a ogni occorrenza, il modello di intelligenza artificiale riusa una parte dei dati già elaborati in precedenza. Ciò comporta una minore necessità di recuperare e archiviare costantemente i dati in memoria, accelerando e snellendo il processo complessivo.
Il documento di ricerca suggerisce che l’unione di queste tecniche consentirà ai modelli di intelligenza artificiale di operare con almeno il doppio della memoria di un iPhone. Si prevede che questo metodo comporterà un incremento della velocità dei processori centrali (CPU) fino a 5 volte, e addirittura 20-25 volte per i processori grafici (GPU).Questo nuovo progresso nell’efficienza dell’intelligenza artificiale apre la strada a nuove potenzialità per i futuri iPhone, tra cui funzionalità più avanzate per Siri e traduzione linguistica in tempo reale. Emergono anche possibilità di funzionalità avanzate basate sull’intelligenza artificiale per la fotografia e la realtà aumentata, insieme alla prospettiva di eseguire sofisticati chatbot e assistenti AI direttamente sul dispositivo. Questa tecnologia costituirà una base solida per l’implementazione di chatbot avanzati e assistenti AI sui futuri dispositivi Apple.