Negli ultimi anni, il panorama dell’intelligenza artificiale ha visto un’evoluzione straordinaria, con progetti ambiziosi che sembrano abbattere i limiti del possibile. Tra le novità più recenti, un gruppo di ricercatori provenienti dalle università di Stanford e Washington ha creato un modello linguistico avanzato, chiamato S1, con una spesa di soli 50 dollari.
Questo fatto sorprende, soprattutto se si considera che modelli simili a quelli di OpenAI, come GPT-4, possono costare centinaia di milioni di dollari per l’addestramento. Ma come è stato possibile ottenere un risultato così incredibile con una cifra così contenuta? L’innovazione alla base di S1 risiede nella tecnica di “distillazione“, un metodo che permette ai modelli più piccoli di apprendere da quelli più grandi, sfruttando i risultati già ottenuti dai modelli precedenti.
In pratica, S1 non è stato addestrato da zero, ma ha imparato a “ragionare” utilizzando le risposte del potente modello Gemini 2.0 di Google, uno dei più avanzati nel settore. Grazie a questa tecnica, i ricercatori sono riusciti a ottenere un modello performante con un numero ridotto di risorse, impiegando solo 16 GPU H100 di Nvidia noleggiate via cloud.
Questo approccio ha permesso loro di ridurre significativamente i costi di addestramento, raggiungendo comunque prestazioni simili a quelle dei modelli più costosi come GPT-4 o DeepSeek. S1, infatti, ha dimostrato di poter affrontare con successo benchmark di matematica e programmazione, mettendo in evidenza un livello di competenza che compete con i grandi modelli presenti sul mercato. Ma come funziona la distillazione?
Essenzialmente, i ricercatori hanno creato un dataset di mille domande e risposte, utilizzando il modello Gemini 2.0 come “insegnante” per il piccolo modello S1. In questo modo, S1 ha potuto imparare velocemente anche schemi complessi, risparmiando tempo e risorse. Inoltre, questo approccio permette di ottenere un modello linguistico che sfrutta il ragionamento in modo simile a quello che avviene nei modelli più grandi, ma con costi computazionali molto più contenuti.
S1 non è l’unico esempio di questa nuova era di intelligenza artificiale economica. La distillazione, infatti, potrebbe rappresentare un cambiamento fondamentale nel modo in cui vengono sviluppati i modelli linguistici, permettendo a chiunque, anche con un budget limitato, di creare un’intelligenza artificiale avanzata. Tuttavia, è importante sottolineare che, sebbene la distillazione consenta di replicare le capacità dei modelli già esistenti, per sviluppare intelligenze artificiali veramente innovative e avanzate sono ancora necessari ingenti investimenti e risorse.
In questo scenario, la corsa per la supremazia nell’IA continua a essere dominata dai colossi come OpenAI, Google e DeepMind. Questi giganti del settore sono pronti a investire miliardi di dollari in infrastrutture cloud avanzate per mantenere la leadership mondiale. Ad esempio, il progetto Stargate, con il suo budget di 500 miliardi di dollari, dimostra quanto le risorse siano ancora cruciali per lo sviluppo di tecnologie all’avanguardia nel campo dell’intelligenza artificiale.