Giorno: 3 Febbraio 2024

Il percorso di LLAMA inizia è stato avviato da menti di OpenAI e Meta, unite non troppo tempo fa per fare vita ad una nuova direzione nell’intelligenza artificiale. Nata nel 2022, LLAMA è il frutto di un’ambizione condivisa: rivoluzionare il modo in cui interagiamo con l’informazione digitale, sfruttando le potenzialità dell’AI per superare i limiti dei tradizionali motori di ricerca e dei chatbot. La sua creazione segna un punto di svolta, rappresentando un salto qualitativo verso un’interazione più naturale, intuitiva e produttiva tra l’utente e la macchina.

La visione alla base di LLAMA è chiara: rendere l’accesso all’informazione non solo universalmente disponibile ma anche intrinsecamente più significativo. Questo obiettivo ambizioso si concretizza attraverso l’implementazione di tecnologie all’avanguardia in apprendimento automatico e elaborazione del linguaggio naturale (NLP), permettendo a LLAMA di comprendere e rispondere alle query degli utenti in modi che vanno oltre la semplice restituzione di dati. La piattaforma si distingue per la sua capacità di analizzare il contesto delle domande, offrendo risposte mirate che riflettono una comprensione profonda non solo del testo della query ma anche delle intenzioni e delle esigenze informative dell’utente.

Sviluppato con un occhio rivolto al futuro, LLAMA simboleggia a mio avviso un’impegno verso l’innovazione continua. Attraverso cicli iterativi di apprendimento e miglioramento, il modello si adatta e evolve, anticipando e rispondendo alle mutevoli dinamiche del digitale e alle crescenti aspettative degli utenti.

LLAMA-2 caratteristiche ed architettura

LLAMA-2 è uno dei progressi più significativi nell’ambito dell’IA dall’epoca di pionieri come AlexNet e i lavori fondamentali sui Transformer e una delle più complete architetture di grandi reti neurali per l’intelligenza generativa (GenAI). Rilasciato da Meta con una licenza aperta sia per scopi di ricerca che commerciali, LLAMA-2 non è semplicemente un altro modello nel vasto mare dell’AI, ma un balzo in avanti nell’innovazione aperta, segnando un punto di svolta per Meta nel contributo all’innovazione aperta in AI.

La struttura di LLAMA-2, dettagliata in un documento di 77 pagine, fornisce una panoramica esaustiva che permette ai data scientist di ricreare e personalizzare i modelli per i propri dataset. Con un addestramento su 2 trilioni di token, LLAMA-2 supera tutti i benchmark open source di un ampio margine e si colloca al livello di performance di GPT-3.5 nelle valutazioni umane. La novità più significativa risiede nel suo miglioramento rispetto all’architettura di OpenAI, in particolare nel bilanciamento tra sicurezza e utilità, dove le prestazioni del modello non degradano man mano che diventa più sicuro.

LLAMA-2 introduce avanzamenti notevoli come l’attenzione per query di gruppo (Grouper query attention), l’attenzione fantasma (Ghost Attention), il ridimensionamento della temperatura in contesto (In-Context Temperature re-scaling) e la percezione temporale (Temporal Perception). Queste innovazioni, insieme alla disponibilità su piattaforme come HuggingFace, WatsonX e Azure, facilitano l’adozione del modello, riducendo i costi e le barriere all’entrata. Ora è possibile personalizzare un modello LLM di 70B su una singola GPU, una possibilità inimmaginabile solo sei mesi fa.

LLAMA-2 è presente in varianti da 7B, 13B e 70B parametri, inclusa una versione istruita specificamente per chat, denominata LLaMA-Chat, nelle stesse tre dimensioni. Rispetto ai modelli Llama-1 precedenti, LLAMA-2 si distingue per i termini di licenza, un aumento del 40% della dimensione del corpus di preaddestramento, il raddoppio della lunghezza del contesto del modello a 4K, e l’adozione dell’attenzione per query di gruppo per la variante da 70B. L’aspetto più impattante è il nuovo approccio alla sicurezza con modelli di ricompensa per la Sicurezza e l’Utilità, che supera la maggior parte degli altri modelli nelle valutazioni umane.

L’addestramento di LLAMA-2 si basa sull’uso dell’algoritmo di codifica bytepair (BPE), applicando l’architettura transformer standard con pre-normalizzazione usando RMSNorm, la funzione di attivazione SwiGLU e l’incorporamento posizionale rotativo. I dettagli includono l’uso dell’ottimizzatore AdamW con una programmazione del tasso di apprendimento di tipo coseno, un riscaldamento di 2000 passaggi e la decadenza del tasso di apprendimento finale al 10% del picco. Il modello ha dimostrato eccellenti prestazioni in varie attività, come la codifica, le Q&A in contesto, il ragionamento di senso comune e le valutazioni di conoscenza.

La personalizzazione del modello utilizza tecniche di fine-tuning supervisionato (SFT) e apprendimento rinforzato con feedback umano (RLHF), partendo da dati di istruzione tuning disponibili pubblicamente e annotando circa 27.540 istanze con un forte focus sulla qualità dei dati. L’approccio al fine-tuning e il modello di ricompensa mirano a bilanciare efficacemente sicurezza e utilità, superando la tradizionale compensazione tra questi due aspetti e spingendo LLAMA-2 a diventare un punto di riferimento per l’adozione sicura delle LLM in ambito aziendale.

Come funziona LLAMA-2

Il processo attraverso il quale LLAMA-2 viene addestrato, affinato e raffinato utilizza tecniche all’avanguardia di fine-tuning supervisionato (SFT) e di apprendimento rinforzato con feedback umano (RLHF), stabilendo nuovi standard per la personalizzazione e l’efficienza dei grandi modelli linguistici (LLM). Questo approccio multifase non solo permette a LLAMA-2 di eccellere in compiti diversificati, come la codifica, le Q&A in contesto, il ragionamento di senso comune e le valutazioni di conoscenza, ma lo rende anche uno strumento prezioso per applicazioni aziendali grazie alla sua maggiore sicurezza e utilità.

Durante la fase di SFT, LLAMA-2 viene inizialmente addestrato su un set di dati di istruzione pubblicamente disponibili, arricchito da una minuziosa annotazione di circa 27.540 istanze con un’enfasi sulla qualità. Questo processo sfrutta un programma di apprendimento rateale di tipo coseno, iniziando con un tasso di apprendimento di 2*10^-5 e impiegando un decadimento del peso di 0.1, una dimensione del batch di 64 e una lunghezza di sequenza di 4096 token, ottimizzando il modello attraverso 2 epoche. L’obiettivo di addestramento segue un approccio auto-regressivo, dove la perdita sui token del prompt dell’utente viene annullata e la back-propagation viene eseguita solo sui token di risposta.

Nella fase RLHF, la raccolta dei dati umani viene eseguita seguendo una procedura specifica: gli annotatori creano un prompt e valutano due risposte generate dal modello in base a criteri stabiliti, assicurando una diversità migliorata. Questi dati, categorizzati lungo le dimensioni della sicurezza e dell’utilità, fungono da base per il Modello di Ricompensa, che valuta le risposte del modello e il prompt corrispondente, producendo un punteggio scalare che indica la qualità dell’output generato.

L’innovazione più rilevante introdotta da LLAMA-2 è la sua capacità di superare il compromesso comunemente osservato tra sicurezza e utilità, ottenendo prestazioni superiori in entrambi i criteri. Per raggiungere questo obiettivo, Meta ha addestrato due modelli di ricompensa distinti: uno ottimizzato per l’utilità, denominato Helpfulness RM, e un altro per la sicurezza, denominato Safety RM. Questi modelli utilizzano la stessa architettura e gli stessi iperparametri dei modelli di linguaggio preaddestrati, eccetto per la testa di classificazione per la previsione del prossimo token, che viene sostituita con una testa di regressione per generare la ricompensa scalare.

La formazione del modello di ricompensa si avvale di dati di preferenza umana strutturati in un formato di etichetta di classificazione binaria, dove le risposte vengono categorizzate come scelte e rifiutate, garantendo che la risposta scelta riceva sempre un punteggio superiore rispetto alla sua controparte. Questo processo di addestramento, insieme all’innovativo approccio al fine-tuning e alla capacità di LLAMA-2 di bilanciare efficacemente sicurezza e utilità, posiziona il modello come un punto di riferimento per l’adozione sicura e produttiva delle LLM in ambito aziendale e oltre.

Unicità di LLAMA nel Panorama AI

Il rilascio di LLAMA-2 segna un cambiamento epocale nel campo dell’intelligenza artificiale, posizionandosi come un catalizzatore per l’innovazione aperta. La decisione di Meta di offrire LLAMA-2 con una licenza aperta, sebbene non esattamente “open source” nel senso tradizionale, sottolinea un impegno verso la democratizzazione dell’accesso alle tecnologie AI avanzate. Questo approccio, che promuove la condivisione di conoscenze e risorse, rappresenta un invito alla comunità globale di ricercatori e sviluppatori a collaborare, innovare e spingere ulteriormente i confini di ciò che l’intelligenza artificiale può realizzare.

Il modello LLAMA-2, con la sua architettura avanzata e le sue capacità di elaborazione del linguaggio naturale, è stato addestrato su un corpus di 2 trilioni di token, battendo i benchmark open source di un ampio margine e avvicinandosi alle prestazioni di GPT-3.5 nelle valutazioni umane. Questo risultato non è solo una testimonianza della potenza computazionale di LLAMA-2 ma anche della sua efficacia nell’interpretare e rispondere a una vasta gamma di query in modo contestualmente pertinente e sicuro.

LLAMA-2 rappresenta, quindi, non solo un traguardo tecnologico ma anche un invito alla collaborazione e alla condivisione delle conoscenze nel campo dell’IA. Il suo impatto sull’innovazione aperta e la ricerca collaborativa promette di accelerare ulteriormente lo sviluppo di soluzioni AI che sono sia potenti che responsabili, guidando la trasformazione digitale in maniera etica e sostenibile.

Comparazione e contesto di utilizzo

Nel contesto dell’evoluzione rapida dell’intelligenza artificiale, il confronto tra LLAMA 2, GPT-3.5 e GPT-4 rivela differenze fondamentali che influenzano la scelta del modello più adatto a specifici progetti. LLAMA 2 emerge come una soluzione economica e efficiente, particolarmente vantaggiosa per compiti che richiedono risposte in tempo reale e un alto grado di accuratezza, come la sintesi di notizie e l’individuazione di incongruenze factuali. La sua natura open-source favorisce una trasparenza e una personalizzazione che possono essere particolarmente attraenti per chi cerca un controllo maggiore sulle capacità e sull’implementazione del modello.

D’altro canto, GPT-3.5 e GPT-4, con le loro architetture più complesse e una capacità di contestualizzazione e di elaborazione di dati multimodali (nel caso di GPT-4), si posizionano come soluzioni ideali per compiti che richiedono una profonda comprensione del contesto o la gestione di una grande quantità di conoscenza. GPT-4, in particolare, con la sua capacità multimodale, offre possibilità uniche nel trattamento e nella generazione di testo, immagini e altri tipi di dati, rendendolo ineguagliabile per applicazioni che beneficiano di questa versatilità.

Per lo sviluppo di chatbot e la creazione di contenuti, la scelta tra questi modelli dipende dall’equilibrio tra costi, complessità del progetto e aspettative di performance. LLAMA 2 si rivela un’opzione versatile e aperta per le piccole imprese e progetti che valorizzano la personalizzazione e l’efficienza. GPT-3.5 colpisce per la sua capacità di gestire conversazioni complesse e supporto linguistico ampio, rendendolo adatto a imprese che operano su scala globale. GPT-4, infine, si distingue per la sua abilità nel risolvere problemi avanzati e nel mantenere un alto livello di professionalità e creatività nella risoluzione dei problemi, stabilendosi come la scelta preferibile per applicazioni critiche e per chi desidera minimizzare l’intervento umano nella generazione di contenuti.

La decisione su quale modello adottare dovrebbe quindi basarsi su una valutazione attenta delle specifiche esigenze del progetto, considerando fattori come il budget, la natura delle attività da svolgere e il livello di qualità richiesto. La comprensione delle forze e dei limiti di ciascun modello è essenziale per sfruttare al meglio le potenzialità dell’IA e innovare efficacemente nel proprio campo di applicazione.