Meta rilascia Llama 3

Meta ha rilasciato ufficialmente Llama 3, una nuova serie di modelli di intelligenza artificiale (IA) aperta che include diverse migliorie e funzionalità progettate per migliorare le applicazioni AI su piattaforme diverse. I modelli Llama 3 sono disponibili in due dimensioni: 8 miliardi di parametri e 70 miliardi di parametri, con entrambe le versioni pre-allestite e istruzione-allestite disponibili.

Caratteristiche chiave e integrazioni

• Varianti del modello: Llama 3 è disponibile in due principali varianti – una versione base e una versione istruzione-allestita per ciascuna delle due dimensioni (8B e 70B). Questo consente una maggiore flessibilità nella distribuzione in base alle specifiche esigenze delle applicazioni.
• Integrazione e accessibilità: I modelli Llama 3 sono integrati in varie piattaforme, tra cui Google Cloud Vertex AI e Azure AI, rendendoli accessibili a un ampio numero di sviluppatori e applicazioni.
• Tokenizzatore avanzato e struttura di allenamento: I modelli presentano un tokenizzatore migliorato e sono allenati su cluster server personalizzati, migliorando l’efficienza e le prestazioni.

Applicazioni e utilizzi

• Assistente AI di Meta: Llama 3 alimenta la nuova versione dell’assistente AI di Meta, un assistente intelligente disponibile sui vari platform di Meta come Facebook, Instagram, WhatsApp e Messenger. Questo assistente è progettato per gestire una varietà di compiti, dall’elaborazione di immagini a fornire informazioni in tempo reale.
• Caratteristiche chatbot migliorate: Le nuove funzionalità di chatbot introdotte con Llama 3 hanno lo scopo di fornire risposte più precise e diverse, migliorando l’interazione dell’utente sui social media.

Disponibilità e impegno open source

• Accesso open source: In linea con il suo impegno per l’IA aperta, i modelli Llama 3 sono disponibili gratuitamente sotto licenze permissive, consentendo agli sviluppatori di utilizzarli e modificarli sia per scopi di ricerca che commerciali.
• Sicurezza e considerazioni etiche: Meta ha preso misure per garantire l’uso responsabile di Llama 3, fornendo linee guida e strumenti per sviluppatori per implementare i modelli in sicurezza nelle loro applicazioni.

Sviluppi futuri

• Piani di espansione: Meta ha pianificato di introdurre modelli più grandi con più di 400 miliardi di parametri in futuro, con l’obiettivo di migliorare ulteriormente le capacità del modello e ampliare la sua applicabilità a compiti più complessi.

Il rilascio di Llama 3 è un passo importante nella continuazione degli sforzi di Meta per sviluppare la tecnologia IA e rendere disponibili strumenti potenti alla comunità tecnologica.

Come provare Llama 3 e altri modelli su un notebook

Llama 3 è disponibile in due dimensioni: 8 miliardi di parametri e 70 miliardi di parametri. L’utilizzo di LM Studio permette di automatizzare i complessi passaggi richiesti per provare un modello in locale, senza la necessità di passare dal sito Meta AI. Questo strumento gratuito è compatibile con MacOS, Windows e Linux, ed è possibile scaricare i modelli dai vari database, caricare un modello in memoria e parlare con il modello attraverso una semplice interfaccia “chat”.

Caratteristiche di LM Studio

LM Studio permette di eseguire modelli molto grandi caricandoli interamente in memoria, oltre a sfruttare l’accelerazione di Metal che permette di utilizzare Llama 3 da 8 miliardi di parametri anche su un Mac M1 con 8 GB di RAM. L’interfaccia è semplicissima da usare: una volta installato, appariranno una serie di modelli suggeriti, ma è possibile utilizzare una comoda ricerca per sfogliare tutti i modelli presenti sul Model Hub di Hugging Face.

Vantaggi di LM Studio

Con LM Studio è possibile provare quasi tutti i modelli testuali LLM disponibili in formato aperto, inclusi i recenti modelli LLama 3 di Meta. La versione da 8 miliardi di parametri richiede solo 3.5 GB di spazio su disco e un quantitativo analogo di memoria, mentre la versione da 70 miliardi di parametri richiede circa 35 GB di spazio e un quantitativo di memoria che solitamente non si trova su notebook consumer.