Garlic LLM porta Qwen3.5-9B su una PS4 senza connessione

Garlic LLM porta Qwen3.5-9B su una PS4 senza connessione

Una PlayStation 4 può eseguire il modello linguistico Qwen3.5-9B senza PC né internet grazie a Garlic LLM, un progetto open source dello sviluppatore Leonardo Alegría. Su una PS4 base o Slim con GoldHEN, l’applicazione genera tra 31 e 39 token al secondo in una conversazione e arriva a 43 quando scrive codice.

La proposta non consiste nell’installare un sistema operativo diverso né nel collegare la console a un computer per elaborare le risposte. Garlic LLM è un’applicazione homebrew che sfrutta la GPU della stessa PS4. Il progetto è distribuito gratuitamente con licenza GPLv3; il pacchetto include l’applicazione e i modelli necessari.

La GPU riceve comandi senza passare da un driver convenzionale

La PS4 non offre alle applicazioni homebrew un’interfaccia di calcolo né librerie di apprendimento automatico. Alegría ha risolto questa mancanza con kernel di calcolo personalizzati, scritti per l’architettura Graphics Core Next (GCN) di AMD. L’applicazione invia comandi PM4 direttamente alla GPU, invece di dipendere da un driver grafico convenzionale.

Il sito del progetto spiega che questi kernel eseguono operazioni del modello come moltiplicazioni di matrici, attenzione e normalizzazione. Il codice utilizza anche la toolchain open source OpenOrbis. In questa architettura, la CPU si occupa, tra le altre cose, del tokenizer, dell’interfaccia e del testo; la GPU esegue i calcoli del modello.

Il nome Garlic deriva da una denominazione usata per il percorso di memoria a cui la GPU accede direttamente. La memoria sorella si chiama Onion. Il progetto spiega che i pesi del modello sono ospitati sul lato Garlic, una scelta legata al modo in cui l’applicazione sfrutta la memoria della console.

Quantizzazione per adattarsi alla memoria condivisa

La PS4 dispone di 8 GB di memoria GDDR5 condivisa tra CPU e GPU, secondo Frandroid. Per ridurre le dimensioni di Qwen3.5-9B, Garlic LLM usa una quantizzazione personalizzata a 4 e 3 bit. Frandroid segnala che questa compressione riduce il modello a circa 4,5 GB e comporta una lieve perdita di precisione.

Il progetto identifica le quantizzazioni come Q4 e Q3. La scheda tecnica di AI News Today descrive uno schema misto: la maggior parte dei pesi usa 4 bit, mentre le due matrici di pesi più grandi di ogni livello ne usano 3. Secondo la testata, il modello occupa 4,5 GiB, circa 400 MB in meno rispetto a una quantizzazione Q4 pura.

La memoria deve inoltre ospitare la cache del contesto e, se utilizzati, i modelli vocali. AI News Today stima il consumo in esecuzione dell’intero insieme a 5,23 GiB: 4,5 GiB per il modello principale, 0,33 GiB per il riconoscimento vocale e 0,38 GiB per la sintesi. Il progetto conferma una finestra di contesto di 16.000 token, ovvero la quantità di testo che può tenere in considerazione durante un’interazione.

ElementoDato pubblicato
Modello di chatQwen3.5-9B
QuantizzazioneQ4 e Q3 personalizzate
Velocità in conversazione31–39 token al secondo
Velocità nella generazione di codiceFino a 43 token al secondo
Finestra di contesto16.000 token
Pacchetto 1.195,66 GB su Hugging Face
Garlic LLM lleva Qwen3.5-9B a una PS4 sin conexión
© Garlic LLM

La predizione speculativa accelera la generazione

La velocità non dipende solo dalla riduzione delle dimensioni del modello. Garlic LLM sfrutta la funzione Multi-Token Prediction (MTP) di Qwen per applicare la decodifica speculativa: il sistema anticipa i token e poi il modello completo li verifica. Il sito del progetto attribuisce a questa tecnica, insieme ai kernel Q4 personalizzati, le prestazioni da 31 a 39 token al secondo in chat e fino a 43 nella scrittura di codice.

Il valore massimo non descrive tutte le conversazioni. Secondo il progetto, l’intervallo abituale è da 31 a 39 token al secondo; i 43 corrispondono alla generazione di codice. Per dare un’idea del ritmo, la pagina calcola che una risposta di 60 token appare in meno di due secondi e una di 300 in meno di nove. Riempire i 16.000 token di contesto a questo ritmo richiederebbe circa otto minuti.

Frandroid propone un altro confronto: segnala che un PC con una scheda grafica da 10 GB di VRAM può eseguire lo stesso modello senza modificarlo. Riporta anche una valutazione del modello basata su una scheda di Qwen3.5-9B: 146° posto su 262 modelli e un punteggio di 61 nella programmazione. Questi dati contestualizzano le capacità del modello, ma non cambiano la dimostrazione principale, ovvero eseguirlo sull’hardware della console.

Voce in sette lingue e dettatura in 25

Garlic LLM non si limita alla chat scritta. L’applicazione consente di parlare con il modello e ascoltarne le risposte tramite Chatterbox, con voce in sette lingue: spagnolo, inglese, portoghese, russo, italiano, francese e tedesco. Per trascrivere la voce in testo integra Parakeet TDT 0.6B v3, un modello di NVIDIA che supporta la dettatura in 25 lingue europee.

È disponibile anche una modalità Python: il modello scrive programmi in MicroPython e la console stessa li esegue. Il progetto descrive inoltre una modalità Think, disattivata per impostazione predefinita, che consente al modello di ragionare prima di rispondere. La pagina di Garlic LLM mostra una dimostrazione registrata sulla console in cui il modello scrive ed esegue un programma con una tartaruga e poi risponde a una domanda pronunciata a voce.

Secondo il progetto, l’inferenza, il riconoscimento vocale e le voci vengono eseguiti localmente. Non serve una connessione di rete per usare l’applicazione e il sito afferma che questi componenti sono inclusi nel pacchetto. La dimostrazione citata è stata realizzata con temperatura 0 per poter essere riprodotta; il valore predefinito della chat è 0,7.

GoldHEN, spazio libero e compatibilità

Per installare Garlic LLM serve una PS4 con GoldHEN e ambiente homebrew. GoldHEN consente di eseguire applicazioni della community sulle console modificate; la pagina del progetto avverte che l’installazione è a rischio dell’utente. L’applicazione, invece, è un normale pacchetto homebrew e non contiene un exploit, secondo Hugging Face.

Il pacchetto Garlic-LLM-1.19.pkg occupa 5,66 GB e include l’applicazione e i modelli. L’installazione richiede circa 6 GB di spazio libero; se prima si copia il pacchetto sul disco interno della console, ne servono 12 GB. Il sito ufficiale indica che è possibile aggiornare installando il nuovo pacchetto sopra quello precedente. Il codice sorgente è disponibile con licenza GPLv3 e i modelli inclusi mantengono le rispettive licenze.

La compatibilità richiede una precisazione: le pagine del progetto e le prime notizie descrivono come dispositivi testati una PS4 base o Slim con firmware 11.52. Il sito ufficiale riporta anche testimonianze di utenti che lo hanno eseguito su una Slim con 9.04 e 14.00. Per PS4 Pro, la pagina principale la indica ancora come non testata, ma la sezione delle domande frequenti registra due prove degli utenti: una con la versione 1.19 e firmware 12.02, l’altra con una build 1.20 compilata dal codice sorgente e firmware 11.00.

Queste prove su Pro hanno dato risultati diversi. Il primo utente ha misurato da 25 a 45 token al secondo; il secondo, da 35 a 41. Quest’ultimo ha provato anche una modalità nativa per PS4 Pro che ha raggiunto fino a 56 token al secondo, ma questa modalità è ancora in fase di revisione e non è inclusa nel download. Il progetto chiarisce che le velocità pubblicate per PS4 base o Slim sono state misurate con firmware 11.52. PS5 non è compatibile: Garlic LLM è scritto per la GPU e il software della PS4.

Un progetto libero con una guida a pagamento

Oltre al pacchetto gratuito, Alegría offre una guida di 147 pagine intitolata Nine Billion Parameters on a PS4, al prezzo di 19 dollari o più. Il sito spiega che l’applicazione e il codice restano sotto licenza GPLv3 e che la guida contribuisce a finanziare il lavoro. Invita inoltre a sostenere il progetto per ampliare i test su altre console e accelerare i kernel.

Frandroid presenta Garlic LLM come un modo per dare un nuovo utilizzo a una console che, secondo l’articolo, da tempo è stata messa in secondo piano nello sviluppo dei giochi rispetto a PS5. Alegría attribuisce parte del progetto agli strumenti liberi che ha utilizzato:

«n’existerait pas sans eux»

— Leonardo Alegría, sviluppatore di Garlic LLM

Il prossimo passo previsto dal progetto è testare altre console e migliorare le prestazioni. Per ora, il download disponibile su Hugging Face è la versione 1.19, da 5,66 GB; la modalità nativa per PS4 Pro che ha raggiunto 56 token al secondo non è ancora inclusa.

Fonti: Tom's Hardware, HardZone, Garlic LLM, Hugging Face (pagina del progetto), Frandroid, AI News Today