Garlic LLM lleva Qwen3.5-9B a una PS4 sin conexión

Garlic LLM lleva Qwen3.5-9B a una PS4 sin conexión

Una PlayStation 4 puede ejecutar el modelo de lenguaje Qwen3.5-9B sin PC ni internet gracias a Garlic LLM, un proyecto de código abierto del desarrollador Leonardo Alegría. En una PS4 base o Slim con GoldHEN, la aplicación genera entre 31 y 39 tokens por segundo en una conversación y llega a 43 al escribir código.

La propuesta no consiste en instalar un sistema operativo distinto ni en conectar la consola a un ordenador para procesar las respuestas. Garlic LLM es una aplicación homebrew que trabaja con la GPU de la propia PS4. El proyecto se distribuye gratis y con licencia GPLv3; su paquete incluye la aplicación y los modelos necesarios.

La GPU recibe órdenes sin pasar por un controlador convencional

La PS4 no ofrece a las aplicaciones homebrew una interfaz de cálculo ni bibliotecas de aprendizaje automático. Alegría resolvió esa carencia con kernels de cálculo propios, escritos para la arquitectura Graphics Core Next (GCN) de AMD. La aplicación envía comandos PM4 directamente a la GPU, en vez de depender de un controlador gráfico convencional.

El sitio del proyecto detalla que esos kernels realizan operaciones del modelo como multiplicaciones de matrices, atención y normalización. El código también utiliza la cadena de herramientas de código abierto OpenOrbis. En esta arquitectura, la CPU se ocupa, entre otras tareas, del tokenizador, la interfaz y el texto; la GPU ejecuta el cálculo del modelo.

El nombre Garlic procede de una denominación usada para la ruta de memoria a la que la GPU accede directamente. La memoria hermana se llama Onion. El proyecto explica que los pesos del modelo se alojan en el lado Garlic, una decisión ligada a cómo la aplicación aprovecha la memoria de la consola.

Cuantización para encajar en la memoria compartida

La PS4 dispone de 8 GB de memoria GDDR5 compartida entre CPU y GPU, según Frandroid. Para reducir el tamaño de Qwen3.5-9B, Garlic LLM usa una cuantización personalizada de 4 y 3 bits. Frandroid señala que esta compresión deja el modelo en unos 4,5 GB y conlleva una ligera pérdida de precisión.

El proyecto identifica las cuantizaciones como Q4 y Q3. La ficha técnica de AI News Today describe un esquema mixto: la mayoría de los pesos usa 4 bits y las dos matrices de pesos más grandes de cada capa, 3 bits. Según ese medio, el modelo ocupa 4,5 GiB, unos 400 MB menos que con una cuantización Q4 pura.

La memoria también debe alojar la caché de contexto y, si se usan, los modelos de voz. AI News Today cifra el consumo en ejecución de todo el conjunto en 5,23 GiB: 4,5 GiB para el modelo principal, 0,33 GiB para reconocimiento de voz y 0,38 GiB para síntesis. El proyecto confirma una ventana de contexto de 16.000 tokens, es decir, la cantidad de texto que puede mantener en cuenta durante una interacción.

ElementoDato publicado
Modelo de chatQwen3.5-9B
CuantizaciónQ4 y Q3 personalizadas
Velocidad en conversación31–39 tokens por segundo
Velocidad al generar códigoHasta 43 tokens por segundo
Ventana de contexto16.000 tokens
Paquete 1.195,66 GB en Hugging Face
Garlic LLM lleva Qwen3.5-9B a una PS4 sin conexión
© Garlic LLM

La predicción especulativa acelera la generación

La velocidad no depende solo de reducir el tamaño del modelo. Garlic LLM aprovecha la función Multi-Token Prediction (MTP) de Qwen para aplicar decodificación especulativa: el sistema anticipa tokens y después el modelo completo los verifica. El sitio del proyecto atribuye a esta técnica, junto con los kernels Q4 personalizados, el rendimiento de 31 a 39 tokens por segundo en chat y de hasta 43 al escribir código.

La cifra máxima no describe todas las conversaciones. Según el proyecto, el rango habitual es de 31 a 39 tokens por segundo; los 43 corresponden a generación de código. Como referencia de ritmo, su página calcula que una respuesta de 60 tokens aparece en menos de dos segundos y una de 300, en menos de nueve. Llenar los 16.000 tokens de contexto a ese ritmo llevaría cerca de ocho minutos.

Frandroid ofrece otra comparación: señala que un PC con una tarjeta gráfica de 10 GB de VRAM puede ejecutar el mismo modelo sin modificarlo. También recoge una valoración del modelo basada en una ficha de Qwen3.5-9B: puesto 146 entre 262 modelos y una puntuación de 61 en código. Esas cifras contextualizan el alcance del modelo, pero no alteran la demostración principal, que es ejecutarlo en el hardware de la consola.

Voz en siete idiomas y dictado en 25

Garlic LLM no se limita al chat escrito. La aplicación permite hablar con el modelo y escuchar sus respuestas mediante Chatterbox, con voz en siete idiomas: español, inglés, portugués, ruso, italiano, francés y alemán. Para transcribir voz a texto incorpora Parakeet TDT 0.6B v3, un modelo de NVIDIA que admite dictado en 25 idiomas europeos.

También hay un modo Python: el modelo escribe programas en MicroPython y la propia consola los ejecuta. El proyecto describe además un modo Think, desactivado por defecto, para que el modelo razone antes de contestar. La página de Garlic LLM muestra una demostración grabada en la consola en la que el modelo escribe y ejecuta un programa de tortuga y después responde a una pregunta hablada.

La inferencia, el reconocimiento de voz y las voces se ejecutan localmente, según el proyecto. No se necesita conexión de red mientras se usa la aplicación, y la web afirma que esos componentes están incluidos en el paquete. La demostración citada se hizo con temperatura 0 para poder reproducirla; el valor predeterminado del chat es 0,7.

GoldHEN, espacio libre y compatibilidad

Para instalar Garlic LLM hace falta una PS4 con GoldHEN y entorno homebrew. GoldHEN permite ejecutar aplicaciones de la comunidad en consolas modificadas; la página del proyecto advierte que se instala bajo responsabilidad del usuario. La aplicación, por su parte, es un paquete homebrew normal y no contiene un exploit, según Hugging Face.

El paquete Garlic-LLM-1.19.pkg ocupa 5,66 GB y reúne la aplicación y sus modelos. La instalación requiere unos 6 GB libres; si primero se copia el paquete al disco interno de la consola, hacen falta 12 GB. El sitio oficial indica que se puede actualizar instalando el paquete nuevo sobre el anterior. El código fuente está disponible bajo GPLv3 y los modelos incluidos conservan sus propias licencias.

La compatibilidad requiere una precisión: las páginas del proyecto y la cobertura inicial describen como equipos probados una PS4 base o Slim con firmware 11.52. El sitio oficial también recoge informes de usuarios que lo ejecutaron en una Slim con 9.04 y 14.00. Para PS4 Pro, la página principal aún la presenta como no probada, pero su apartado de preguntas frecuentes registra dos pruebas de usuarios: una con la versión 1.19 y firmware 12.02, y otra con una compilación 1.20 hecha desde el código fuente y firmware 11.00.

Esas pruebas en Pro dieron resultados distintos. El primer usuario midió entre 25 y 45 tokens por segundo; el segundo, entre 35 y 41. Este último probó además un modo nativo de PS4 Pro que alcanzó hasta 56 tokens por segundo, pero ese modo sigue en revisión y no está incluido en la descarga. El proyecto aclara que las velocidades publicadas para la PS4 base o Slim se midieron con firmware 11.52. La PS5 no es compatible: Garlic LLM está escrito para la GPU y el software de PS4.

Un proyecto libre con una guía de pago

Además del paquete gratuito, Alegría ofrece una guía de 147 páginas titulada Nine Billion Parameters on a PS4, por 19 dólares o una cantidad superior. El sitio explica que la aplicación y el código permanecen bajo GPLv3 y que la guía ayuda a financiar el trabajo. También invita a apoyar el proyecto para ampliar las pruebas en otras consolas y acelerar los kernels.

Frandroid presenta Garlic LLM como una forma de dar otro uso a una consola que, según su texto, lleva tiempo relegada en el desarrollo de juegos frente a la PS5. Alegría atribuye parte del proyecto a las herramientas libres que utilizó:

«n’existerait pas sans eux»

— Leonardo Alegría, desarrollador de Garlic LLM

El siguiente paso que plantea el propio proyecto es probar más consolas y mejorar el rendimiento. Por ahora, la descarga disponible en Hugging Face es la versión 1.19, de 5,66 GB; la modalidad nativa para PS4 Pro que llegó a 56 tokens por segundo todavía no forma parte de ella.

Fuentes: Tom's Hardware, HardZone, Garlic LLM, Hugging Face (project page), Frandroid, AI News Today