Una IA de 9 mil millones de parámetros corriendo en un PS4. Sin internet.

Garlic LLM es una app homebrew que corre Qwen3.5-9B en la GPU de la propia consola. Sin PC y sin internet mientras funciona.

Descargar Código fuente Apoyar

Características
Modelo	Qwen3.5-9B
Cuantización	Q4 y Q3 propios
Velocidad en chat	31–39 tokens/s
Velocidad en código	hasta 43 tokens/s
Ventana de contexto	16K tokens
Conversación por voz	7 idiomas
Dictado	25 idiomas
Red necesaria	ninguna

Probado en un PS4 base/Slim con firmware 11.52.

Figura 1. Grabado en la consola, en inglés: el modelo escribe un programa de tortuga, lo ejecuta y luego responde una pregunta hablada. La demo corre con temperatura 0 para que sea reproducible; el chat usa 0.7 por defecto.

Qué hace

Chat de texto

El modelo 9B responde a 31–39 tokens por segundo, y hasta 43 cuando escribe código. Lo logra con decodificación especulativa (MTP) y kernels propios de 4 bits. La ventana de contexto es de 16K tokens.

Ver una muestra a 35 tokens/sOcultar la muestra

Este párrafo llega a 35 tokens por segundo, el punto medio del rango medido en la consola. Cada trozo es un token: una palabra, parte de una palabra o un signo de puntuación. Una respuesta corta de 60 tokens está en pantalla en menos de dos segundos. Una respuesta completa de 300 tokens tarda menos de nueve segundos. Dieciséis mil tokens, el tamaño de la ventana de contexto, tardarían cerca de ocho minutos. El código sale un poco más rápido, hasta 43 tokens por segundo. Nada de este recuadro es salida del modelo; solo muestra el ritmo.

Captura del chat: una respuesta breve, con una lista de dos puntos, sobre por qué el cielo es azul y los atardeceres rojos. — **Figura 2.** Una respuesta del chat con una lista breve.

Captura del modo voz: un halo alrededor del ajo y las primeras líneas de una respuesta hablada. — **Figura 3.** El modo voz al empezar una respuesta hablada.

Conversación por voz

Le hablas y te responde en voz alta. Chatterbox TTS corre en la misma GPU, en siete idiomas: español, inglés, portugués, ruso, italiano, francés y alemán.

Dictado

Mantén presionado un botón y habla en lugar de escribir. Parakeet convierte la voz en texto en la misma consola, en 25 idiomas europeos.

Modo Python

Pídele un programa. Lo escribe en MicroPython y lo ejecuta en la misma consola, así que el código se prueba donde se escribió.

Modo Pensar

Para preguntas más difíciles, activa Pensar y el modelo razona antes de responder. Viene apagado, porque la mayoría de las preguntas no lo necesita.

Requisitos e instalación

Requisitos
Consola	PS4 base o Slim PS4 Pro aún sin probar
Firmware	11.52 la versión en la que se probó
Homebrew	GoldHEN
Espacio libre	unos 6 GB 12 GB si primero copias el paquete a la consola
Red	ninguna sin PC ni internet mientras funciona

Instalación en tres pasos

Descarga el paquete desde Hugging Face. Pesa unos 5.7 GB y trae los modelos adentro.
Cópialo a la consola e instálalo como cualquier otro paquete homebrew.
Abre Garlic LLM desde la pantalla de inicio. De ahí en adelante no necesita PC ni conexión.

Descarga
Paquete	Garlic LLM, app y modelos en un solo archivo
Tamaño	5.7 GB
Dónde conseguirlo	Hugging Face

Para actualizar, descarga el paquete nuevo e instálalo encima del anterior. Los modelos van adentro, así que no hay que copiar nada más. El README tiene las instrucciones completas y la solución de problemas.

Cómo funciona

Un PS4 no le da al homebrew ni una API de cómputo ni una librería de aprendizaje automático, así que Garlic LLM le habla a la GPU directamente. Las operaciones del modelo (multiplicaciones de matrices con pesos de 4 bits, atención, normalización) son kernels de cómputo hechos para la arquitectura GCN de la consola. La app los despacha escribiendo a mano los buffers de comandos PM4, los paquetes de bajo nivel que normalmente generaría un driver gráfico.

La decodificación especulativa con la cabeza MTP del modelo adelanta tokens y el modelo completo los verifica; así es como un hardware de 2013 llega a 31–39 tokens por segundo. Todo se compila con OpenOrbis, un toolchain de código abierto.

Código fuente en GitHubLa app, los kernels y los scripts de compilación.
La guía (en inglés): Nine Billion Parameters on a PS4Una guía de campo de 147 páginas (PDF) sobre cómo Garlic LLM corre Qwen3.5-9B en la GPU del PS4. 19 USD, o más si quieres.

PromptEscrito con el control o dictado.
TokenizadorCorre en la CPU.
Buffer de comandos PM4Lo escribe la app, paquete por paquete.
Kernels de cómputo GCNCorren en la GPU sobre pesos de 4 bits.
TokensSe muestran como texto o se dicen en voz alta.

Figura 7. Un paso de generación. Las etapas 3 a 5 se repiten hasta que termina la respuesta.

Preguntas

¿Necesita internet?

No. El modelo, las voces y el reconocimiento de voz van dentro de la app y corren en la consola. No se envía nada a ningún lado.

¿Funciona en un PS4 Pro?

Todavía no está probado. Se desarrolló y se probó en una consola base/Slim con firmware 11.52. Si lo pruebas en un Pro, se agradece un reporte en GitHub.

¿Y en un PS5?

No. Garlic LLM está escrito para la GPU y el software de sistema del PS4.

¿Puede dañar mi consola?

Es una app homebrew común y corriente, y no contiene ningún exploit. Eso sí, necesita GoldHEN, que cada quien instala bajo su propio riesgo.

¿Por qué «Garlic»?

En el PS4, «Garlic» es el nombre de la vía de memoria que la GPU lee directamente. Su hermana se llama «Onion». Los pesos del modelo viven del lado Garlic, así que el nombre ya estaba ahí.