Garlic LLM

Uma IA de 9 bilhões de parâmetros rodando em um PS4. Sem internet.

Garlic LLM é um app homebrew que roda o Qwen3.5-9B na GPU do próprio console. Sem PC e sem internet enquanto funciona.

Baixar Código-fonte Apoiar

Características
ModeloQwen3.5-9B
QuantizaçãoQ4 e Q3 próprios
Velocidade no chat31–39 tokens/s
Velocidade em códigoaté 43 tokens/s
Janela de contexto16K tokens
Conversa por voz7 idiomas
Ditado25 idiomas
Rede necessárianenhuma

Funciona no PS4, PS4 Slim e PS4 Pro. Velocidades medidas em um PS4 base/Slim com firmware 11.52.

Figura 1. Gravado no console, em inglês: o modelo escreve um programa de tartaruga, executa e depois responde a uma pergunta falada. A demo roda com temperatura 0 para poder ser reproduzida; o chat usa 0,7 por padrão.

O que faz

Chat de texto

O modelo 9B responde a 31–39 tokens por segundo, e até 43 quando escreve código. Isso é possível com decodificação especulativa (MTP) e kernels próprios de 4 bits. A janela de contexto é de 16K tokens.

Este parágrafo chega a 35 tokens por segundo, o ponto médio da faixa medida no console. Cada pedaço é um token: uma palavra, parte de uma palavra ou um sinal de pontuação. Uma resposta curta de 60 tokens aparece na tela em menos de dois segundos. Uma resposta completa de 300 tokens leva menos de nove segundos. Dezesseis mil tokens, o tamanho da janela de contexto, levariam cerca de oito minutos. O código sai um pouco mais rápido, até 43 tokens por segundo. Nada deste quadro é saída do modelo; ele só mostra o ritmo.

Captura do chat: uma resposta com duas listas curtas sobre por que o céu é azul e o pôr do sol é vermelho.
Figura 2. Uma resposta do chat com duas listas curtas.
Captura do modo voz: um halo ao redor do alho e uma resposta falada sobre a montanha mais alta do sistema solar.
Figura 3. O modo voz durante uma resposta falada.

Conversa por voz

Você fala e ele responde em voz alta. O Chatterbox TTS roda na mesma GPU, em sete idiomas: espanhol, inglês, português, russo, italiano, francês e alemão.

Captura do ditado: a barra Your message com uma pergunta transcrita, pronta para enviar.
Figura 4. Uma pergunta ditada, transcrita e pronta para enviar.

Ditado

Segure um botão e fale em vez de digitar. O Parakeet transforma a voz em texto no próprio console, em 25 idiomas europeus.

Captura do modo Python: uma espiral colorida desenhada por um programa de tartaruga que o modelo escreveu.
Figura 5. Um desenho feito por um programa que o modelo escreveu e executou.

Modo Python

Peça um programa. Ele escreve em MicroPython e executa no próprio console, então o código é testado onde foi escrito.

Captura do modo Pensar: um problema de contagem respondido depois de o modelo pensar por 26 segundos.
Figura 6. Um problema de contagem respondido depois de 26 segundos pensando.

Modo Pensar

Para perguntas mais difíceis, ative o Pensar e o modelo raciocina antes de responder. Ele vem desligado, porque a maioria das perguntas não precisa dele.

Requisitos e instalação

Requisitos
ConsolePS4, PS4 Slim ou PS4 Pro
Firmware9.00, 9.04, 11.00, 11.52, 12.02, 12.50, 13.50, 13.52 e 14.00
HomebrewGoldHEN
Espaço livrecerca de 6 GB 12 GB se você copiar o pacote para o console antes
Redenenhuma sem PC nem internet enquanto funciona

Instalação em três passos

  1. Baixe o pacote na página de download. Ele tem cerca de 5,7 GB e já traz os modelos.
  2. Copie para o console e instale como qualquer outro pacote homebrew.
  3. Abra o Garlic LLM na tela inicial. A partir daí ele não precisa de PC nem de conexão.
Download
PacoteGarlic LLM, app e modelos em um só arquivo
Versão1.19
Tamanho5,7 GB
Onde baixarA página de download download direto, com um espelho no Hugging Face

Para atualizar, baixe o pacote novo e instale por cima do anterior. Os modelos vêm dentro, então não é preciso copiar mais nada. O README tem as instruções completas e a solução de problemas.

Como funciona

Um PS4 não oferece ao homebrew nenhuma API de computação nem biblioteca de aprendizado de máquina, então o Garlic LLM fala diretamente com a GPU. As operações do modelo (multiplicações de matrizes com pesos de 4 bits, atenção, normalização) são kernels de computação feitos para a arquitetura GCN do console. O app os despacha escrevendo à mão os buffers de comandos PM4, os pacotes de baixo nível que normalmente um driver gráfico geraria.

A decodificação especulativa com a cabeça MTP do modelo adianta tokens e o modelo completo os verifica; é assim que um hardware de 2013 chega a 31–39 tokens por segundo. Tudo é compilado com o OpenOrbis, um toolchain de código aberto.

  1. PromptDigitado com o controle ou ditado.
  2. TokenizadorRoda na CPU.
  3. Buffer de comandos PM4Escrito pelo app, pacote por pacote.
  4. Kernels de computação GCNRodam na GPU sobre pesos de 4 bits.
  5. TokensMostrados como texto ou falados em voz alta.
Figura 7. Um passo de geração. As etapas 3 a 5 se repetem até a resposta terminar.

Apoie o projeto

O Garlic LLM é gratuito e de código aberto. Se você quer ver mais (mais consoles testados, kernels mais rápidos), pode ajudar a financiar o trabalho.

Ou compre o guia (em inglês), Nine Billion Parameters on a PS4: 147 páginas sobre o raciocínio que o código não mostra. O app e o código continuam gratuitos, sob a licença GPLv3; o guia ajuda a pagar o trabalho.

PayPal Ko-fi O guia

Ou envie cripto

  • BitcoinSomente rede Bitcoin

    1Fs8Htdgcy3K2D4bX1GfDi1Ty2M2sqyuhc
  • USDT (Tether)Somente rede Tron (TRC20)

    TViJDfyo4mKEKsyDnBXpDqGFANTcyQ42aG

Perguntas

Precisa de internet?

Não. O modelo, as vozes e o reconhecimento de voz vêm dentro do app e rodam no console. Nada é enviado para lugar nenhum.

Funciona no PS4 Pro?

Sim, a até 45 tokens/s. Funciona no PS4 Pro com firmware 9.00, 11.00 e 12.02. O Pro roda o Garlic como se fosse um PS4 base. Um modo nativo para o PS4 Pro, que usa a GPU inteira dele, chega a até 60 tokens/s; ele está na versão de teste 1.20. As outras velocidades desta página foram medidas em um PS4 base/Slim com firmware 11.52.

E no PS5?

Não. O Garlic LLM é escrito para a GPU e o software de sistema do PS4.

Posso digitar com um teclado?

Sim. O app tem seu próprio teclado na tela para o controle. OPTIONS abre o teclado do console, que também aceita um teclado USB.

Pode danificar meu console?

É um app homebrew comum e não contém nenhum exploit. Mas precisa do GoldHEN, que cada um instala por sua conta e risco.

Por que “Garlic”?

No PS4, “Garlic” (alho, em inglês) é o nome da via de memória que a GPU lê diretamente. A irmã dela se chama “Onion” (cebola). Os pesos do modelo ficam do lado Garlic, então o nome já estava lá.