Garlic LLM

ИИ с 9 миллиардами параметров работает на PS4. Без интернета.

Garlic LLM — homebrew-приложение, которое запускает Qwen3.5-9B на GPU самой консоли. Без ПК и без интернета во время работы.

Скачать Исходный код Поддержать

Характеристики
МодельQwen3.5-9B
Квантованиесвои Q4 и Q3
Скорость в чате31–39 токенов/с
Скорость на кодедо 43 токенов/с
Контекстное окно16K токенов
Голосовой разговор7 языков
Диктовка25 языков
Подключение к сетине нужно

Работает на PS4, PS4 Slim и PS4 Pro. Скорость измерена на обычной PS4/Slim с прошивкой 11.52.

Рис. 1. Записано на консоли, на английском: модель пишет программу с черепашкой, запускает её, а затем отвечает на устный вопрос. Демо идёт с температурой 0, чтобы его можно было повторить; в чате по умолчанию 0,7.

Возможности

Текстовый чат

Модель 9B отвечает со скоростью 31–39 токенов в секунду и до 43, когда пишет код. Это возможно благодаря спекулятивному декодированию (MTP) и собственным 4-битным ядрам. Контекстное окно — 16K токенов.

Этот абзац появляется со скоростью 35 токенов в секунду — это середина диапазона, измеренного на консоли. Каждый кусочек — один токен: слово, часть слова или знак препинания. Короткий ответ из 60 токенов появляется на экране меньше чем за две секунды. Полный ответ из 300 токенов занимает меньше девяти секунд. Шестнадцать тысяч токенов, размер контекстного окна, заняли бы около восьми минут. Код выходит чуть быстрее, до 43 токенов в секунду. Ничего в этом блоке не написано моделью; он только показывает темп.

Снимок чата: ответ с двумя короткими списками о том, почему небо голубое, а закат красный.
Рис. 2. Ответ в чате с двумя короткими списками.
Снимок голосового режима: ореол вокруг чеснока и устный ответ о самой высокой горе Солнечной системы.
Рис. 3. Голосовой режим во время устного ответа.

Голосовой разговор

Вы говорите, а приложение отвечает вслух. Chatterbox TTS работает на том же GPU и говорит на семи языках: испанском, английском, португальском, русском, итальянском, французском и немецком.

Снимок диктовки: строка Your message с распознанным вопросом, готовым к отправке.
Рис. 4. Продиктованный вопрос, распознанный и готовый к отправке.

Диктовка

Удерживайте кнопку и говорите вместо того, чтобы печатать. Parakeet превращает речь в текст прямо на консоли, на 25 европейских языках.

Снимок режима Python: цветная спираль, нарисованная программой с черепашкой, которую написала модель.
Рис. 5. Рисунок, который сделала программа, написанная и запущенная моделью.

Режим Python

Попросите написать программу. Модель пишет её на MicroPython и запускает прямо на консоли, так что код проверяется там же, где написан.

Снимок режима «Думать»: задача на подсчёт, решённая после 26 секунд размышления.
Рис. 6. Задача на подсчёт, решённая после 26 секунд размышления.

Режим «Думать»

Для сложных вопросов включите «Думать», и модель будет рассуждать перед ответом. По умолчанию режим выключен: большинству вопросов он не нужен.

Требования и установка

Требования
КонсольPS4, PS4 Slim или PS4 Pro
Прошивка9.00, 9.04, 11.00, 11.52, 12.02, 12.50, 13.50, 13.52 и 14.00
HomebrewGoldHEN
Свободное местооколо 6 ГБ 12 ГБ, если сначала скопировать пакет на консоль
Сетьне нужна ни ПК, ни интернета во время работы

Установка в три шага

  1. Скачайте пакет на странице загрузки. Он весит около 5,7 ГБ, модели уже внутри.
  2. Скопируйте его на консоль и установите, как любой другой homebrew-пакет.
  3. Откройте Garlic LLM на главном экране. Дальше ему не нужны ни ПК, ни подключение к сети.
Загрузка
ПакетGarlic LLM: приложение и модели в одном файле
Версия1.19
Размер5,7 ГБ
Где скачатьСтраница загрузки прямая загрузка и зеркало на Hugging Face

Чтобы обновиться, скачайте новый пакет и установите его поверх старого. Модели внутри, так что больше ничего копировать не нужно. В README есть полная инструкция и решение проблем.

Как это работает

PS4 не даёт homebrew-приложениям ни вычислительного API, ни библиотеки машинного обучения, поэтому Garlic LLM обращается к GPU напрямую. Операции модели (умножение матриц с 4-битными весами, внимание, нормализация) — это вычислительные ядра, написанные под архитектуру GCN консоли. Приложение запускает их, вручную составляя буферы команд PM4 — низкоуровневые пакеты, которые обычно генерирует графический драйвер.

Спекулятивное декодирование с MTP-головой модели заранее предлагает токены, а полная модель их проверяет; так железо 2013 года выходит на 31–39 токенов в секунду. Всё собирается с помощью OpenOrbis — тулчейна с открытым исходным кодом.

  1. ПромптНабран с геймпада или продиктован.
  2. ТокенизаторРаботает на CPU.
  3. Буфер команд PM4Приложение пишет его пакет за пакетом.
  4. Вычислительные ядра GCNРаботают на GPU с 4-битными весами.
  5. ТокеныВыводятся текстом или произносятся вслух.
Рис. 7. Один шаг генерации. Этапы 3–5 повторяются, пока ответ не закончится.

Поддержите проект

Garlic LLM — бесплатный проект с открытым исходным кодом. Если хотите, чтобы он развивался дальше (больше проверенных консолей, более быстрые ядра), можете помочь оплатить работу.

Или купите руководство (на английском) Nine Billion Parameters on a PS4: 147 страниц о решениях, которых не видно в коде. Приложение и код остаются бесплатными, под лицензией GPLv3; руководство помогает оплачивать работу.

PayPal Ko-fi Руководство

Или отправьте криптовалюту

  • BitcoinТолько сеть Bitcoin

    1Fs8Htdgcy3K2D4bX1GfDi1Ty2M2sqyuhc
  • USDT (Tether)Только сеть Tron (TRC20)

    TViJDfyo4mKEKsyDnBXpDqGFANTcyQ42aG

Вопросы

Нужен ли интернет?

Нет. Модель, голоса и распознавание речи находятся внутри приложения и работают на консоли. Никуда ничего не отправляется.

Работает ли на PS4 Pro?

Да, до 45 токенов/с. Работает на PS4 Pro с прошивками 9.00, 11.00 и 12.02. Pro запускает Garlic так, будто это обычная PS4. Нативный режим для PS4 Pro, который использует весь её GPU, выдаёт до 60 токенов/с; он есть в тестовой версии 1.20. Остальные скорости на этой странице измерены на обычной PS4/Slim с прошивкой 11.52.

А на PS5?

Нет. Garlic LLM написан под GPU и системное ПО PS4.

Можно ли печатать на клавиатуре?

Да. У приложения есть своя экранная клавиатура для геймпада. Кнопка OPTIONS открывает вместо неё клавиатуру консоли, а она работает и с USB-клавиатурой.

Может ли это навредить консоли?

Это обычное homebrew-приложение, в нём нет никаких эксплойтов. Но ему нужен GoldHEN, который каждый устанавливает на свой страх и риск.

Почему «Garlic»?

На PS4 «Garlic» (по-английски «чеснок») — это название канала памяти, который GPU читает напрямую. Соседний канал называется «Onion» («лук»). Веса модели хранятся на стороне Garlic, так что название уже было готово.