14 октября Хабр написал о PS5LM Plus, приложении, которое запускает языковые модели прямо на GPU PlayStation 5. Qwen 3.8 с 27 млрд параметров в 2-битном кванте выдаёт на консоли около 20 токенов в секунду. Работает это только на взломанной PS5.
Практического смысла держать LLM на приставке немного, но проект хорошо показывает, как далеко ушли локальные модели: 27B в 2-битном кванте помещается в 12 ГБ и работает с нормальной скоростью на железе 2020 года.
Откуда взялся PS5LM Plus
Исходный PS5LM сделал Мерт Кобанов (cobanov/PS5LM): он портировал на консоль llama.cpp, но модели там считались на CPU. Разработчик abhi245y сделал форк и превратил его в отдельное приложение с поддержкой GPU, назвав PS5LM Plus. Свои изменения он отправил обратно в основной проект пулл-реквестом. Код открыт под GPL-3.0.
Почему на GPU стало в разы быстрее
Разница в том, как код запускается на консоли. Фоновому модулю (payload) достаётся около 6 ГБ памяти и нет доступа к GPU. Полноценное приложение получает 12 ГБ памяти консоли и видеочип. Внутри работает llama-server с Vulkan-бэкендом ggml поверх порта драйвера RADV из проекта PS5_Vulkan.
Цифры из README:
- Qwen3.8-27B UD-IQ2_XXS, 6.8 ГБ, контекст 64k: 20.7 токена в секунду;
- Qwen3.8-27B UD-Q2_K_XL, 9.2 ГБ, контекст 32k: 20.3 токена в секунду, длинный ответ на 7775 токенов шёл со скоростью 19.7;
- Gemma 4 E4B, 4.8 ГБ, с USB: 61 токен в секунду;
- Llama 3.2 3B, 1.9 ГБ, с USB: 124 токена в секунду.
Для сравнения, та же 27B на процессоре в режиме payload подгружала веса с диска и выдавала примерно один токен в минуту.
Что умеет приложение
- дашборд на телевизоре: скорость генерации, загрузка GPU и CPU, потребление, температура и вентилятор, распределение памяти;
- библиотека моделей в формате GGUF с внутреннего диска, M.2 SSD или USB, с оценкой, влезет ли модель в память;
- загрузка моделей с Hugging Face с докачкой и проверкой SHA-256;
- веб-чат llama.cpp для телефона или компьютера в той же сети;
- API, совместимый с OpenAI Chat Completions и Responses, а также Anthropic Messages, так что к консоли можно подключать обычные клиенты и кодовых агентов.
Для запуска нужна взломанная PS5 с набором homebrew-компонентов (etaHEN, kstuff-lite, ShadowMountPlus). Автор отдельно пишет, что проект не связан с Sony и Alibaba, а в репозитории нет SDK, ключей, прошивок и весов моделей.
В итоге PS5LM Plus это скорее красивая демонстрация, чем рабочий инструмент: большая модель в агрессивном кванте, 20 токенов в секунду и OpenAI-совместимый API на игровой приставке. Поскольку основа это llama.cpp, а не код под одну модель, на консоли запускается почти всё, что поддерживает llama.cpp и помещается в память.
