7 мая 2026 года рассказываю о своём тесте PocketPal на Huawei Pura 70. Приложение запускает языковую модель на самом телефоне; в моём случае это была Qwen2.5-3B-Instruct в квантизации Q5_K_M. Смысл эксперимента был не в замене рабочего компьютера, а в проверке простого помощника, который может отвечать без облачного сервера.
Модель сначала нужно скачать и загрузить в память
В каталоге я выбрал файл размером около 2,44 ГБ. Размер загрузки не равен всему расходу оперативной памяти: дополнительное место потребуется для контекста и работы приложения. Поэтому перед скачиванием нескольких моделей стоит проверить и свободное хранилище, и доступную память.
Документация PocketPal описывает локальную работу с GGUF. После загрузки подходящую модель нужно открыть в приложении и начать чат. Для самого локального ответа связь не требуется, но первоначальная загрузка файлов и отдельно включённые сетевые функции используют интернет. Слово «локально» не стоит автоматически распространять на любой режим приложения.
Что видно в моём тесте
Это не скорость большого облачного сервиса, но для короткого вопроса ожидание оказалось терпимым. Такой единичный ответ нельзя считать универсальным бенчмарком: длина запроса, контекст, квантизация, настройки потоков и нагрев меняют результат. Ошибки в ответе небольшой модели тоже остаются возможными.
Информация об устройстве не равна результату бенчмарка
На снимке бенчмарка видна выбранная Llama, но нет законченного измерения её скорости. Поэтому показатели чата с Qwen нельзя приписывать этой модели. Аналогично отсутствие OpenCL в диагностике конкретной версии приложения не является выводом о любых возможностях ускорения самого смартфона.
Я бы начинал знакомство с небольшой моделью и коротким контекстом, а затем сравнивал качество на своих задачах. Следить стоит не только за токенами в секунду, но и за нагревом, батареей и тем, остаётся ли телефон удобен в обычном использовании. Важные решения и команды всё равно требуют проверки.
В моём опыте PocketPal оказался интересным автономным блокнотом для небольших запросов. Это другой сценарий, чем генерация прототипа сайта в Z.ai: меньше ресурсов и скорости, зато локальное выполнение выбранной модели без обязательного облачного сеанса.
