В какой-то момент мне стало интересно, насколько вообще далеко зашла история с локальными LLM на смартфонах. Не в теории, не в духе «вот когда-нибудь мобильные чипы догонят настольные машины», а прямо сейчас. Поэтому я поставил PocketPal на свой Huawei Pura 70, скачал несколько моделей и решил посмотреть, можно ли этим реально пользоваться в повседневной жизни.
Сразу скажу честно: это не история про то, что телефон внезапно заменил ChatGPT, рабочий ноутбук и все остальные инструменты разом. Но это уже и не игрушка на пять минут, которую запускаешь ради галочки и потом забываешь. Для коротких вопросов, черновиков, быстрых подсказок по коду, бытовых задач и просто локального помощника под рукой такая схема у меня оказалась вполне рабочей.
Что такое PocketPal и зачем вообще запускать LLM на телефоне
PocketPal это приложение для локального запуска языковых моделей прямо на смартфоне. Вся идея в том, что модель работает на устройстве, а не на внешнем сервере. Для меня это как раз и было главным интересом. Иногда хочется иметь под рукой инструмент, который не зависит от облака, доступа к сервису, VPN, лимитов или просто от качества связи.
В этом есть и вполне практический смысл. Открываешь приложение, задаешь вопрос, получаешь ответ и не думаешь каждый раз, куда ушел твой запрос и когда сервер на другой стороне решит, что сегодня он занят чем-то более важным. Для мелких рабочих и бытовых задач такой формат выглядит очень привлекательно.
На чем я это запускал
Тестировал я все это на Huawei Pura 70. По встроенному бенчмарку PocketPal приложение определило устройство как HUAWEI ADY-LX9 на Android 31. В информации о железе у меня отобразились 8 ядер CPU, 11.3 ГБ доступной памяти, чипсет Kirin и GPU Maleoon 910.
Там же было видно, что доступны инструкции FP16, DotProd, SVE и i8MM, а вот OpenCL не поддерживается. Для меня это был интересный момент, потому что даже без красивой истории про универсальное GPU-ускорение приложение на таком железе все равно оказалось живым и пригодным для практики.
Как я ставил PocketPal
С установкой все довольно просто. Я поставил приложение, открыл раздел моделей, посмотрел, что доступно для загрузки, и начал выбирать, что именно попробовать. После скачивания модель появляется в списке Ready to Use, дальше ее можно загрузить в память и открыть отдельный чат.
На моих скриншотах как раз виден весь этот путь. Сначала каталог моделей с кнопками Download, потом загруженная модель в списке готовых к использованию, потом уже экран чата и отдельный экран бенчмарка. То есть это не история уровня «собери все из консоли и молись, чтобы запустилось». Для обычного Android-пользователя старт здесь вполне человеческий.
Какие модели я попробовал
В каталоге у меня были видны Gemma-2-2b-it, Gemmasutra-Mini-2B-v1, Phi-3.5 mini 4k instruct, Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct и Llama-3.2-1b-instruct. В итоге я скачал Qwen2.5-3B-Instruct в квантизации Q5_K_M, размером 2.44 ГБ.
Почему начал именно с Qwen. Потому что это выглядит как нормальный компромисс между размером модели и ее практической пользой. Она уже не совсем крошечная, но при этом еще не выглядит чем-то запредельным для телефона. На моих скриншотах Qwen спокойно отвечала на русском и даже выдала пример с CSS для WordPress. Для локальной 3B-модели, которая работает прямо на смартфоне, это уже вполне достойно.
Отдельно мне понравилось, что телефон явно готов и к другим экспериментам. На экране бенчмарка у меня была выбрана Llama-3.2-3B-Instruct в квантизации Q6_K. То есть речь уже идет не о том, что устройство тянет только совсем легкие модели для галочки. 3B-класс здесь выглядит вполне реальной зоной для личных тестов.
Что показал бенчмарк
Новый скриншот с бенчмарком добавил в статью как раз потому, что он дал больше конкретики. Когда просто открываешь чат и видишь ответы, это уже интересно. Но когда сверху появляется еще и нормальная техническая фактура, картина становится куда понятнее.
Теперь уже видно не только то, что приложение запустилось, но и на чем именно оно работает, сколько памяти видит, какие инструкции у процессора доступны, какой GPU определился, и что у меня в руках не просто «какой-то современный телефон», а вполне конкретная мобильная платформа, на которой локальный AI уже можно трогать без скидки на волшебство.
Как это ощущается в реальной работе
Самое приятное впечатление у меня было от того, что все это не выглядело мертвым или декоративным. На одном из скриншотов уже виден живой чат с моделью и служебные метрики генерации: примерно 349 мс на токен, около 2.86 токена в секунду и TTFT порядка 3531 мс.
Нет, это не ураганная скорость. Но для телефона и локальной модели это уже вполне рабочий ритм, а не бессмысленная пытка ожиданием. Если мне нужен короткий ответ, быстрый черновик, пересказ, бытовая подсказка или мелкая помощь по коду, такой сценарий вполне годится.
Если же ждать от смартфона качества и скорости хорошего облачного сервиса, тогда разочарование приходит быстро. И это нормально. Телефон тут не должен выигрывать гонку у больших моделей на серверном железе. Его задача другая: быть автономным карманным инструментом для простых и средних задач.
Что мне понравилось
Во-первых, сам PocketPal оказался понятнее, чем я ожидал. Интерфейс с моделями, загрузкой, чатом и бенчмарком не выглядит программой только для людей, которые общаются с gguf-файлами на уровне духовной близости.
Во-вторых, на Huawei Pura 70 вся эта история уже выглядит не как красивая демонстрация, а как нормальный рабочий сценарий. Телефон не превращается в кирпич сразу после запуска, модель отвечает, а локальный AI перестает быть только презентационной игрушкой.
В-третьих, мне понравилась сама идея автономности. Можно использовать телефон как карманный AI-блокнот, как офлайн-помощник или просто как площадку для тестов разных моделей. Для человека, которому интересны Linux, WordPress, мобильные эксперименты и вообще всякая прикладная техно-жизнь, это реально приятная штука.
Где ограничения и почему телефон все-таки не сервер
Тут все довольно честно. Даже если 3B-модель на телефоне уже работает, это не значит, что можно безнаказанно качать все подряд и ждать чуда. Память, скорость, нагрев и размер моделей никуда не деваются. Те же 2.44 ГБ на один Qwen уже неплохо так кусают хранилище. А если начать собирать маленький мобильный зоопарк из нескольких моделей, телефон быстро напомнит, что место и ресурсы у него не бесконечные.
Второй момент это ожидания от качества. Локальная модель на смартфоне хороша как помощник для коротких задач, но не как абсолютная замена облачным флагманам. Сложный код, длинный контекст, тяжелая логика и большие тексты все еще удобнее гонять на более мощном железе или в хорошем облаке.
Третий момент это банальный форм-фактор. Даже если модель отвечает вполне прилично, длинный рабочий диалог, детальная редактура и большие куски кода на телефоне остаются не самым удобным занятием просто потому, что экран маленький, а пальцы большие. Иногда проблема уже не в модели, а в самом мобильном формате.
С чего бы я советовал начинать
Если хочется просто понять, жив ли вообще локальный AI на смартфоне, я бы начал с моделей 1B или 1.5B. Это легче, быстрее и безопаснее для нервной системы устройства.
Если хочется уже не просто сказать «ну да, оно открывается», а получить что-то реально полезное, то 2B и 3B на хорошем смартфоне выглядят интереснее. В моем случае именно Qwen2.5-3B-Instruct показал тот уровень, где локальная модель уже не просто существует, а действительно может приносить практическую пользу.
А вот начинать с тяжелых вариантов я бы не советовал. Тут лучше без героизма. Телефон все-таки должен еще жить обычной жизнью, а не тянуть на себе чужие фантазии про карманный дата-центр.
Итог
Эксперимент с PocketPal на Huawei Pura 70 у меня скорее удался. Я не получил магию уровня больших облачных сервисов, но получил вполне рабочий локальный AI-сценарий прямо в телефоне. Для коротких задач, подсказок, черновиков, быстрых формулировок и просто любопытства этого уже достаточно, чтобы история выглядела не игрушкой, а реальным инструментом.
После нового скриншота бенчмарка картина стала еще интереснее. Теперь видно не просто «ну вроде запускается», а более понятный технический контекст: сколько памяти видит приложение, какой GPU определился, какие инструкции доступны и какая модель выбрана для теста. Это хорошо дополняет мои практические впечатления.
Если давно хотелось попробовать локальные LLM на телефоне, но не было желания превращать это в техно-экспедицию с плясками вокруг терминала, PocketPal выглядит как хороший старт. А если у вас смартфон уровня Huawei Pura 70, то это уже не история из серии «может быть когда-нибудь». Это можно запустить прямо сейчас и посмотреть своими глазами.
