Домой Новости ИИ Сравнение мобильных приложений для запуска локальных LLM

Сравнение мобильных приложений для запуска локальных LLM

Автор протестировал три мобильных приложения для работы с локальными языковыми моделями на iPhone 16. Лидером по функциональности оказалось наименее популярное решение.

Запуск языковых моделей на смартфоне перестал быть технологической диковинкой и превратился в повседневный инструмент. В магазинах приложений представлено множество программ для локального ИИ, однако их возможности заметно различаются. После нескольких месяцев тестирования различных решений на iPhone 16 с 8 ГБ объединенной памяти, можно выделить три приложения, заслуживающих внимания.

интерфейс мобильного приложения для работы с ИИ на iPhone

Google AI Edge Gallery: простота для новичка

Google AI Edge Gallery — это оптимальный выбор для тех, кто только начинает знакомиться с технологией. Приложение имеет открытый исходный код, доступно в официальном магазине и использует движок LiteRT, оптимизированный под мобильные процессоры. Важной особенностью программы является низкое энергопотребление: нагрузка на аккумулятор при работе с ней ощутимо меньше, чем при просмотре видео или в играх.

Интерфейс приложения предоставляет широкие возможности настройки, включая параметры температуры, контекстного окна, ускорение через CPU/GPU и спекулятивное декодирование. Функция Agent Skills предлагает готовые сценарии взаимодействия: работу с картами, установку напоминаний, отслеживание настроения, поиск в Wikipedia и генерацию QR-кодов. По сути, Edge Gallery является полноценным локальным аналогом Google Assistant.

Главный недостаток заключается в ограниченной поддержке форматов. Приложение работает преимущественно с моделями формата LiteRT, что ограничивает выбор пользователя семейством Gemma. Импорт сторонних сборок с Hugging Face возможен, но требует ручной конвертации, что затруднительно для рядового пользователя. Кроме того, на iOS некоторые инструменты Mobile Actions практически не функционируют, поэтому максимально эффективно приложение работает на устройствах под управлением Android.

PocketPal: гибкость для продвинутых пользователей

Приложение PocketPal ориентировано на тех, кто привык к работе с локальными моделями на ПК. Оно поддерживает как iOS, так и Android, и базируется на движке llama.cpp. В отличие от конкурентов, PocketPal позволяет напрямую загружать сотни моделей в формате GGUF с площадки Hugging Face.

Такой подход открывает доступ к более широкому спектру нейросетей, включая модели Qwen 3.5 2B (Q4_0) и Qwen 3.5 4B (Q3_K_M), а также нишевые решения, такие как Danube от H2O или архитектуры Phi. Инструментарий включает управление параметрами температуры, длины контекста, штрафными коэффициентами и встроенный бенчмарк для проверки аппаратной совместимости перед скачиванием модели.

Пользователи могут сохранять свои персонажи и пресеты, а новые версии получили интеграцию веб-поиска при наличии API-ключа. Основным ограничением PocketPal является отсутствие встроенной функции чтения документов. В приложении нельзя прикрепить файл или PDF-документ, поэтому текст приходится вставлять вручную. Несмотря на это, программа остается отличным вариантом для чистого общения с чат-ботами.

Noema: работа с документами и расширенные функции

Наименее популярное приложение в списке, Noema, доступно только для iOS, что, вероятно, объясняет его малую распространенность среди поклонников мобильного ИИ. Однако именно это приложение предлагает функции, которых лишены остальные конкуренты. Помимо стандартного GGUF, Noema поддерживает форматы MLX от Apple и собственный формат SLM от Liquid AI, что позволяет запускать специфические модели, оптимизированные для Apple Silicon.

Ключевым преимуществом Noema является встроенная система RAG (генерация с дополненной выборкой) и поддержка документов. Пользователь может загрузить PDF-файл или заметку в формате Markdown, которые приложение индексирует локально, позволяя задавать вопросы по содержанию исходных материалов со ссылками на цитаты. Это полноценный ИИ-рабочий стол: в приложении есть черновики для хранения ответов, возможность ветвления диалогов и корректная передача форматирования при копировании текста в Obsidian.

Программа также проверяет совместимость модели с объемом оперативной памяти перед загрузкой. При этом у Noema есть свои минусы: это менее «отполированный» продукт по сравнению с решением от Google, и он демонстрирует невысокую скорость генерации (несколько токенов в секунду) при использовании моделей среднего размера. Тем не менее, для тех, кто ищет инструмент для работы с собственными данными, Noema остается наиболее функциональным выбором.

Сравнение инструментов на практике

Для понимания того, какой инструмент действительно подходит для повседневного использования, недостаточно просто прочитать описание в магазине — все они кажутся идентичными. Чтобы сделать объективный выбор, необходимо использовать программу в качестве основного мобильного ИИ на протяжении длительного времени. Автор протестировал около шести различных «раннеров» (исполнителей моделей) на iPhone 16, оснащенном 8 ГБ объединенной памяти, и пришел к выводу, что лишь несколько из них действительно стоят установки, и только одно решение полностью соответствует всем критериям профессионального пользователя.

Google AI Edge Gallery: нюансы установки

Важно отметить, что на старте проект существовал только в виде файла для ручной установки (sideload), однако теперь это полноценное приложение из App Store. Несмотря на удобство интерфейса, пользователям стоит учитывать ограничения формата: каталог LiteRT несопоставим по объему с миром GGUF, к которому привыкли энтузиасты локальных моделей. Если пользователь не готов самостоятельно заниматься конвертацией моделей из Hugging Face в нужный формат, выбор фактически сводится к семейству Gemma.

PocketPal: экосистема для энтузиастов

PocketPal остается основным инструментом для тех, кто переходит на мобильную платформу с десктопных решений. Возможность подбора модели под конкретную задачу — от research-ориентированных сборок до узкоспециализированных — делает его самым гибким решением. В дополнение к параметрам температуры и штрафным коэффициентам, функционал «Pals» позволяет сохранять наборы пресетов и создавать виртуальные личности (персоны), что значительно упрощает настройку под разные сценарии использования. Хотя отсутствие функции загрузки файлов является серьезным пробелом для работы с документами, для чистого общения PocketPal остается наиболее сбалансированным выбором.

Noema: технические особенности и рабочие процессы

Noema выделяется на фоне конкурентов поддержкой форматов, которые не встретить в других приложениях. В частности, возможность запуска моделей MLX, специально адаптированных для архитектуры Apple Silicon, дает существенное преимущество в производительности и совместимости. Встроенная система RAG реализована через небольшую модель Qwen3 (в квантовании Q8_0), которая скачивается единоразово и обеспечивает локальную обработку данных.

Хотя Noema и не обладает «вылизанностью» интерфейса Google AI Edge Gallery, она предлагает инструменты для управления сложными проектами:

  • Рабочее пространство: возможность ветвления диалогов позволяет исследовать различные аспекты темы, не теряя исходную нить обсуждения.
  • Интеграция с Obsidian: ответы копируются в Markdown-редактор с сохранением всех структурных элементов, что делает приложение мощным дополнением для тех, кто ведет базу знаний на смартфоне.
  • Проверка ресурсов: встроенный пре-чек модели перед загрузкой спасает пользователя от траты времени на скачивание файлов, которые физически не смогут запуститься в имеющемся объеме оперативной памяти.

Несмотря на то что скорость генерации в Noema при работе с тяжелыми моделями составляет всего несколько токенов в секунду, именно это приложение чаще всего используется в качестве основного мобильного помощника благодаря уникальной связке поддержки документов и функций полноценного рабочего стола.