Украинский разработчик Slava S (slvDev) доказал, что запуск локальной языковой модели вполне возможен даже на сверхдешевом микроконтроллере. В рамках экспериментального проекта ESP32-AI ему удалось запустить нейросеть непосредственно на чипе ESP32-S3, стоимость которого составляет около 10 долларов. Примечательно, что вся система функционирует полностью автономно, без обращения к облачным серверам или активного интернет-соединения.
Фото: Slava S./X
На первый взгляд такая задача кажется практически невыполнимой. Контроллер ESP32-S3 оснащен лишь 512 КБ встроенной оперативной памяти (SRAM), 8 МБ PSRAM и 16 МБ флеш-памяти. Традиционно таких вычислительных ресурсов недостаточно даже для самых легковесных языковых моделей.
Как удалось запустить ИИ на микроконтроллере
Чтобы обойти аппаратные ограничения, разработчик применил архитектурный подход Per-Layer Embeddings, аналогичный тому, что используется в моделях семейства Google Gemma. После квантования нейросети до 4 бит её общий размер удалось сократить до 14,9 МБ. Самую объемную таблицу, содержащую около 25 миллионов параметров, разместили во флеш-памяти, тогда как SRAM-память задействовали исключительно для оперативных вычислений. Такой подход позволил критически снизить потребность в оперативной памяти.
Возможности и ограничения модели
Используемая модель насчитывает 28,9 миллиона параметров и прошла обучение на специализированном датасете TinyStories. Система способна генерировать только короткие художественные тексты и не предназначена для полноценного общения, программирования или поиска фактов. Проект носит исследовательский характер и демонстрирует возможности современных архитектур нейросетей, а не пытается конкурировать с крупными языковыми моделями.
По мнению автора, подобная методика может стать востребованной в сфере автономных устройств. Встраиваемые системы, промышленные контроллеры или «умная» бытовая техника смогут внедрять локальный ИИ без необходимости в постоянном доступе к облаку.
Примененный принцип многоуровневого хранения весов модели может оказаться полезным и для высокопроизводительных серверных систем, где сейчас активно тестируется возможность переноса части весов нейросети на высокоскоростную флеш-память в качестве альтернативы дорогостоящей оперативной памяти.
