Компания Meta* представила обновленную AI-модель Brain2Qwerty v2. Она способна с высокой точностью воссоздавать текст, который пользователь набирает на клавиатуре, анализируя электрическую активность мозга, зафиксированную методом магнитоэнцефалографии (МЭГ).
Разработчики опубликовали инструментарий для обучения и запуска модели, специализированный фреймворк для обработки данных МЭГ и библиотеку для работы с нейронной активностью. Также открыт доступ к набору данных первого эксперимента (информация по второму этапу будет представлена после публикации научной статьи). Весь программный код распространяется по лицензии MIT, а датасеты — по CC BY-NC 4.0.
Результаты и точность измерений
Вторая версия Brain2Qwerty при обработке «сырых» и зашумленных данных МЭГ достигла средней точности в 61% при восстановлении слов. Лучший индивидуальный показатель среди участников исследования составил 78%. Для сравнения, первая версия модели, обученная на объеме данных в 10 раз меньшем, демонстрировала в среднем 40% точности (максимум 48%). Существующие неинвазивные методы анализа активности мозга обычно показывают эффективность на уровне 8%.
Обучение Brain2Qwerty v2 проходило на данных 9 добровольцев, каждый из которых прошел 10 часовых сеансов записи активности мозга во время активного набора текста. Использовалась система магнитоэнцефалографии Megin (Elekta Neuromag), оснащенная 102 магнитометрами и 204 градиометрами с частотой дискретизации 1000 Гц.
Процесс сбора данных и методология
В ходе эксперимента участники слушали фразы в наушниках. После звукового сигнала на экране загорался индикатор (длительностью 1,5 секунды), по завершении которого испытуемый должен был набрать услышанную фразу «вслепую». Для контроля фокуса внимания участники смотрели на вращающийся черный квадрат в центре монитора.
Существенное улучшение показателей второй версии стало возможным благодаря десятикратному увеличению обучающей выборки и переходу от посимвольной обработки к системе, анализирующей целые слова и предложения.
Как устроена система распознавания
Модель Brain2Qwerty v2 опирается на работу трех взаимосвязанных компонентов:
- Conformer — выделяет и классифицирует отдельные буквы из сигналов МЭГ.
- Aligner — отвечает за объединение распознанных букв в слова.
- LoRA LLM — реконструирует итоговое предложение, учитывая семантический контекст и корректируя зашумленные сигналы.
