«Алиса AI» поможет незрячим ориентироваться в пространстве с помощью камеры смартфона

Мобильное приложение «Алиса AI» получило обновление, призванное сделать повседневную жизнь людей с нарушениями зрения проще и комфортнее. Команда Яндекса адаптировала Live-режим, который позволяет пользователям в режиме реального времени получать развернутую информацию об окружающем мире с помощью камеры смартфона.

Новая функциональность ориентирована на поддержку незрячих и слабовидящих людей. Наведя камеру на объект, пользователь может задать вопрос голосом и сразу получить ответ от нейросети. Технология позволяет, например, быстро найти вход в магазин, прочитать текст на дисплее бытовой техники или узнать содержимое холодильника, чтобы понять, какие блюда из имеющихся продуктов можно приготовить.

Как работает технология

В основе обновленного функционала лежит мультимодальная нейросеть Alice AI VLM, обладающая способностью распознавать визуальные образы и давать их детальное описание. Взаимодействие с ассистентом происходит в формате живого голосового диалога, а история всех вопросов и ответов сохраняется в чате приложения.

Анатолий Попко, менеджер по цифровой доступности Яндекса, отметил, что данная разработка является важным шагом в создании инструментов для самостоятельной ориентации в пространстве. Она позволяет пользователям решать повседневные задачи без привлечения посторонней помощи.

Доступность функции

Активировать Live-режим можно через меню приложения или с помощью голосовой команды. Функция распространяется на бесплатной основе для владельцев устройств на базе Android и iOS. На текущий момент возможность запуска режима именно голосовой командой реализована только в приложении для Android, однако разработчики обещают внедрить аналогичную функцию для пользователей iOS в ближайшем будущем. Анонс обновления состоялся в Москве в рамках фестиваля Young Con.