Стриминговый сервис Prime Video приступил к тестированию новой технологии, призванной сделать зарубежный контент более естественным для англоязычной аудитории. Компания начала использовать возможности искусственного интеллекта и визуальных эффектов для коррекции движения губ актеров, чтобы они соответствовали английскому дубляжу. Первым проектом, где была применена данная разработка, стал сериал «Мастон Холл» (Maxton Hall).
Особенности технологии синхронизации дубляжа
Новая функция доступна пользователям по всему миру для первых двух сезонов немецкого сериала. Кроме того, технология будет внедрена в третий и финальный сезон, премьера которого запланирована на начало декабря. Процесс основан на сочетании ИИ и инструментов визуальных эффектов, которые корректируют артикуляцию персонажей уже после того, как основной перевод был записан людьми. Важно отметить, что Prime Video не отказывается от профессиональных актеров озвучивания, а лишь визуально устраняет несоответствие между переведенным текстом и оригинальной мимикой, зафиксированной на видео.
Раф Солтанович, вице-президент по технологиям в Prime Video и Amazon MGM Studios, отметил, что внедрение функции призвано сделать просмотр глобального контента более захватывающим и качественным для клиентов. По его словам, это также облегчает авторам доступ к широкой международной аудитории, при этом все изменения происходят под творческим контролем, что гарантирует сохранение оригинального замысла создателей произведений.
Планы Amazon и конкурентная среда
На текущий момент «Мастон Холл», основанный на романе Моны Кастен «Спаси меня», является самым просматриваемым международным оригинальным сериалом Prime Video. Выбор этого проекта в качестве тестовой площадки подчеркивает значимость испытания для компании. Хотя представители Amazon заявили о планах по масштабированию технологии на другие проекты, конкретные названия будущих релизов и подробности используемых систем ИИ пока не разглашаются.
Компания имеет опыт работы в этой сфере: еще в прошлом году Prime Video проводила тестирование ИИ-ассистированного дубляжа для 12 фильмов и сериалов на английском и испанском языках, включая El Cid: La Leyenda, Mi Mamá Lora и Long Lost. Однако нынешний подход отличается тем, что в него включена глубокая постпродакшн-обработка видеоряда.
Amazon выходит на активно развивающийся рынок автоматизированного перевода и дублирования. Схожие функции, включая синхронизацию губ для естественного восприятия переведенной речи, уже внедряют такие платформы, как Meta и YouTube. Главное отличие стратегии Amazon заключается в сочетании визуальных правок с высококачественным человеческим дубляжом для драматических сериалов, что позволяет минимизировать заметный разрыв между экранной игрой и звучащей речью.
Технологические нюансы и предыстория разработки
Хотя Prime Video активно внедряет инновации, в компании не раскрывают подробностей о том, какая именно архитектура ИИ лежит в основе процесса и какая часть работы выполняется в автоматическом режиме. Известно лишь, что решение базируется на синтезе алгоритмов искусственного интеллекта и классических инструментов визуальных эффектов (VFX), при этом обязательным условием остается строгий творческий надзор — это необходимо для сохранения художественной целостности оригинального произведения.
В отличие от Meta и YouTube, чьи инструменты чаще ориентированы на пользовательский контент и автоматизированную трансляцию речи, подход Amazon нацелен на премиальный сценарный сегмент. В то время как конкуренты используют ИИ для генерации голоса, Prime Video принципиально оставляет живых актеров озвучивания, используя нейросети исключительно для решения проблемы «визуального диссонанса», возникающего при наложении перевода на исходную немецкую актерскую игру.
Важно отметить преемственность в развитии проекта: текущий релиз для «Мастон Холла» стал логическим продолжением экспериментов, начатых еще в прошлом году. Тогда компания тестировала технологии на 12 проектах, однако нынешний кейс стал первым, где изменения затрагивают непосредственно видеоряд, трансформируя его для идеального совпадения с переведенной аудиодорожкой. Это превращает сериал в ключевой полигон для проверки того, сможет ли постпродакшн на базе ИИ сделать иностранный контент естественным для массового зрителя без отказа от традиционных методов озвучивания.
