Этим летом Яндекс начал тестировать, теперь и запустил технологию машинного перевода видео. Сейчас технология открыта и доступна для массового использования. Теперь у пользователей есть возможность посмотреть с русской озвучкой практически любой англоязычный ролик.
Сразу нужно уточнить, что перевод будет работать на компьютерах только в Яндекс.Браузере и приложении Яндекс для Android и iOS. Если у вас такого нет, то нужно будет его скачать и установить. Поолный переход на постоянное использование Яндекс.Браузера на наш взгляд пока представляется сомнительным. Есть на это причины и об этом мы расскажем в отдельной статье. Но для использования конкретных возможностей вполне годится, особенно учитывая что альтернатив пока нет. Вовсе не обязательно сразу ставить Яндекс.Браузер браузером по умолчанию. Он будет настойчиво это предлагать, зачастую слишком настойчиво и это откровенно говоря раздражает. А так же не давать ему слишком много свободы: сразу отключить запуск при старте системы, запретить сворачиваться в трей и висеть там в фоновом режиме и т.п. В остальном же – ну пусть будет, чего уж там. Проект перспективный.
Как перевести видео с английского на русский
Открываем англоязычный ролик, который хотим посмотреть. Переводить можно ролики, размещённые на YouTube, Vimeo и ещё нескольких популярных платформах (каких именно в Яндексе не уточнили). Главное, чтобы видео находилось в общем доступе. И прямо в плеере мы увидим предложение перевести видео на русский. Чтобы запустить процесс перевода, достаточно нажать на кнопку.
Перевод, который выполняет Яндекс, получается закадровым и двухголосым. Оригинальная звуковая дорожка приглушается — так, чтобы она была слышна, но не мешала восприятию — и накладывается на неё новая, с переводом. При этом уровень громкости оригинальной дорожки можно регулировать. Мужские голоса переводятся мужским голосом, женские — женским. Женский голос будет вам знаком - это голос Алисы (Татья́на Ши́това).
Разработка видеоперевода шла почти год. В нём задействованы сразу несколько технологий Яндекса — в первую очередь это распознавание речи, синтез речи, биометрия и машинный перевод. Целый букет современных технологий. Нужно отдать должное – в Яндексе была проделано огромная работа.
Как это работает
Процесс перевода состоит из нескольких этапов. Если у видеоролика нет субтитров, он начинается с того, что распознается речь, то есть голос превращается в текст. Если субтитры есть, смотрится их происхождение. Субтитры, загруженные вручную, обычно хорошего качества — и они используются. Субтитры, сгенерированные автоматически, игнорируются и выполняется собственное распознавание. Получившийся текст «причёсывает» нейронная сеть. Она убирает мусор, например вставки вроде «звучит музыка», которые могут встретиться в субтитрах, расставляет знаки препинания и распределяет слова по смысловым сегментам. Результат отправляется на перевод. Также в систему загружается перевод информации о том, кто произносит ту или иную реплику: мужчина или женщина. От этого зависит не только выбор голоса, но и текст перевода. Мужчина будет говорить о себе в мужском роде, женщина в женском. Как мы знаем, в английском языке с этим проблемы. Когда текст переведён, его нужно озвучить и совместить с видеорядом. Длина фраз на русском и английском языках отличается — русские, как правило, ощутимо длиннее. Здесь на помощь снова приходит нейронная сеть. Она выполняет то, что у синхронных переводчиков называется речевой компрессией: сокращает паузы между словами и, если необходимо, немного ускоряет темп речи.
С запуском закадрового перевода в реальном времени пользователю открывается огромный пласт контента, который раньше был недоступен из-за языкового барьера. Лекции и документалки, стендапы и влоги, видеорецепты и пошаговые инструкции — всё это теперь можно смотреть на русском языке.
В Яндексе говорят, что не планируют останавливаться на достигнутом. В ближайших планах — освоить новые языковые пары и добавить в перевод больше голосов.
Специалистами Национальной службы экономической разведки новый сервис был протестирован и оставил приятное впечатление. Мы посмотрели несколько англоязычных роликов разного содержания (новости, лекции, обзоры, интервью) и почти всегда качественный уровень перевода был достаточно высок. Конечно не все было идеально. Встречались курьезные ошибки в переводе вроде raisin – изюм / Resin – Смола, но редко и это вполне можно отнести к «детским болезням» нового продукта. Со временем ИИ научится справляться и с этим. По уровню громкости, скорости перевода (собственно синхронности) проблем не замечено. Пока голоса звучат с заметными металлическими нотками, очевидно что говорит робот. Но нам это даже понравилось. К тому же это не дубляж и все эмоциональные интонации слышны в оригинальной дорожке. А зная Яндекс можно ожидать что и с «натуральностью» голоса они со временем справятся (как было с Алисой).
Так что в целом сервис является крайне полезным и рекомендуемым к использованию. Отдельно хотелось бы отметить что все это бесплатно. По крайней мере пока. Очень хотелось бы чтобы так было и в дальнейшем.
По материалам Яндекс