Компания Microsoft создала нейросеть VALL-E для преобразования текста в речь, которая может имитировать голос любого человека на основе образца продолжительностью всего три секунды.
Полученный образец VALL-E разбивает на мельчайшие фрагменты и сравнивает их с уже имеющейся базой данных. Зная, как в разных ситуациях звучат голоса других людей, нейросеть «предполагает», как в тех же ситуациях будет звучать «донор». Таким образом у VALL-E получается очень правдоподобно имитировать голос носителя образца с естественными интонациями.
При создании VALL-E использовалась технология сжатия аудиосигнала EnCodec и библиотека записей голосов более 7 тыс. человек с общим хронометражем около 60 тыс. часов Libri-light. Оба продукта принадлежат корпорации Meta (признана в России экстремистской и запрещена).
Кстати, как вы думаете откуда у нее такая база голосовых записей? Это наши с вами голосовые сообщения из мессенджеров, которые Мета не церемонясь использует в своих целях. Вы же нажали кнопку «Принять» на лицензионном соглашении когда устанавливали мессенджер, вот теперь не удивляйтесь что ваш голос используются где-то там без вашего разрешения и бесплатно.
В Microsoft считают, что новая нейросеть будет полезна при создании аудиоконтента на основе текста. В частности, VALL-E может быть использована совместно с генератором текстов GPT-3 для создания полностью оригинального контента.
Подделать голос сейчас уже не так сложно, как раньше, а это открывает большие возможности не только для создателей контента: инди-разработчики игр смогут сделать качественную и дешевую озвучку, аниматоры — озвучить своих персонажей, а режиссеры фильмов — снять достоверную документалку, но и для хакеров и мошенников.
Технологии качественного синтеза речи уже достигли таких высот, что дух захватывает. Голосовые помощники уже обрели свой личный голос — не металлический, холодный, а наполненный эмоциями и чувствами; чат с техподдержкой перестает раздражать, а вы сможете заставить свой телефон отвечать на неприятные звонки вместо себя.
По материалам Газета.ру