VALL E Нейросеть – сервис для Android, представляющий собой модель искусственного интеллекта от корпорации Microsoft. Алгоритм способен с удивительной точностью имитировать человеческую речь. При этом для обучения достаточно образца записи голоса длительностью всего три секунды.
Принцип работы
Как и ChatGPT, данная платформа представляет собой алгоритм на основе искусственного интеллекта. В процессе разработки использовалась библиотека LibriLight, включающая в себя более 60 тысяч часов речи на английском языке.
В отличие от стандартных методов синтеза речи данная модель не работает со звуковыми волнами. Нейросеть выявляет особенности речи человека, разбивая ее на специальные токены. Это позволяет моделировать звучание голоса за пределами трехсекундного образца.
Стоит отметить, что алгоритм умеет также имитировать различные эмоции, например, гнев, злость, радость, отвращение и так далее. Есть возможность воспроизводить звуки окружения.
Доступность
На момент написания обзора компания Microsoft не публикует алгоритм в открытом доступе для экспериментов. Это связано с тем, что существует высокий риск использования нейросети злоумышленниками.
На официальном сайте пользователи могут ознакомиться с демонстрационными образцами имитации речи и оценить возможности нейронной сети.
Особенности
- можно ознакомиться с демонстрационными образцами бесплатно;
- алгоритм способен с высокой точностью имитировать человеческую речь;
- есть возможность воспроизводить окружение и эмоциональную окраску;
- при создании модели использовалась технология EnCodec;
- сервис совместим с актуальными версиями Android.
