Автоматическая генерация жестов на основе речи

 

Александра Анзина. Computer Vision Engineer. Sber AR/VR Lab

Небольшие движения тела и спонтанные жесты позволяют улучшить коммуникацию между людьми. Можно ли их сгенерировать автоматически для виртуальных аватаров? Должны ли эти жесты быть как-то согласованы с речью или достаточно случайных движений руками? Какие движения делают аватара более человечным? Во время доклада мы найдем ответы на эти вопросы и рассмотрим различные методы автоматической генерации жестов на базе GAN’ов и других нейронных сетей.

План:
Генерация жестов только по звуку.
Генерация жестов по звуку и тексту.
Жесты с заданным стилем.
Большое сравнение разных методов по генерации жестов.


Автор

 

Александра Анзина. Computer Vision Engineer. Sber AR/VR Lab

  ||   _CG EVENT 2021 DIGITAL HUMANS, AI, Нейросети, ИИ, Avatars, SBER