Нейросетевые подходы к липсинку для 3D персонажей

Олег Семерий. Computer Vision Head. Sber AR/VR Lab.

Обзор архитектуры нейросети для генерации липсинка для 3D персонажей, использующейся в Digital Avatars Service. Рассматриваемая нейросеть на вход получает звуковую аудио-последовательность и выдаёт последовательность бледшейпов. Затрагиваются вопросы обучения, подготовки данных и исполнения сети.

План.
Обзор существующий нейросетевых подходов к генерации липсинка для 3D персонажей по аудио
Разбор архитектуры нейросети для генерации липсинка для 3D персонажей из Digital Avatars Service
Особенности сбора и подготовки данных для обучения
Особенности обучения сети
Особенности исполнения сети

---

Автор

 

Олег Семерий. Computer Vision Head. Sber AR/VR Lab

  ||   AI, Нейросети, ИИ, Animation, Avatars, CG EVENT 2021 DIGITAL HUMANS, SBER