Wrap4D. История создания программы для точного захвата лицевой анимации

Андрей Кровопусков. Со-основатель компании Russian3DScanner
Дмитрий Бурляев. Со-основатель и продюсер студии MHB

Мы R3DS — компания из Воронежа, которая разрабатывает программы Wrap, ZWrap и Wrap4D. Эти продукты используются игровыми и VFX-студиями при создании цифровых персонажей на основе 3D-сканов реальных актеров.
Наши последние разработки связаны с захватом лицевой анимации. Многим знакомы системы захвата с помощью одной или нескольких камер на шлеме. Одни системы отслеживают положение маркеров, другие детектируют контуры глаз и губ. Но всё чаще в новых блокбастерах можно встретить применение так называемого 4D-захвата. 4D подход является самым точным из существующих. Он позволяет отслеживать движение каждого миллиметра человеческого лица. 4D широко применяется как напрямую, в сценах фильма или игры, так и в качестве обучающих данных для методов машинного обучения.

В нашем выступлении мы расскажем историю создания Wrap4D, который на текущий момент является единственной на рынке программой для преобразования 4D данных к желаемой топологии. Мы поделимся тем, откуда взялась идея, какие задачи приходилось решать, как мы собирали базу лиц для машинного обучения и как совместно со студией MHB создавали экспериментальную сканирующую установку на шлеме, какие открытия нас ждали, и какие разработки планируются впереди.

Автор