Evolution of Digital Faces

 

Дмитрий Кашковский. Digital Domain’s Digital Human Group

Я расскажу об истории и проблемах, с которыми Digital Domain столкнулась при создании цифровых лиц за всю историю своего существования в качестве лидера индустрии визуальных эффектов. Я сосредоточусь на том, какие проблемы были особенно важны для Digital Human Group в последние несколько лет, как мы выбирали подход к решениям этих проблем и как это привело нас к тому, чтобы использовать возможности машинного обучения и глубоких нейронных сетей.

Я расскажу о нашей собственной системе захвата лица Masquerade (от версии один к версии два) и о том, как она появилась, ее эволюции и той важной роли, которую она сыграла в создании Masquerade Live — нашей монокулярной безмаркерной системы захвата лица в реальном времени.
Также речь пойдет о том, как это привело к еще одному проекту в нашей исследовательской группе под названием Autonomous Virtual Human, или AVH.

 

В заключение вы услышите, как Digital Domain провела небольшое исследование по использованию дипфейков для замены лица. Это привело к созданию нашей новейшей технологии под названием Charlatan, которая использовалась для старения Дэвида Бекхэма в его кампании по борьбе с малярией, а также для возвращения к жизни легенды НФЛ Винса Ломбарди для Суперкубка LV.


Автор

 

Dimitry has been a part of the CG industry for over 14 years. He has held various roles such as Technical Artist, Rigging TD, Lighting TD, CG Supervisor, and Software Developer. He got to be a part of some notable projects including Crysis, Crysis 2, Life of Pi, Sherlock Holmes: Game of Shadows, and Avengers: Infinity Wars. After spending 11 years working on production side, Dimitry decided to pursue a more research driven direction joining Digital Domain’s Digital Human Group where he has been a part of the research software team working on new technologies with the focus on facial motion capture.

  ||   _CG EVENT 2021 DIGITAL HUMANS, 3DScan, AI, Нейросети, ИИ, Animation, Avatars, Deep Fakes, Hardware, Mocap, Rendering, UE4, VFX, Virtual Production