Автоматическое реалистичное 3D сканирование человека — что под капотом?

 

Ефим Боеру. CTO@Twin3D

Создание фотореалистичных 3D аватаров людей по фотографиям — задача на пересечении областей от электроники до глубокого обучения. Мы расскажем с разных сторон о наших разработках: как мы автоматически управляем 120 камерами, какие нейронные сети попиксельно убирают фон, как мы сглаживаем полученный меш человека, улучшаем текстуры и получаем реалистичные карты нормалей лиц. Постараемся поделиться полезными инсайтами и пройденными ошибками.

 


Автор

Ефим Боеру, CTO@Twin3D
Эксперт в прикладной математике и машинном обучении. Занимался исследованиями по биомедицинской томографии в MIT, Сколтехе и МФТИ. Перед присоединением к Twin3D собрал с нуля и вел R&D команды в Huawei и Bosch для решения индустриальных задач с фокусом на компьютерное зрение

  ||   _CG EVENT 2021 DIGITAL HUMANS, 3DScan, Avatars