Цифровая одежда от Данила Криворучко

Данил Криворучко. Motion Designer & Visual Effects Artist и пророк at myshli.com

Я давно хотел попробовать перенести цифровую одежду на реальных людей — то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по «Ложной слепоте» и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть  результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом трекинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на Vellum. Забавно, что еще одну нейронную сетку получилось использовать — маски персонажа в композе генерятся вот этой штукой — https://github.com/ZHKKKe/MODNet

 
Если вы не знаете кто такой Данил, вам сюда:  http://www.myshli.com/
Если вы не знаете, что такое «Ложная слепота», вам сюда: https://blindsight.space/


Автор

 

Данил Криворучко. Моушн-дизайнер и VFX-артист из Нью-Йорка, работающий с Apple, Nike, Boeing, Verizon, McDonald’s.

http://www.myshli.com/

  |   _CG EVENT 2021 DIGITAL HUMANS, AI, Нейросети, ИИ, Digital Cloth, hit, hiteng, Mocap, Rendering