Digital Human: 3D ML технологии в искусстве и дизайне, как отдать все рутинные задачи машине и стать Phygital Human

Олег Юсупов. CEO PHYGITALISM
Вадим Кондаратцев. R&D Engineer в PHYGITALISM
Катя Токсик. XR Artist в PHYGITALISM
Влад Крутенюк. CG Artist в PHYGITALISM
Рома Чумак. CG Artist в PHYGITALISM
Павел Постников. CG Artist в PHYGITALISM

Концепцию Digital Humans в более обширном понятии этого термина на технологическом уровне можно разделить на несколько основных блоков, в рамках которого у нашей компании есть опыт: кибер-физические системы, технологии связки 3D и компьютерной графики с технологиями машинного обучения, технологии дополненной и виртуальной реальности, а также новые человеко-машинные интерфейсы. Тем самым команда Phygitalism хотела бы раскрыть понятие Digital Human в нашем представлении — расширении человеческих возможностей

Новый взгляд на 3D
Мы хотим рассказать, как мы используем 3D не только в контексте формы, но и смысла. Что 3D это не только красиво, но и функционально. Что 3D-мышление необходимо новому человеку в современном мире, а также что с помощью 3D можно решать практические задачи в любой отрасли: от медицины до моделирования технологических процессов, и как 3D сегодня обучает не только людей, но и машины.

Один из первых логичных шагов для формирования phygital human — это создание цифрового двойника человека: мы поговорим о том, какие сложности есть при решении этой задачи и каких прорывов удалось достичь, благодаря машинному обучению.

В CG и смежных областях есть много разнородных задач, связанных с анализом и синтезом 3D. Мы расскажем о том, как мы ищем наилучшие представления 3D, приспособленные под разные задачи (в частности расскажем про наш RCVS и Eyek плагины, задачи 2d-to-3d). Отдельно затронем то как развиваются технологии машинного зрения и интеллектуального анализа пространственных форм.

Раскроем, что это все значит для целевой аудитории CG EVENT и для их бизнеса. Расскажем то как сейчас трансформируется бизнес и использует 3D в своих процессах. Поэтому использование реалтайм движков становится приоритетной задачей для каждой индустрии.

Realtime 3D
Мы расскажем как и что значат для отрасли realtime движки, как работать с нейронными сетями в реальном времени, как использовать современные подходы к стримингу 3D, облачному рендерингу, а именно возможность просматривать результат благодаря Unity Rendering, Cloud Rendering и Neural Rendering. Оптимизация данного подхода позволяет быстрее добиваться “красивого” результата на мобильных платформах и будущих платформах смешанной реальности.

К примеру с Cloud Rendering можно добиться фотореалистичной визуализации на мобильном устройстве. Neural Rendering оптимизирует работу художника и создает фотореалистичные текстуры в режиме реального времени. С помощью таких инструментов как GauGan фотореалистичный результат не просто можно получить в режиме реального времени, но и редактировать его как заблагорассудится. Unity Rendering — это пример инструмента доступного рядовому пользователю, благодаря понятному интерфейсу и бесплатному распространению софта.

Realtime открывает больше возможностей интерактиву. Переход от обычного создания 3D контента к созданию интерактива, и пониманию новых принципов дизайна — interaction design. Ведь задача теперь делать не просто красивый эффект, а дизайн определенного взаимодействия со своим визуалом, со своей механикой, новыми способами визуализации данных и т.д.

Больше чем 3D — переход к XR
Это уже сегодня происходит, но мы хотим раскрыть, а что будет дальше Мы идем в дополненную, виртуальную реальность, волюметрическое видео, технологии 3DML, новые интерфейсы, то есть создаем новое пространство смешанной реальности. Совмещение старых и новых парадигм предполагает, что нужно готовиться уже сейчас к 3D миру. И понимать где черпать новые идеи для применения в своих проектах и продуктах — ближе всего к этому гейм дизайнеры. Однако нужно совмещать теорию 2D дизайна и практику 3D, чтоб выводить все это в смешанную реальность, учиться новому понятию дизайна взаимодействия.

В докладе мы раскроем понимание XR, как GUI for IA — то есть графического интерфейса для усиленного интеллекта

Усиленный интеллект
В связи с этим нам интересно раскрыть понятие усиленного интеллекта и столкновения понятий: искусственного интеллекта и усиленного интеллекта. Дуглас Энгельбарт изначально ориентировал развитие компьютерных интерфейсов в эту сторону, однако на наш взгляд мы немного забыли об этом, именно поэтому сейчас очень много внимания технологиям именно замещения человека, а не усиления.

Многие художники, работая с нейронными сетями находят свои оригинальные решения и обретают свой узнаваемые почерк. В свою очередь, для не художников, нейронные сети ускоряют процесс получения необходимых навыков и знаний, что сокращает путь от новичка до эксперта. Это большой шаг навстречу демократизации творчества.

Мы уже довольно давно пропагандируем связку ML и 3D-технологии в искусстве и хотим использовать все возможности, открывающиеся с нейронными сетями в нашем процессе. Мы расскажем, как эта связка позволяет использовать новые пайплайны, оптимизировать время на разработку и создавать с помощью компьютера новые формы и стили, то что человек бы никогда сам не создал. То есть все изменения что описаны выше, как использовать сегодня совместно с компьютером, чтобы расширить границы человека и стать Phygital Human.

Компетенции
Также хотим затронуть тему компетенций, что в ML отрасли не хватает CG специалистов в отделах и наоборот, как мы с этим работаем, как мы развиваем 3D ML технологии, расскажем про нашу магистерскую программу

 

План:
— Что такое 3D ML технологии и их отличие от ML
— Разница подходов AI (Artificial Intelligence) и IA (Intelligence Amplification) взаимодействия художника и технологий
— Концепция “Генератор синтетических данных” для создания датасетов для обучения ML-алгоритмов (физические модели, технологии компьютерного зрения)
— Концепция “Цифровой двойник” для создания цифровой копии объекта и визуализации состояний
— Концепция “Визуализации и симуляции 3D-данных” для создания виртуальных сред для обучения алгоритмов
— Использование традиционных инструментов CG в задачах 3DML (генератор синтетических данных)
— Готовые инструменты на основе ИИ для творчества (генеративные модели)
— Примеры проектов


Авторы

 

Олег Юсупов . CEO PHYGITALISM
Олег имеет 2 высших образования и диплом аспиранта в Московском Авиационном Институте,а сейчас выступает там в качестве идеолога и преподавателя, т.к. компания открыла и развивает собственную магистерскую программу.

В 2015 году совместно с партнерами организовал крупнейшую конференцию в России по новейшим технологиям MIXAR и основал студию разработки визуальных решений PHYGITALISM, которая имеет более 30-ти мировых наград, в числе которых Red Dot, Webby, Shorty Awards и другие. Идеология компании основана на концепции связи Искусства, Науки и Бизнеса (Art-Science-Business). Олег много времени посвящает изучению и развитию новейших концепций, таких как человеко-машинное взаимодействия (HCI).


Вадим Кондаратцев. R&D Engineer в PHYGITALISM
Вадим — аспирант кафедры “Вычислительная математика и программирование” в МАИ, а также архитектор и руководитель магистерской программы “XR&AI”. В Phygitalism занимается исследованиями в области 3D ML. Старается сделать все, чтобы открыть новые геометрические и функциональные формы, которые позволят человечеству увидеть мир под новым углом.


Катя Токсик. XR Artist в PHYGITALISM
Катя пришла в сферу phygital-искусства из графического дизайна, потому что однажды захотелось расширить формат творчества, начать работу с 3D пространством и выйти за привычные рамки работы. В компании она занимается 3D моделированием, созданием артов, идей и коллабораций в рамках проектов. Катя активно участвовала в реализации XR картин для аналоговых художников со всего мира, а также принимала участие в призовых иммерсивных проектах.


Влад Крутенюк. CG Artist в PHYGITALISM
Влад отучился 1,5 года в КФУ на физфаке на астрономической кафедре. Полгода
самостоятельного изучения CG навели его на PHYGITALISM, где Влад становится экспертом и планирует стать Арт-директором.


Рома Чумак. CG Artist в PHYGITALISM
C 2012 по сей день Рома занимается трёхмерной компьютерной графикой. Моделил, текстурил, анимировал и рендерил для мероприятий, реклам, кино- и теле-фильмов. Обладает опытом работы на всех этапах производства 3D графики.

За последние шесть лет с разной степенью владения писал на языках Go, Lua, Python и Rust. Последним двум отдает предпочтение сейчас и использует в повседневной работе. Страстно увлекается информатикой.


Павел Постников. CG Artist в PHYGITALISM
Павел окончил архитектурный колледж и недолгое время работал в сфере архитектурной и интерьерной визуализации в качестве дизайнера. В последствии, жизнь начала сталкивать с phygital миром и в полном понимании, что за этим будущее, Павел занялся изучением визуализации процессов симуляций жидкостей, а затем стал работать над визуализацией процессов работы заводов. Сейчас работает в качестве цифрового художника и выступает на лекциях, объясняя почему Phygital это круто.

  |   _CG EVENT 2021 DIGITAL HUMANS, AI, Нейросети, ИИ, Avatars, Future