CG EVENT 2021: DIGITAL HUMANS

Программа на 29-30 мая 2021

Расписание в виде PDF находится тут.

Расписание в виде таблицы находится тут.

Ниже можно посмотреть описания докладов на CG EVENT 2021 ONLINE. Список расширяется.

Выберите категорию, чтобы сузить поиск.

  • BCE
  • 3DScan
  • AI, Нейросети, ИИ
  • Animation
  • Art, Concept Art, Crypto Art
  • Avatars
  • Deep Fakes
  • Digital Cloth
  • Future
  • Games
  • Hardware
  • Mobile Apps
  • Mocap
  • Open Source
  • Realtime, Interactive
  • Rendering
  • SBER
  • UE4
  • VFX
  • Virtual Production

Snap Inc.: что нового в мире AR?

Команда Snap Inc. вносит свой вклад в прогресс человечества, предоставляя возможность самовыражаться и получать удовольствие от общения, познавая окружающий мир. Мы расширяем границы возможного на мобильных устройствах, выходя далеко за рамки флагманских конфигураций, делая инновации доступными широкой аудитории пользователей. Продолжая развивать мир AR, мы рады представить продукты и технологии, над которыми работали в последнее время. Будет больше деталей за неделю до ивента! Stay tuned!

Mundfish and Digital Tovarish. Истории и пайплайн производства

Эксклюзив от Mundfish. История создания персонажей для главных героев. Этапы производства, сроки, участники. Съемки и мокап - разбор имеющихся систем их анализ, тесты, сравнения. Разница в использовании iPhone и шлема от DinamiXYZ (realtime и полноценный солв лица) - угадайте, кто круче? Правильный кастинг актеров. Что важно?

Как мы пробовали в Digital Avatar

Поговорим о том, как мы в Wargaming РНД-им работу с диджитал аватарами. Чтобы в реальном времени и так далее. Мы работаем с персонажами по старинке, долго, дорого, рендер вот это вот все. А параллельно смотрим на риалтайм, и пробуем его на вкус.

Цифровая одежда и Крипто-Арт от Данила Криворучко

Я давно хотел попробовать перенести цифровую одежду на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть  результаты, которые не стыдно показывать.Также я расскажу о своем путешествии в крипто арт и NFT

Ассеты, цифровые люди, UE5 и другое

Джама порасскажет подробности о своих новых проектах и об уже имеющемся опыте работы в UNREAL ENGINE 5. Речь пойдет о новых фантастических ассетах и проекте BiMediaumSmall, о Blender-е, о реалтайме, UE5 и, конечно, о создании цифровых людей, которые будут жить своей жизнью. Возможно, нам даже удастся расспросить его про крипто-арт.

The Merge of Videogames and Filmmaking in UE4: Metahumans, Storytelling and Interactivity

В конференции примет участие легендарный Альваро Матинес - человек, который делает игры и кино одновременно. В реалтайме. И теперь с помощью MetaHumans. Человек, который первым приручил мокап, face live link  и метахьюманов. О том, как он видит развитие всего этого безобразия он и расскажет на конференции.

Нейросетевые подходы к липсинку для 3D персонажей

Обзор архитектуры нейросети для генерации липсинка для 3D персонажей, использующейся в Digital Avatars Service. Рассматриваемая нейросеть на вход получает звуковую аудио-последовательность и выдаёт последовательность бледшейпов. Затрагиваются вопросы обучения, подготовки данных и исполнения сети.

Автоматическая генерация жестов на основе речи

Небольшие движения тела и спонтанные жесты позволяют улучшить коммуникацию между людьми. Можно ли их сгенерировать автоматически для виртуальных аватаров? Должны ли эти жесты быть как-то согласованы с речью или достаточно случайных движений руками? Какие движения делают аватара более человечным? Во время доклада мы найдем ответы на эти вопросы и рассмотрим различные методы автоматической генерации жестов на базе GAN’ов и других нейронных сетей.

Создаем цифрового дублера: от 3D сканирования до 4D захвата и ретаргетинга в риг

Мы расскажем, как наша команда из компании Russian3DScanner помогала создавать цифрового дублера для Sber AR/VR Lab. Russian3DScanner не только создает софт, но уже несколько лет выполняет сервисы по обработке 3D-сканов и 4D-захвата для ряда зарубежных проектов. В своем выступлении мы поделимся приобретенным опытом и расскажем про те этапы создания цифрового дублера, в которых разбираемся больше всего, а именно:

Любовь. Смерть. Аватары. Социальный бекграунд феномена.

Что такое аватары, почему люди к ним привязываются и могут ли цифровые копии "спасти" человека от смерти. Расскажем также о пользовательских стратегиях использования аватаров.

Digital Avatars Service: Сервис оживляющий цифровых персонажей

В этом докладе, я расскажу про Digital Avatars Service. Это новый сервис, который позволяет оживить вашего виртуального персонажа: сгенерировать реалистичную анимацию, озвучить реплику и многое другое. В докладе мы рассмотрим пример интеграции сервиса в 3d редакторы и движки, такие как Unity и Unreal.

Вселенная Omniverse: будущее творчества

Virtual ProductionDigital HumansAIRemote CollaborationMetaverses  - одни из самых горячих тем для обсуждения в профессиональной творческой среде. Вы сможете  узнать прямо из первых рук, как все эти концепции и технологии сочетаются в новой среде NVIDIA Omniverse, создавая новые возможности построения и симуляции новых миров в реальном времени.

Смешение границ между Live Action актерами и Unreal Engine characters для создания интерактивного кино

«Этот самый анрил» стремительно ворвался в визуальный сторителлинг не только нашумевшим виртуальным продакшном. Еще никто не успел отойти от «LED-революции», и тут - новый удар. Релиз Metahumans. Вот он - счастливый новый мир, в котором фильмы уже сами собой снимаются, а актеры уже не нужны. Казалось бы. Но за прекрасным фасадом обнаруживается, что не все так радужно.

Разыгрывается NVIDIA GEFORCE RTX 3080!

Только для посетителей CG EVENT DIGITAL HUMANS 2021 Разыщите в программе конференции (на платформе PINE) пять выступлений, помеченные значком "Ускоряется на RTX", и посетите их все. На каждом выступлении спикер или модератор сообщит вам часть секретного кода в чате Q&A, причем в произвольный момент. Голосом или покажет картинку. 

Evolution of Digital Faces

Я расскажу об истории и проблемах, с которыми Digital Domain столкнулась при создании цифровых лиц за всю историю своего существования в качестве лидера индустрии визуальных эффектов. Я сосредоточусь на том, какие проблемы были особенно важны для Digital Human Group в последние несколько лет, как мы выбирали подход к решениям этих проблем и как это привело нас к тому, чтобы использовать возможности машинного обучения и глубоких нейронных сетей.

Здравствуй, Остин. Как создавался тот самый персонаж серии Scapes

Одним из парнеров конференции станет компания Playrix, которая не только делает фантастически успешные игры, но и создает удивительные проекты на стыке музыки, анимации, клипов и сложной компьютерной графики. В программе конференции огромный блок, посвященный созданию клипа Земфиры "Остин". Не пропустите! Попробуем вместе разобраться, почему лысый дворецкий нравится миллионам игроков по всему миру, чем он бесит Земфиру, и в нём ли секрет коммерческого успеха Gardenscapes и Homescapes.

Атака клонов на CGEVENT. Вторая волна

Революция METAHUMAN позволяет любому пользователю с легкостью создавать мега-детализированных персонажей. Анимация лица, важная составляющая процесса создания контента. В докладе будет представлены примеры доступных механизмов для синтеза и трекинга артикуляции и мимики с последующей передачей в Maya и выводом для игровых движков Unity и Unreal Engine.

Автоматическое реалистичное 3D сканирование человека — что под капотом?

Создание фотореалистичных 3D аватаров людей по фотографиям — задача на пересечении областей от электроники до глубокого обучения. Мы расскажем с разных сторон о наших разработках: как мы автоматически управляем 120 камерами, какие нейронные сети попиксельно убирают фон, как мы сглаживаем полученный меш человека, улучшаем текстуры и получаем реалистичные карты нормалей лиц. Постараемся поделиться полезными инсайтами и пройденными ошибками.

Digital humans и их светлое цифровое будущее

Поговорим про сферы применения цифровых людей сегодня и в будущем. Сейчас они активно используются в VFX и gamedev, начинают применяться в digital рекламе, социальных сетях и в качестве цифровых помощников, появляются цифровые селебрити. На этом фоне кажется очевидным, что в будущем нас ожидает всестороннее использование digital humans во всех сферах, и у каждого пользователя появится своя собственная цифровая копия для жизни в виртуальном мире.

Snap Inc.: что нового в мире AR?

Команда Snap Inc. вносит свой вклад в прогресс человечества, предоставляя возможность самовыражаться и получать удовольствие от общения, познавая окружающий мир. Мы расширяем границы возможного на мобильных устройствах, выходя далеко за рамки флагманских конфигураций, делая инновации доступными широкой аудитории пользователей. Продолжая развивать мир AR, мы рады представить продукты и технологии, над которыми работали в последнее время. Будет больше деталей за неделю до ивента! Stay tuned!

Motion Capture Animation in Cinema 4D

In this presentation, Cinema 4D Master Trainer Jonas Pilz will talk about motion capture animation and how you can use it in Cinema 4D. You will learn how to apply the Mixamo Control Rig to animated characters downloaded from Mixamo and how to use Cinema 4D’s free motion capture library on custom characters. Jonas will explain the retargeting workflow inside Cinema 4D as well as how to blend motion capture clips. Finally, Jonas will have a chat with motion capture actress Marta Svetek, who is going to share a lot of her experience and thoughts about motion capture performance.

Digital Humans for Deep Learning

Мы поговорим о том, как созданные при помощи компьютерной графики люди — человеческие лица, головы, руки, тела и так далее — можно использовать для того, чтобы обучать модели искусственного интеллекта. В последние годы синтетические данные стали важной частью глубокого обучения: для многих задач ручная разметка настоящих данных оказывается крайне трудоёмкой или вообще невозможной — как разметить глубину на фотографии?

Фальшивые люди: страхи и повседневность

  “У вас ведь есть профиль в Вконтакте”, — припирает к стенке журналист ABC News. В ее глазах мою связь с КГБ можно считать доказанной. Когда мы генерировали людей, мы думали, что делаем замену стоку. Сразу после запуска оказалось, что все сложнее. Washington Post намекнул, что мы клепаем фейковые профили для дейтинга. Таблоид The Sun — что оставляем моделей без работы. VICE упрекнул во всех грехах либерализма в целом.

Ugly Dynamics

Анимация в Ugly - это комбинация кукловодства и компьютерного моделирования, она варьируется от физически точной до абсолютно неправильной. Подобная анимация близка к созданию фильмов из реальной жизни: как и актер, компьютер следует за действиями, заданными аниматором, а результат оказывается естественным или непредсказуемым или даже глубоко личным. А еще Никита обещал рассказать за НФТ...

Что можно доставать из телефона в риалтайме, чтобы облегчить жизнь на площадке и в посте

Современный телефон напичкан сенсорами и камерами, а Apple и Google тратят огромные ресурсы чтобы выжать из этих данных максимум и сделать движки дополненной реальности (AR) - ARKit и ARCore соответственно. Они выдают трекинг телефона в 60fps, при этом оценивая где находятся окна, двери и столы, генерируя HDR карту освещения и примерный мэш пространства - все для того чтобы пользователь мог посмотреть на тигра в полном размере на своей кухне.

Виртуальный Broadcast in GameDev. Почему бы и нет!

Прямой эфир из глухого леса? Легко. А может из парка с 250 тысячами посетителей? Конечно. Может, свяжемся с МКС? Все возможно! Очень часто мы пытаемся удивить потребителя сногсшибательными <голливудскими> спецэффектами и нетривиальными историями, забывая о простой человеческой потребности аудитории в информировании вокруг проекта - общении. И вот здесь нет ничего лучше прямого и чёткого диалога с помощью прямого эфира, о котором и пойдет речь в докладе Александра.

Очумелые нейронки: как создать видео без помощи рук на основе текста и одной фотографии

Дипфейки, которые удивляли и веселили нас в прошлом году в лентах друзей, рекламе, кино и политических кампаниях, стремительно превращаются в мейнстрим. Заменить персонажа в уже готовом ролике можно достаточно быстро и качество, но это не решает и 1% проблем тех, кто регулярно производит массу разнообразного видео.

Как аватары помогают кожаным мешкам стать счастливее?

Помните "Тамагочи", - брелок в виде яйца, которого нужно было кормить и всячески ухаживать за ним, чтобы он не сдох, а вырос в прекрасного котика/динозаврика/собачку? А теперь представьте приложение-игру, в которой тамагочи - это ваш 3Д аватар, который создает нейросеть всего по 1 селфи и вам нужно выполнять простые задачи в реальной жизни: пройтись по парку, встретиться с другом или съесть свежий фрукт, чтобы не дать аватару и себе загрустить.

Digital Human: 3D ML технологии в искусстве и дизайне, как отдать все рутинные задачи машине и стать Phygital Human

Концепцию Digital Humans в более обширном понятии этого термина на технологическом уровне можно разделить на несколько основных блоков, в рамках которого у нашей компании есть опыт: кибер-физические системы, технологии связки 3D и компьютерной графики с технологиями машинного обучения, технологии дополненной и виртуальной реальности, а также новые человеко-машинные интерфейсы. Тем самым команда Phygitalism хотела бы раскрыть понятие Digital Human в нашем представлении - расширении человеческих возможностей

Краткая история лиц во второй природе: от петроглифов до фотограмметрии

Лицо - важнейший образ в нашем сознании. Мы различаем малейшие изменения мимики, цвета и текстуры. Восприятие лица настолько чутко, что этот эффект использовали для наблюдения за многомерными данными через лица Чернова. И именно это гиперчувствительное воcприятие делает задачу воссоздания лица и мимики такой сложной и такой притягательной.

Узнаваемые аватары и uncanny valley

Uncanny valley является одной из основных проблем на пути создания реалистичных аватаров. В то же время, инновации в компьютерном зрении расширяют горизонты дозволенного. Виктор расскажет про основные работы по uncanny valley, отделит зерна от плевел и развенчает пару мифов. Будет затронут опыт Itseez3D по созданию реалистичных аватаров, которые используются более 100 компаниями и миллионами пользователей для приложений AR/VR

Семейные рецепты абсолютного треккинга

Поиск ингредиентов на цифровой полке. Кухня, на которой уживаются двое и больше. Знают ли они о существовании друг друга? Передача посуды из рук в руки, и обнимашки без проникновений. Но самое главное - после долгой готовки... сядут ли двое за один стол?

Виртуальные и синтетические персонажи для бизнеса и творчества

Мы живем в мире синтетических медиа (Synthetic media), когда по подиуму все чаще ходят виртуальные модели, AI-ведущие читают новости, Deepfake используют в рекламе, а музыкальные исполнители проводят концерты в игре Fortnite. Такого контента будет появляться все больше по разным причинам

Нейросети в Концепт Арте: удивляем сами себя.

Задумывались ли вы о том откуда у человека появилась фантазия? Как она работает? Как скоро фантазия появится у искусственного интеллекта? Вы наверняка слышали, что лучший сценарий развития Искусственного Интеллекта, где нам ничего не угрожает, это симбиоз ИИ с человеком.

Афантазия

Начало этого года ознаменовалось мощнейшим прорывом в Computer Vision: компания OpenAI выпустила модель CLIP, способную классифицировать _смыслы_ - в визуальной, текстовой или даже контекстной форме. Параллельно с этим компания анонсировала (но не выпустила) Dall-E - сверх-генератор фото-реалистичных изображений из текстовых описаний в свободной форме.

Digital Human: кого хоронят за оградой

Не знаю, как вас, но меня здорово пугают эти псевдо-живые существа. А всё, что меня пугает, я стараюсь рассмотреть поближе, изучить, подчинить… или принять в этом деятельное участие. Итак, давайте разбираться в называемых digital influencers.

Virtual Production — Фотореалистичные персонажи и локации

UE4, C4D, Mocap, iClone, Фотометрия - все это становится неотъемлемой частью производства видеоконтента. Как же начинать замешивать все это в производство музыкальных видео и рекламы? Как переходить от дорогих съемок и актеров к виртуальному производству.

Нейронки для анимации цифровых людей

Ок, вот мы как-то получили цифрового человека и может даже одели его. А как в новом мире теперь делают ему анимацию? А можно как у Mill или RockStart Games? А можно без костюмов? А можно в реалтайме? А можно с вебки или с телефона? А можно бесплатно? Отмечайте в календаре, обсудим текущее состояние и перспективы нейронок для анимации тела, лица, рук. Будет тяжело, весело и полезно.

Остин — дворецкий с именным анимационным клипом для Земфиры созданный командами Koshta, Pertrick & Жи-Ши

Homescapes — феномен, в эту игру играют все посетители Московского метрополитена, наши родители и весь мир. Командами студий Koshta, Pertrick и Жи-Ши мы создали анимационный клип для Земфиры про главного героя этой игры, дворецкого Остина. В формате короткометражки смогли рассмотреть и показать зрителям каждую морщинку на его лице, раскрыть переживания и обнажить страхи.

Персонажная анимация для … Тик-Ток. Или путь из Maya в Tik-Tok через UE.

Мы привыкли считать, что вот есть кино, вот анимация, вот игры. Но мир стремительно меняется и проводить границы становится все сложнее, да и бессмысленнее. Новые форматы подачи материала диктуют совершенно иные правила. И то, что еще вчера было "вторым экраном" сегодня уже давно становится первым.

Пробираясь сквозь зловещую долину. Борьба с киборгами, или как обмануть мозг.

Мир, похоже, окончательно свихнулся на цифровых инфлюенсерах и трехмерных аватарах. Многочисленные виртуальные ведущие и просто говорящие головы атакуют все площадки для потребления визуального контента. Получается плохо, особенно на крупных планах. Выглядит отталкивающе и в лучшем случае слегка пугающе.

Пошив цифровой одежды средствами Marvelous Designer. От ассетов в Houdini до показа мод в UE4.

Marvelous Designer - это самое лучшее, что есть на рынке по разработке одежды и ее симуляции. В 10-й версии появилась новые фишки, которые раскрывают программу по полной. Я хочу рассказать как упростить жизнь при разработке одежды гуманоидам для игр, кино и мультфильмов. Показать, как сделать автоматизацию ассетов одежды в Houdini и работать с ними в UE4.

Контент будущего. Из игрового движка в кастомизированные фильмы и сериалы

Как использовать игровые движки для создание геймифицированного контента для фильмов и сериалов? Когда ты не просто смотришь, а можешь влиять на его эстетику. Причём тут цифровые аватары и станут ли они актёрами в будущем? Как Digital Humans влияют на восприятие финального контента и кого они нам заменяют.

Сканирование тел и голов — когда там уже все будет просто по кнопке работать?

Поговорим про тулзы для оцифровки людей и конструкторы персонажей. Фотограмметрия, сканирование с помощью телефона, аватары по видео в ТикТоке, аватары по фотке, FaceBuilder и MetaHuman. Качество против легкости сканирования - всегда ли компромисс или можно и то, и то сразу? Какие открываются возможности, если любой человек сможет быстро сделать 3д-модель себя?