Нейросети вместо ротоскопа или Дружить с Ван Гогом

Вадим Эпштейн, медиахудожник, продюсер, директор студии in[visible]

Художественная стилизация изображений ранее подразумевала сложную технику ручной обрисовки кадров. Нейросетевые технологии (DeepDream, StyleTransfer), знакомые по мобильным приложениям Prisma или Artisto, позволили свести этот процесс к компьютерным расчётам, зачастую в реальном времени. Любую картинку можно запросто подать в стиле Ван Гога (что уже порядком надоело), Уорхола или вашем собственном.

Плотный интерес к искуственному интеллекту у Google и распространение open-source проектов избавило от необходимости ставить для этого Linux и компилировать библиотеки (такие навыки редко встречаются у художников и дизайнеров). Сейчас можно стилизовать видосы с отпуска или студийные хайрезы на обычном Windows PC, не зарываясь по уши в код (хотя это бывает полезно) и не полагаясь на заморские серверы c готовыми стилями. О практическом опыте установки и применения нейросетей для авторских спецэффектов и пойдёт здесь речь.

Примерный план:

1. Принципы и особенности работы нейросетей (CNN, RNN и др.)
2. Обработка изображений с Tensorflow GPU (Windows)
3. Перенос стиля — принципы и реализации
4. Оптимизация и масштабирование (fast transfer, multiscale, multistyle)
5. Работа с видео (секвенции, Spout)
6. Нюансы подготовки стилей
7. Прочие спецэффекты

Автор.