Особо ценный объект культурного наследия народов Российской Федерации (указ Президента РФ от 15.04.2013 №360)
Лаборатория виртуальной реальности и искусственного интеллекта


В 2019 году во Всероссийском государственном институте кинематографии имени С. А. Герасимова (ВГИК) на факультете Анимации и мультимедиа была открыта первая экспериментальная лаборатория «Захват движения» (Motion Capture), оборудованная современной системой захвата движения OptiTrack (Motion Capture Systems). Она позволяет в режиме реального времени производить отслеживание перемещения актёров и траектории движения игрового реквизита на съёмочной площадке, записывать действия, обрабатывать и переводить их в специальные цифровые форматы, содержащие в себе анимационные данные, с последующей чисткой и экспортом полученного материала в трёхмерные пакеты компьютерной графики. Юбилейный 2019/2020 учебный год стал первым годом преподавания технологии «Захват движения» в рамках новых специальных дисциплин, таких как «Моделирование трехмерного пространства», «Разработка проектов и технологии захвата движения», «Монтаж и интернет-программы», «Моделирование виртуальной реальности», «Работа режиссера со спецэффектами», «Основы построения и моделирования пространства кадра», «Моделирование в технологии захвата движения», «Компьютерная графика и анимация», «Виртуальный персонаж в виртуальном пространстве», «Современные мультимедиа программы», «Моделирование в технологии захвата движения», «Разработка проектов и технологии захвата движения», «Моделирование виртуальной реальности», «Компьютерная графика и анимация», «Моделирование трехмерного пространства», «Работа художника с продюсером анимационного кино», «Мультимедиа как среда для реализации продюсерских проектов». Студенты получают возможность последовательного изучения теоретической и практической работы с MoCap-системой, первичные навыки использования перспективных техник, обзор основных методов создания анимации в современной индустрии. 
В 2019 году во Всероссийском государственном университете кинематографии имени С. А. Герасимова (ВГИК) на факультете Анимации и мультимедиа был открыт первый экспериментальный павильон технологии анимации «Захват движения» (Motion Capture (MoCap)), оборудованный современной системой захвата движения OptiTrack (Motion Capture Systems). Она позволяет в режиме реального времени производить отслеживание перемещения актёров и траектории движения игрового реквизита на съёмочной площадке, записывать действия, обрабатывать и переводить их в специальные цифровые форматы, содержащие в себе анимационные данные, с последующей чисткой и экспортом полученного материала в трёхмерные пакеты компьютерной графики для переноса записанной анимации на заранее подготовленные трёхмерные модели персонажей.
 
Юбилейный 2019/2020 учебный год стал первым годом преподавания технологии «Захват движения» в рамках новых специальных дисциплин. Работа с технологией Motion Capture преподаётся на факультете Анимации и мультимедиа ВГИК в рамках дисциплин «РАЗРАБОТКА ПРОЕКТОВ В ТЕХНОЛОГИИ ЗАХВАТА ДВИЖЕНИЯ», «РАЗРАБОТКА АНИМАЦИОННОГО ОБРАЗА, ПРОСТРАНСТВА И КАДРА», «ВИРТУАЛЬНЫЙ ПЕРСОНАЖ В ВИРТУАЛЬНОМ ПРОСТРАНСТВЕ» и «ОСНОВЫ ПОСТРОЕНИЯ И МОДЕЛИРОВАНИЯ ПРОСТРАНСТВА КАДРА». Занятия включают в себя ознакомление с теоретической частью, историей развития, описанием технической составляющей и съёмочной практикой. Производится работа по первичной настройке и калибровке системы, происходит подготовка и переодевание актёров в специальные костюмы, выполняется загрузка трёхмерных моделей в сцену с отладкой параметров. Далее следует процесс синхронизации актёра и виртуального персонажа. При необходимости, в проект может быть добавлена виртуальная камера, актёрский реквизит, дополнительные объекты. После завершения подготовительного этапа работы наступает основной съёмочный этап. В режиме реального времени проходит репетиция и запись актёрских дублей. Участники съёмок имеют возможность видеть результаты на экранах телевизоров и мониторов. Анимация может быть проиграна и перезаписана. Работа переходит на третий этап. Данные сохраняются и первично редактируются. Затем цифровые дубли экспортируются для дальнейшего использования в анимационных пакетах трёхмерной компьютерной графики. Построение учебного процесса по функциональным этапам позволяет эффективно изучать работу с Motion Capture, систематизировать знания и умения в области современных технологий кинопроизводства. Система способна одновременно работать с тремя актёрами и отображать движения в режиме реального времени. Запись и редактирование анимационных данных с их последующей передачей в графические пакеты производится во всех отраслевых стандартных форматах.
 
В 2022 году во Всероссийском государственном университете кинематографии имени С. А. Герасимова (ВГИК) на факультете Анимации и мультимедиа была открыта лаборатория виртуальной реальности и искусственного интеллекта. Основные задачи лаборатории связаны с разработкой мультимедийного контента с использованием технологий захвата движения, виртуальной и дополненной реальности, элементов искусственного интеллекта. Студенты получают возможность последовательного изучения теоретической и практической работы с MoCap-системой, шлемами виртуальной реальности и очками дополненной реальности, первичные навыки использования перспективных техник и направлений, обзор основных методов создания анимации в современной индустрии.
 
Лаборатория виртуальной реальности и искусственного интеллекта обладает собственной базой необходимого оборудования. Павильон оснащён новейшей современной профессиональной оптической пассивной Motion Capture системой рабочей площадью сто квадратных метров. Подобный тип систем чаще всего используется на студиях при создании анимации, что даёт возможность работы в условиях максимально близким к реальному производству. Находясь непосредственно на виртуальной съёмочной площадке, студенты проходят практическое изучение основных этапов производственной цепочки. Разработка мультимедийного контента в формате виртуальной и дополненной реальности с использованием шлемов виртуальной реальности и очков дополненной реальности позволяет отработать практическое применение перспективных цифровых технологий. Элементы искусственного интеллекта используются при захвате движения лицевой анимации, генерировании статичных изображений и в обработке видеоданных.
 
Лаборатория технологии «Захват движения» факультета Анимации и мультимедиа ВГИК обладает собственной базой необходимого оборудования. Павильон оснащён новейшей современной профессиональной оптической пассивной системой американского производителя OptiTrack рабочей площадью пятьдесят квадратных метров. Подобный тип систем чаще всего используется на студиях при создании анимации, что даёт возможность работы в условиях максимально близким к реальному производству.
 
В состав системы входят:
 
- 20 специальных инфракрасных широкоугольных камер OptiTrack Prime, расположенных на фермах по периметру рабочей зоны;
- 3 стандартных комплекта MoCap-костюмов OptiTrack Motion Capture Suit (куртка, брюки, перчатки, шапочка), изготовленных из синтетического светопоглощающего материала;
- 49 пассивных оптических маркеров OptiTrack X-base Marker, размещённых на каждом комплекте костюмов;
- Набор пассивных оптических маркеров OptiTrack X-base Marker для внесения дополнительных объектов в сцену;
- Калибровочные инструменты OptiTrack CW-500 Calibration Wand Kit и OptiTrack CS-200 Calibration Square;
- Шлем Faceware Indie Headcam System с маркерной и безмаркерной функцией захвата лицевой анимации;
- 3 жидкокристаллических панели большой диагонали, установленных по периметру съёмочной площадки;
- Компьютерная рабочая станция Dell Precision 5820 с несколькими мониторами Dell UltraSharp UP2716D;
- Основное программное решение Motive OptiTrack для работы с системой Motion Capture;
- Поддержка работы со схемой виртуальных камер, добавляемых на площадку;
- Комплект программного обеспечения пакетов трёхмерной компьютерной графики Autodesk Maya, Autodesk MotionBuilder, Autodesk 3ds Max, Autodesk Mudbox;
- Возможность подключения к игровому движку Unreal Engine и использования MoCap-системы для прямого импорта анимационных данных в движок в режиме реального времени;
- Работа со шлемами виртуальной реальности и очками дополненной реальности.
 
АППАРАТНОЕ ОБЕСПЕЧЕНИЕ АУДИТОРИИ:
 
- LED-телевизор Samsung HG40EE590 (40 дюймов) с напольной стойкой (3 шт.)
- Графическая рабочая станция Dell Precision 5820 (Intel(R) Xeon(R) W-2123 CPU 3.60 Ghz) (2 шт.)
- WQHD-монитор Dell UltraSharp UP2716D (27 дюймов) (2 шт.)
- Клавиатура Dell KB216 Black (2 шт.)
- Мышь Dell MS116 Black (2 шт.)
- Инфракрасная широкоугольная камера OptiTrack Primex (с креплением и кабелем) (20 шт.)
- Стандартный комплект MoCap-костюмов (размер S) OptiTrack Motion Capture Suit (1 шт.)
- Стандартный комплект MoCap-костюмов (размер M) OptiTrack Motion Capture Suit (1 шт.)
- Стандартный комплект MoCap-костюмов (размер L) OptiTrack Motion Capture Suit (1 шт.)
- Набор пассивных оптических телесных (body) маркеров OptiTrack X-base Marker (1 шт.)
- Набор пассивных оптических лицевых (face) маркеров OptiTrack Facial Markers (1 шт.)
- Калибровочный инструмент OptiTrack CW-500 Calibration Wand Kit (1 шт.)
- Калибровочный инструмент OptiTrack CS-200 Calibration Square (1 шт.)
- Шлем Faceware Indie Headcam System с функцией захвата лицевой анимации (1 шт.)
- HDMI Разветвитель HDMI Splitter 1х4 (1 шт.)
- Коммутатор (switch) D-Link DGS-1005D/I3 (1 шт.)
- Коммутатор (switch) D-Link DGS-1100-10/ME (1 шт.)
- Коммутатор (switch) TP-Link T2600G-28MPS (1 шт.)
- Проводной HDMI-адаптер (transmitter) (с комплектом кабелей) (1 шт.)
- Источник бесперебойного питания (ИБП (UPS)) IPPON Smart Winner 3000 (1 шт.)
- Блок розеток Hyperline SHE19-9SH-2.5EU (1 шт.)
- Система виртуальной реальности HTC VIVE Pro 2 (3 шт.)
- Система виртуальной реальности Oculus Quest 2 (3 шт.)
- Очки дополненной реальности Magic Leap 2 (2 шт.)
- Очки смешанной реальности Microsoft Hololens 2 (1 шт.)
 
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ АУДИТОРИИ:
 
- Операционная система (ОС) Microsoft Windows 10 Pro для рабочих станций (Microsoft Windows 10 Pro for Workstations) (2 шт.)
- Программное решение OptiTrack Motive: Body (Optical motion capture software) (1 шт.)
- Комплект программного обеспечения пакетов Autodesk Maya (Education License), Autodesk MotionBuilder (Education License), Autodesk 3ds Max (Education License), Autodesk Mudbox (Education License) (2 шт.)
- Комплект программного обеспечения Adobe Creative Cloud – All Apps (Education Named license для академических организаций) (2 шт.)
- Офисный пакет Microsoft 365 (Microsoft Office 365) (2 шт.)
 
Система способна одновременно работать с тремя актёрами и отображать движения в режиме реального времени. Запись и редактирование анимационных данных с их последующей передачей в графические пакеты производится во всех отраслевых стандартных форматах.
 
С 2019/2020 учебного года работа с технологией «Захват движения» преподаётся на факультете Анимации и мультимедиа ВГИК в рамках дисциплин «Теория и история цифровых медиа», «Интернет-решения и медиатехнологии», «Современные мультимедиа программы» и «Моделирование виртуальной реальности». Занятия включают в себя ознакомление с теоретической частью, историей становления и описания технической составляющей. В дальнейшем, образовательный процесс переносится из учебной аудитории в лабораторию с MoCap-системой. Находясь непосредственно на виртуальной съёмочной площадке, студенты проходят практическое изучение основных этапов производственной цепочки. Производится работа по первичной настройке и калибровке системы, происходит подготовка и переодевание желающих (один или два человека) в специальные костюмы, выполняется загрузка трёхмерных моделей в сцену с отладкой параметров. Далее следует процесс синхронизации актёра и виртуального персонажа. При необходимости, в проект может быть добавлена виртуальная камера, актёрский реквизит, дополнительные объекты. После завершения подготовительного этапа работы наступает основной съёмочный этап. В режиме реального времени проходит репетиция и запись актёрских дублей. Участники съёмок имеют возможность видеть результаты на экранах телевизоров и мониторов. Анимация может быть проиграна и перезаписана. Работа переходит на третий этап. Данные сохраняются и первично редактируются. Затем цифровые дубли экспортируются для дальнейшего использования в анимационных пакетах трёхмерной компьютерной графики. Построение учебного процесса по функциональным этапам позволяет эффективно изучать работу с Motion Capture, систематизировать знания и умения в области современных технологий кинопроизводства.
 
Motion Capture также был благополучно применён при создании нескольких учебных работ. «Как Емеля щуку ловил» (2015) – короткометражный 3D-анимационный фильм, снятый по мотивам русской народной сказки «По щучьему веленью». Однажды на Рождество в тридевятом царстве, тридесятом государстве приказывает Царь ленивому Емеле выловить из волшебного озера самую большую и вкусную щуку для праздничного стола. Проект был создан на технической базе анимационной студии «ДА-Студия» при поддержке супервайзера Егора Томского. Все роли исполнили студенты Актёрского факультета ВГИК и студенты факультета Анимации и мультимедиа ВГИК. Это – первый успешный опыт работы с технологией «Захват движения». Были построены трёхмерные модели интерьера и экстерьера царского терема, локация зимнего города и изба Емели, сделаны модели персонажей. Работа велась в несколько этапов по заранее вымеренному таймингу аниматика с последующими кадрами черновой визуализации. Превизуализация позволяла видеть «сырые» сцены и вносить в них изменения до того, как они отправлялись на финальную отрисовку средствами компьютерной графики.
 
«Волга-Рав и Каспий» (2017) – короткометражный 3D-анимационный фильм, снятый по мотивам мордовской народной сказки о девушке Волге и двух богатырях Раве и Каспии, бившихся за руку и сердце красавицы. Согласно древней легенде, раненый и поверженный Каспий, из груди которого вырывается вода, заполняет собой впадину, так появляется Каспийское море, а Волга и Рав, прожив недолго, превращаются в полноводную реку. Работа сделана в рамках 9-ой ежегодной «Международной летней киношколы ВГИК» (9th Annual VGIK International Summer School). Для изобразительного решения, в качестве отправной точки, были выбраны народные орнаменты и узоры. Имитацией текстиля покрывались фольклорные трёхмерные персонажи и локации, что придавало неповторимый стиль. Образность визуального ряда достигнута за счёт использования простых материалов и форм, лимитированной анимации и имитации съёмки, состоящей из элементов покадровой, предметной и кукольной анимации: низкая скорость кадров, открытая диафрагма и малая глубина резкости, рельеф поверхностей, длинная выдержка и эффект смазанного движения и т.д. За систему глобального освещения и просчёт фотореалистичной визуализации – рендер отвечал специальный тонировщик. Применение «Захвата движения» внесло свои коррективы в фильм. MoCap-данные необходимо было заранее не только почистить, но и подвергнуть сильному редактированию, убрав лишние ключи с детальной персонажной анимацией, уменьшить частоту и скорость кадров, амплитуду движений, изменить прочие параметры. Стоит отметить, что работа была выполнена в кротчайший двухнедельный срок и сделать трёхминутную анимацию классическим подходом, за столь небольшой промежуток времени, оказалось просто невозможно.
 
Завершена работа над короткометражным мультимедийном игровым проектом «Война МіровЪ», полностью снятом на фоне зелёного экрана с последующим добавлением компьютерной графики и визуальных эффектов. Невыносимые условия жизни на Красной планете вынуждают марсиан начать военное вторжение на Землю. Подготавливая плацдарм для наступления, они высаживаются в уездном провинциальном городке Российской империи. Сея страх и ужас, инопланетяне, в конце концов, всё же терпят поражение от земных реалий, к которым, как оказалось, они не были готовы. Фабула картины навеяна романом «Война миров» (The War of the Worlds, 1897) английского писателя-фантаста второй половины XIX века Герберта Уэллса (Herbert Wells), чьи бессмертные произведения «Машина времени» (The Time Machine, 1895), «Остров доктора Моро» (The Island of Dr. Moreau, 1896), «Человек-невидимка» (The Invisible Man, 1897) и другие, навсегда вошли в мировой фонд художественной литературы. Взяв за основу оригинальную идею Уэллса, авторы сценария решили перенести действие на «здешнюю почву», написав свою сюжетную линию и расставив в ней акценты неповторимого народно-житейского менталитета. Это придало произведению необычность в развитии действия и неожиданность в его развязке. В данном случае, разработка изобразительного решения фильма сильно зависела от технических аспектов производства: хромакейный павильон, цифровое изображение, большое количество компьютерной графики, визуальных и специальных эффектов, трёхмерная анимация и Motion Capture. Построение виртуального окружения городской среды и интерьеров, включение реальных и виртуальных объектов, совмещение отснятых кадров диктовали свои условия съёмки и разработки под эти условия определённых принципов композиции изображения. Визуальный ряд было решено построить с ненасыщенными приглушёнными тёплыми тонами, мягкими тенями и с имитацией плёночного «лампового» изображения, включая специфический рисунок зерна и широкий формат кадра. Определённое количество планов выполнено исключительно средствами компьютерной графики и анимации, однако большая часть сцен отснята с актёрами в хромакейном павильоне при наличии некоторых реально существовавших на тот момент декораций и бутафории на переднем плане, так как их создание в виртуальной среде не удовлетворяло высоким эстетическим требованиям современного кинематографа.
 
Завершается работа над ещё одним проектом, использующим технологию «Захват движения». Короткометражный 3D-анимационный фильм «Осада», находящийся в запуске продюсерского центра «ВГИК-Дебют», будет входить в следующий альманах «Анимационный дебют ВГИК». Картина обращается к истории Древней Руси и повествует о событиях монголо-татарского нашествия. В начале февраля 1238 года войска Монгольской империи по льду реки Клязьмы подходят к древним стенам столицы Владимиро-Суздальского княжества, последнему оплоту сопротивления – стольному граду Владимиру. Горожане отказываются сдавать город. Центром героической обороны становятся величественные белокаменные Золотые ворота с дубовыми створами, отделанными золочёной медью. Попытки штурма неоднократно отбиваются, но силы защитников иссякают. Враг, не сумев одолеть грозные каменные ворота, пробивает бреши в деревянных стенах. По преданию, владимирцы снимают золочёные пластины со створ Золотых ворот и топят в Клязьме, чтобы они не достались противнику, а сокровища скрывают в неизвестном месте. В данном случае, разработка изобразительного решения фильма существенно зависит от технических аспектов производства: 3D-анимация, композитинг (Compositing), наличие большого количества компьютерной графики, визуальных эффектов, анимации (персонажная, параметрическая, симуляционная (огонь, дым, разрушения, ткань, волосы) и т.д.), включая Motion Capture. Построение виртуального окружения городской среды и интерьеров, персонажей и виртуальных объектов, совмещение компьютерного изображения диктуют свои условия съёмки и разработки под эти условия определённых принципов композиции кадра. Ряд вопросов, касающихся визуального отображения виртуального пространства реальной исторической эпохи, требует уточнения и серьёзной подготовки с консультацией у специалистов разных сфер: историки, архитекторы, реставраторы, работники музеев, реконструкторы и т.д. Необходимо соблюдение баланса между художественной составляющей изображения и его исторической достоверностью. Визуальный ряд решено построить с глубоким насыщенным изображением широкоэкранного формата для визуального эмоционального охвата эпических событий. Большое количество огня, дыма, пепла, сажи на экране добавляет необходимую атмосферность изображению. Частая смена анимационных компьютерных кадров будет вносить определённые коррективы в композитинг и монтаж финальных планов.
 
Цель научно-исследовательской деятельности лаборатории – реализация модели управления ресурсами, актуальностью и темами прикладных научных исследований в области технологий искусственного интеллекта и виртуальной реальности, представляющей отрасли креативных индустрий экспериментальные проекты цифрового аудиовизуального искусства.
 
В 2021 г. с целью реализации мер по совершенствованию научно-исследовательской деятельности по программе ассистентуры-стажировки осуществлены научно-прикладные исследования в технологии Захват движения Motion Capture с применением искусственного интеллекта по анимационным, интерактивным, мультимедийным проектам в форматах дополненной реальности и VR 360:
- мультимедийный проект Сказания о мудром Абу Али ибн Сино
- компьютерная игра Венецианское зеркало
 
Также в 2021 г. в рамках научно-методической деятельности лаборатории проведены прикладные исследования в области анимации для школьников общеобразовательных учреждений с применением игровых методик и практик по изучении основ анимации. Результатом исследования стали разработка программ и методических рекомендаций, наглядных пособий и видео приложений к программам обучения:
- 1 категория с 1 по 4 класс Волшебная страна Анимации
- 2 категория с 5 по 7 класс Секреты анимации
- 3 категория с 8 по 11 класс Предпрофессиональное обучение анимации
 
В 2022 году осуществлены научно-прикладные исследования с применением искусственного интеллекта по анимационным, интерактивным, мультимедийным проектам в форматах дополненной реальности и VR 360:
- Анимационный проект «Визионер» (Победитель в 3-х номинациях на 42 Международном студенческом кинофестивале ВГИК: Лучший анимационный фильм, Приз зрительских симпатий, Использование новых технологий в классическом произведении)
- Разработка проекта компьютерной игры «Морвинг»
- Разработка и создание компьютерной игры «Шахматы»
- Экспериментальный мультимедиа-проект «Партия» (Победитель в номинации «За оригинальные визуальные эффекты» на 42 Международном студенческом кинофестивале ВГИК)