Денис, чем отличаются возможности работы в Virtual Production-среде с хромакеем от работы с технологией StageCraft, где используются LED-экраны, как при создании «Мандалорца»?
У нас был экспериментальный интенсив, посвященный работе операторов, гафферов и осветителей с хромакеем. Мы считаем, что хромакей нельзя списывать со счетов и говорить, что это технология прошлого. LED-экран не может полностью заменить хромакей, они решают разные задачи.
Иван Добронравов, который выступил режиссером короткометражки «Режим полной эмпатии», признался, что съемки проезда на автомобиле на фоне LED-экрана освобождали его как актера, потому что можно спокойно играть свою роль и не думать о ситуации на дороге, о том, как что-то может случиться. Все безопасно, это контролируемое окружение. И не нужно перекрывать улицы для съемок.
В то же время, мы не можем сфокусироваться на LED-экране, поскольку матрица камеры и экрана совпадают и на изображении появляется муар, рябь. Поэтому он всегда чуть в расфокусе. LED-экран подходит для дальних или средних планов, мы не можем приблизить его зумом и уйти в горизонт, мы просто упремся в пиксели. С хромакеем таких проблем не возникает, и он позволяет делать более насыщенную и четкую картинку. Так что сейчас на некоторых проектах, включая «F1» с Брэдом Питтом, в одной сцене используются разные технологии, но они так грамотно объединяются, что мы этого не видим.
Юрий Стоянов на съемках фильма «Дедмобиль»
кадр со съемочной площадки
Как осуществляется работа с актерами в Virtual Production?
При работе с хромакеем обычно ставится отдельный экран, на который выводится обработанное изображение, чтобы у актеров было понимание, где они находятся, и что вокруг. В случае с LED-экраном все проще, но и там есть масса нюансов. Могут быть зоны, в которые актер не должен заступать, ему нужно продумывать траекторию. Есть веб-сериал Dynamo Dream, он целиком снят на хромакее в одной комнате. Актриса ходит туда-сюда, а мы видим, как она садится в лифт, выходит на улицу, идет по городу будущего.
Джон Фавро из Disney рассказывал, что при работе над новым «Королем Львом» они создали виртуальную саванну, с которой оператор взаимодействовал через камеру, и видел превизы в режиме реального времени.
Кроме того, мы сейчас экспериментируем с управлением реальным освещением из виртуальной среды. Например, если камера движется и солнце меняет свое положение относительно героя, то динамическое освещение на съемочной площадке подстраивается под обстановку. Это очень перспективное направление работы, оно значительно оптимизирует съемочный процесс. Мы можем снять некоторые сцены заметно быстрее, чем в традиционных декорациях. И если мы хорошо подготовились, то на площадке уже получается готовый материал. Возможно, на постпродакшене вообще ничего дорисовывать не потребуется. Кроме того, мы можем записать все перемещения камеры, данные трекинга, и на постпродакшене не придется выполнять первоначальный этап работы, можно будет сразу переходить к наложению текстур, к компьютерной графике.
VARYA
промо-видео компании
Насколько навыки работы в традиционном кинопроизводстве применимы в Virtual Production?
Виртуальная среда помогает творить и операторам, и режиссерам. Даже сценаристам на этапе написания сюжета важно понимать, какие возможности им дает Virtual Production, ведь они могут гораздо больше себе позволить, это расширяет полет мысли. Можно снимать как будто в реальных декорациях от Древнего Рима до Марса. У режиссера же другой подход к художественным решениям сцен, нужно иначе ставить мизансцены, думать про вход в кадр, выход из кадра. Но у нас есть отличная советская школа комбинированных съемок. Наши режиссеры и кинооператоры были, можно сказать, первопроходцами в этой сфере. Они работали в те времена, когда еще не было компьютеров, используя маски, пленки, химические реакции. И сейчас режиссеры могут опираться на тот опыт, ведь виртуальный продакшен – это не только хромакей и LED-экраны, это любое совмещение виртуальных объектов с физическими в реальном времени.
Насколько у нас развит Virtual Production по сравнению с Голливудом?
Америка – пионеры в этой технологии, они ее придумали и на «Мандалорце» произошел значимый рывок в ее развитии. Но с тех пор у них заметных прорывов не было, лишь полгода назад они заявили, что у них началась эпоха Virtual Production 2.0. А мы в России уже достаточно давно это все переосмыслили, попробовали разные подходы. Во многом это из-за того, что они могут себе позволить неделями снимать одну сцену, а у нас другой темп работы и нет голливудских бюджетов. Мы придумали, как работать с небольшими экранами, как вращать актера внутри сцены, сохраняя камеру стационарной. Американские студии к этому только сейчас приходят. Так что мы точно лучше европейского и азиатского продакшена, на втором месте после Голливуда и даже с ним в чем-то вполне можем конкурировать.
Virtual Production – это скорее инструмент для творчества или возможность ускорить производство и срезать затраты?
Фрагмент интенсива Virtual Production
видео: архив Дениса Клочкова
В каких случаях виртуальный продакшен неприменим, и нужно обходиться традиционными средствами?
Есть мнение, что новые технологии превращают кино в аттракцион, лишают его истории, человечности, камерности.
Я думаю, это зависит от художественных решений. Если режиссер может воплотить этот замысел и без технологий, то и с ними его картина не станет хуже. Я недавно смотрел фильм Ричарда Линклейтера «Новая волна». Это кино о том, как Жан-Люк Годар снимал свой первый фильм с молодым Бельмондо. И он как раз хотел, чтобы даже актеры не знали свои реплики заранее, чтобы в кадре не было машинального прочтения. Он старался снимать окружающих людей скрытой камерой, чтобы они не знали, что попадут на пленку и вели себя естественно. Получился шедевр, но это ведь не значит, что у других режиссеров актеры тоже не должны учить сценарий. С некоторыми жанрами, такими как фантастика, сложно работать, не прибегая к современным технологиям. Хотя у Тарковского получилось, конечно.
А бывали случаи, когда режиссер, увидев возможности, которые ему дает виртуальный продакшен, прямо на площадке придумывал новые художественные решения?
Сейчас, почти всегда с режиссером на площадке есть художник, который переделывает, дополняет окружение по желанию режиссера. Конечно, так не всегда происходит, поскольку эта технология подразумевает подготовку. На некоторых проектах для оператора-постановщика создается техническая превизуализация, которая демонстрирует, как все будет выглядеть — это возможность посмотреть на окружение, понять, какое будет фокусное расстояние, какие нужны объективы. Оператор или режиссер даже могут надеть шлем виртуальной реальности и просто осмотреть локацию, вращая головой. За счет этого они заранее могут что-то поменять, подготовить, чтобы не тратить время на площадке, ведь каждый съемочный день стоит дорого, и в продакшен нужно заходить подготовленными.
Как Virtual Production может пригодиться при работе над документальными фильмами?
Раньше, чем братья Люмьер, кино никто не снимал. О более ранних временах мы можем судить по фотографиям, по картинам. Мы можем сгенерировать историческое окружение с помощью нейросетей, но в этом случае у нас нет возможности поместить в него актера. А виртуальный продакшен дает нам возможность создать любую историческую локацию, даже если это здание было давно разрушено или этого города больше нет. И в этой локации актеры могут перемещаться, взаимодействовать друг с другом. Это будет реалистично, познавательно, вдохновляюще – лучше, чем показывать старые фотографии или просто давать описания. Можно снимать масштабные батальные сцены вроде наполеоновских войн без большого количества массовки. Это очень благодатная почва для дока.
Применяется ли в виртуальном продакшене генеративный искусственный интеллект?
Мы используем игровой движок Unreal Engine 5.6.1, чтобы создать виртуальный мир, в котором есть 3D-объекты. Эти объекты мы можем отсканировать с реальных предметов. Например, в байопике «Роднина» наши российские коллеги с помощью технологии Gaussian Splatting отсканировали те стадионы, на которых выступала фигуристка, сохранившиеся с советских времен. Это позволило снять все нужные сцены в павильоне в Москве, а не вывозить всю съемочную группу в экспедицию в каждый город.
И вот когда мы отсканировали локацию, внутри нее мы можем использовать нейронки, чтобы сгенерировать какие-то детали фона. Но мы не можем с помощью нейросети сделать всю локацию, потому что нам нужны управляемые 3D-объекты с умеем нейронкой генерировать каких-то персонажей, правда, их не получится использовать для крупных и средних планов, где видны лица. Глядя на глаза, зритель поймет, что это бездушная машина.
«Роднина»
трейлер фильма
Какие метрики используются для оценки эффективности работы с Virtual Production?
А как оценить качество картинки?
Вы можете назвать какой-то известный проект, где Virtual Production сыграл ключевую роль в создании атмосферы?
«Свободное падение»
кадр со съемочной площадки
Какие востребованные профессии есть в виртуальном продакшене?
Есть специалист, который калибрует камеру относительно LED-экрана, чтобы обеспечить точную цветопередачу. Гаффер тоже должен понимать, как работать со светом в виртуальном продакшене. Он должен с помощью специальных таблиц правильно поставить свет, потому что лучше потратить 10 минут перед съемкой, чем потом долго и за большие деньги вытягивать цвета на постпродакшене. Есть художники окружения, создающие виртуальные локации, есть операторы LED-экрана, которые с пульта управляют им во время съемок.
Если бы вам дали бюджет на эксперимент с Virtual Production без коммерческих ограничений, какой проект вы бы реализовали – и какие технологии задействовали в первую очередь?
Заглавное фото: личный архив Дениса Клочкова