Эволюция создания цифровой кожи в кино
РУБРИКАТОР
— Концепция — «Industrial Light & Magic» — «Digital Domain» — «Weta Digital» — Заключение
КОНЦЕПЦИЯ
За время своего существования компьютерные технологии шагнули далеко вперёд. Специалисты в области визуальных эффектов научились воссоздавать любые события на экране, имитируя реальность настолько качественно, что отличить, где и какая технология была использована и использована ли вообще, уже практически невозможно. Рубеж между вымышленным и настоящим оказался стертым — и чем совершеннее технологии, тем менее заметны границы. Однако есть в этом ремесле несколько особенно сложных аспектов, которые долго не поддавались с особым упорством. Одним из таких аспектов является технология создания цифровой кожи, которая совершенствовалась с годами благодаря людям, ставящим невероятно высокую планку для своих проектов, людям, желающим опередить свое время и создать что-то принципиально новое в сфере компьютерной графики.
Создание цифрового персонажа — невероятно долгая и кропотливая работа, где для достижения двух важнейших постулатов, похожести и живости, необходимо учесть множество факторов, а лицо такого персонажа — главная задача для специалистов, ведь человеческий глаз эволюционно способен отличать малейшие нестыковки на чувственном уровне и тут же распознавать «ложь» на экране. Здесь нет мелочей: важны как микродвижения мышц, так и рассеивание света в слоях кожи, игра бликов и глубина взгляда. Для убедительности требуется крайнее мастерство, знания и время.
Джеймс Кэмерон / «Аватар» / 2009
Физическая оболочка персонажа в компьютерной графике строится по тому же принципу, что и реальное тело человека: кости, мышцы, кожа. При создании первых CG персонажей на экране специалисты вдруг поняли, что человеческий покров — гораздо более сложно организованная структура, нуждающаяся в глубоком исследовании: просто наложить текстуру было не только недостаточно, а вовсе убивало реалистичность изображения, создавая эффект «зловещей долины». Даже мельчайшие недочеты в подповерхностном рассеивании света или неправильное поведение кожи при деформации делали героя на экране ненастоящим.
Исследование посвящено изучению технологий создания кожи цифровых персонажей: как эта технология зародилась и эволюционировала, какие в ней есть сложности и приёмы, что помогает добиться убедительности. Интересная именно своей сложностью в учете мельчайших деталей, технология проанализирована в хронологическом порядке в разные эпохи своего развития через призму студий, над ней работавших. Для исследования отобраны интервью непосредственных создателей эффектов, архивные журналы о визуальных эффектах в конкретных фильмах, а также некоторые научные исследования, которые помогли вывести технологию создания цифровой кожи на принципиально новый уровень — туда, где цифровое становится неотличимым от живого.
«INDUSTRIAL LIGHT & MAGIC»
Роберт Земекис / «Смерть ей к лицу» / 1992
Началось все со студии «Industrial Light & Magic». Экспериментируя с коммерческим и фирменным ПО, они создали технологию, удостоенную премии «Оскар» за визуальные эффекты: фильм «Смерть ей к лицу» (1992), где супервайзером визуальных эффектов был Скотт Сквайрс, стал первым случаем компьютерной генерации текстуры человеческой кожи [2]. Вся скрученная шея героини была компьютерной графикой, однако эффект потребовал комбинации разных технологий.
Скотт Сквайрс / «Смерть ей к лицу» / 1992
Создателям было важно оставить игру самой актрисы, поэтому для начала они отсняли три разных плейта: пустой, с актрисой в синем боди на фоне синего экрана, чтобы было видно лишь ее голову и, наоборот, тело актрисы с синей тканью, закрывающей голову. С одного из плейтов была удалена голова Мерил Стрип и заменена чистым плейтом с помощью черно-белых масок в системе Parallax Matador Paint [3]. Затем они соединили этот материал с играющей головой актрисы с третьего плейта, а место скручивания — кожу шеи — воссоздали с помощью графики, используя комбинацию двух ПО: Softimage 3D animation и специального ПО студии «Industrial Light & Magic» [3].
Но, конечно, качество картинки на экране в то время было еще не настолько детальным, и отчасти это позволяет скрыть несовершенства в такого рода технологии — пор, морщин и волосков кожи попросту не видно. К тому же, кожа скручена, что тоже играет на руку создателем в маскировке деталей, которые могли бы броситься в глаза.
Стивен Соммерс / «Мумия» / 1999
Скотт Фаррар / «Мумия» / 1999
Этой же студией был создан первый полностью цифровой персонаж с системой костей и мышц. Им стал Имхотеп из фильма «Мумия» (1999). Команда, работающая над спецэффектами, под руководством супервайзера Скотта Фаррара создали технологию заполнения всех пустот между костями и мышцами цифровой кожей, которая как бы натягивалась поверх и соединяла всю конструкцию — эту стадию они назвали «skinny» [8].
Скотт Фаррар / Создание кожи поверх мышц и костей / 1999
Это положило начало в технологии имитации кожи, однако, так как она не имела привычной человеческой структуры из-за особенностей внешнего вида мумии, рассмотрим следующую часть фильма, в которой цифровую кожу получил уже более очеловеченный персонаж — Царь Скорпионов, сыгранный Дуэйном Джонсоном, из фильма «Мумия возвращается» (2001).
Сиквел, а именно шот с самим Царем Скорпионов в своей гибридной форме, считается одним из худших в истории CG.
Джон Бертон / «Мумия возвращается» / 2001
Это была одна из первых попыток создать цифрового персонажа с реалистичным видом и оказалась она не самой удачной по многим причинам, одна из которых — имитация человеческой кожи. Из-за плохого качества исполнения персонаж, призванный быть устрашающим, выглядит пластиковым и нереалистичным.
О причинах, почему так произошло, рассказал супервайзер фильма Джон Бертон и в их числе, помимо крайне маленького количества референсного материала для создания модели — текстуры для кожи [1]. Она слишком гладкая, неправильно реагирует на свет и блики, на ней отсутствует необходимый эффект влажности и жирности. Также при приближении лица Царя скорпионов к камере не видно пор, соответственно, отсутствует необходимый рельеф. Все эти мелочи сделали главного антагониста крайне неубедительным. Таким образом, профессионалы в визуальных эффектах подошли к новой технологии, но еще не вполне овладели ей, продолжая совершенствоваться уже в других фильмах.
«DIGITAL DOMAIN»
Знаковым фильмом, в котором час хронометража занимает полностью созданный в компьютерной графике персонаж, стала «Загадочная история Бенджамина Баттона» (2008).
Дэвид Финчер / «Загадочная история Бенджамина Баттона» / 2008
Это была крайне сложная задача, так как персонаж должен был присутствовать в фильме не пару шотов, а постоянно. Более того, зрители должны были почувствовать человечность, историю. Существующие на тот момент технологии не могли дать нужного результата студии «Digital Domain», занимавшейся созданием облика Бенджамина в разных возрастах, поэтому они решили создать так называемый технологический «бульон», взяв сильнейшие технологии из других областей: например, медицинской визуализации или видеоигр.
Эрик Барба / «Загадочная история Бенджамина Баттона» / 2008
Эрик Барба / Технология переноса рельефа лица / 2008
Так, например, для создания точного рельефа кожи актера был использован метод «контура», при котором вместо отслеживания маркеров на лицо наносилось флуоресцентное вещество, дающее гораздо большую точность при сканировании рельефа и выражений [7].
Эрик Барба / Перенос мимики на CG персонажа / 2008
Сложность в создании состаренного лица Бенджамина, играемого Брэдом Питтом, была в соответствии окружению. Например, в сцене в доме престарелых было множество актеров, которые являлись реальными пожилыми людьми, поэтому внешний вид кожи главного героя, ее движения, морщины и складки нужно было создать так, чтобы они не отличались от особенностей реальных людей.
Эрик Барба / Работа с разным освещением / 2008
Супервайзер проекта, Эрик Барба, также рассказывает, что для убедительного вида кожи нужно было провести много работы над освещением: чтобы оно правильно взаимодействовало с CG кожей, команда фиксировала информацию о каждом источнике света и отражающих картах, даже о том, что находилось за камерами, на съемочной площадке в каждой сцене, чтобы потом максимально реалистично воссоздать это в компьютерной среде [6].
Также референсом послужили созданные макеты голов. Они стали ориентиром для настройки шейдеров кожи, однако были недостаточными, так как силиконовая кожа на них не совсем соответствовала человеческой плоти. Чтобы собрать больше органических текстур кожи, студия провела съемку в высоком разрешении, улавливая детали пор Брэда Питта, а также нескольких пожилых людей. Но и это было еще не всей работой.
Дэвид Финчер / «Загадочная история Бенджамина Баттона» / 2008
Помимо шейдеров для кожи использовались карты смещения с трассировкой лучей в Mental Ray, созданные с макетов, для детализации неровностей и дефектов. Задачей было синхронизировать работу рейтрейсинга, карт смещения, подповерхностного рассеивания и глобального освещения [6].
Несмотря на все сложно поставленные режиссером задачи (такие как сцены в ванной с голым телом или сцены при ярком солнечном освещении), студии удалось создать действительно убедительного героя, впервые так долго присутствующего в кадре, не вызывающего эффект «зловещий долины» и способного тронуть человеческое сердце.
«WETA DIGITAL»
Роберт Родригес / «Алита: Боевой ангел» / 2019
Следующим шагом развития можно назвать работы студии «Weta Digital», которая максимально приблизилась к реалистичности изображения кожи цифровых персонажей на данный момент. Студия, создавшая знаковых персонажей из таких фильмов как «Мстители: Война бесконечности» (2018), «Алита: Боевой ангел» (2019), «Гемини» (2019) открыла четыре важнейшие составляющие для получения успешного результата: карта смещения (displacement), динамические изменения, подповерхностное рассеивание, альбедо [4].
«Weta Digital» / Специальное ПО студии, обучающееся на массивах
Энтони Руссо, Джо Руссо / Пример работы ПО с порами в фильме «Мстители: Война бесконечности» / 2018
Displacement или карта смещения — это черно-белая текстура, которая применяется для создания эффекта рельефа или деформации на поверхности объекта, меняя его геометрию. То есть все многообразие впадин и выпуклостей. И у всего лица (скулы, глазницы), и у морщин, и даже у пор, расположение и форма которых крайне важна. Студия «Weta Digital» вместо того, чтобы делать их алгоритмически, что сразу бы дало ненатуральный эффект, использовали AI инструмент, работающий с симуляцией массивов [4]. Глубокое обучение позволило создать неповторимый оригинальный паттерн пор на коже.
Шелдон Штопсак / Работа с текстурами при динамических изменениях в «Гемини» / 2019
Динамические изменения — изменения кожи, когда мы задействуем мышцы под ней, то есть выражения эмоций на лице. Рельеф кожи меняется, как и тон кожи в этих местах. Для точной фиксации этих изменений «Weta Digital» использовала сразу две камеры у лица актера для захвата его игры. Они использовали «facial action coding system» (fax) — систему, в которой под номерами обозначались различные изменения в выражении лица. Например, опускание уголков рта или приоткрытие губ. Комбинируя их, они создавали эмоцию.
Ник Эпштейн / Работа над эмоциями в «Алита: Боевой ангел» / 2019
В «Алита: Боевой ангел» помимо записанных с актрисы выражений и поз для глубокого обучения необходимо было больше данных, поэтому Роза Салазар записала также набор диалогов, называемый Гарвардским набором, который разработан для охвата всего диапазона фонетических сочетаний [4]. Это позволило еще лучше понимать и воспроизводить микро-изменения в чертах лица и кожи.
Хенрик Ванн Йенсен / Открытия в области подповерхностного рассеивания / 2001
Хенрик Ванн Йенсен / Разное подповерхностное рассеивание в разном молоке / 2001
Следующая важная часть — подповерхностное рассеивание или SSS. Сложность воссоздания человеческой кожи еще и в том, что она неоднородна: некоторые участки толще других, свет в них отражается по-разному, лучи попадают не только на поверхность кожи, но и под нее, отражаясь оттуда. Более того, рассеивание тоже неоднородно. Эта задача также была решена с помощью глубокого обучения AI инструмента, который учитывал уровень меланина, влияющий на SSS, и для каждого участка кожи определял, какое необходимо количество подповерхностного рассеивания [4]. Но перед этим явление было изучено и описано в статье Хенриком Ванн Йенсеном из компании «Luxion»: с помощью лазерной указки, просвечивая различные продукты в супермаркете, они с командой выяснили подробности о том, как свет проходит сквозь материю, а не просто отражается от нее [5].
Роберт Родригес / «Алита: Боевой ангел» / 2019
Последняя составляющая — albedo. «Weta Digital» подразумевают под этим термином карту оттенков кожи, индивидуальную для каждого человека. Прилив крови к разным участкам кожи в моменты ярких эмоций меняет оттенок. В фильме «Алита: Боевой ангел» такая карта была создана для главной героини с ее актрисы — Розы Салазар.
Ник Эпштейн / Изменения карты кровотока в «Алита: Боевой ангел» / 2019
Более того, супервайзер проекта — Ник Эпштейн — рассказывает, что для героини также была создана карта кровотока, которая позволяла оттенку кожи меняться с помощью шейдера при смене эмоций [9].
Следуя этим правилам, студии удалось добиться отличных результатов в создании цифровых персонажей, которые выглядят органичной частью мира, к которому принадлежат, и способны вызывать эмпатию не меньше, чем другие актеры.
ЗАКЛЮЧЕНИЕ
В ходе исследования были изучены разные вехи в эволюции такого сложного и комплексного эффекта как создание компьютерной кожи. Являясь самым большим человеческим органом, включающим многослойную структуры с многочисленными индивидуальными особенностями, эффект долгое время был одним из тех, что выдавали компьютерную графику на экране. Однако всего пара десятилетий понадобилась для того, чтобы персонаж, кропотливо созданный командой талантливых профессионалов, вместо отторжения и смеха вызывал восхищение, стал частью мира, зажил собственной жизнью и трогал человеческие сердца не хуже, чем живые актеры.
Андор Коллар / Пример работы с текстурой кожи / 2018
Corridor Crew. VFX Artists React to Bad & Great CGi 78 [любительское видео с интервью с супервайзером] // YouTube. 16 июля 2022. (URL: https://www.youtube.com/watch?v=j8JgN_srwCc). Просмотрено: 21.05.2025.
Death Becomes Her // Сайт www.ilm.com. (URL: https://www.ilm.com/vfx/death-becomes-her/). Просмотрено: 21.05.2025.
Failes I. Head stretching and stomach holes: re-visiting the visual effects of ‘Death Becomes Her’ // Сайт beforesandafters.com. 29 июля 2022. (URL: https://beforesandafters.com/2022/07/29/head-stretching-and-stomach-holes-re-visiting-the-visual-effects-of-death-becomes-her/). Просмотрено: 21.05.2025.
Fame Focus. Why It’s SO HARD To Do CGI Skin! [анализ основных принципов создания цифровой кожи] // YouTube. 11 января 2022. (URL: https://www.youtube.com/watch?v=FtifBqf2Z50). Просмотрено: 20.05.2025.
Jensen H. A Practical Model for Subsurface Light Transport // Сайт graphics.ucsd.edu. август 2001. (URL: http://graphics.ucsd.edu/~henrik/papers/bssrdf/bssrdf.pdf). Просмотрено: 21.05.2025.
Shay D. CineFex Magazine 2009, No.116-119 // Сайт archive.org. 2009. (URL: https://archive.org/details/cinefex_2009). Просмотрено: 21.05.2025.
TED-Ed. How Benjamin Button got his face — Ed Ulbrich [выступление специалиста из Digital Domain] // YouTube. 23 февраля 2013. (URL: https://www.youtube.com/watch?v=52JqQkx_VDc). Просмотрено: 21.05.2025.
VFX Geek. CG characters — history & step-by-step VFX creation [любительское видео с подробностями создания CG персонажей] // YouTube. 2 марта 2019. (URL: https://www.youtube.com/watch?v=6--OICaLrgg). Просмотрено: 20.05.2025.
Vox. Why it’s so hard to make CGI skin look real [любительское видео с интервью с супервайзером] // YouTube. 3 августа 2021. (URL: https://www.youtube.com/watch?v=NvFoKkWyZ5Y). Просмотрено: 20.05.2025.
Обложка — https://www.artstation.com/artwork/1qdRq (20.05.2025)
Текстура кожи Нейтири — https://www.wetafx.co.nz/films/case-studies/neytiri (22.05.2025)
Кадр со скрученной шеей из «Смерть ей к лицу» — https://www.film.ru/articles/7-neobychnyh-filmov-v-zhanre-kemp-dlya-prosmotra-na-hellouin#gallery-4 (21.05.2025)
Кадры со съемок «Смерть ей к лицу» — https://www.youtube.com/watch?v=xRNVHaaUAp8&t=93s (21.05.2025)
Кадр из фильма «Мумия» — https://pabliko.ru/@moviepark/akterov_iz_filma_mumija_mogli_pohitit_vo_vremja_semok_interesnye_fakty-129307/ (21.05.2025)
Создание первой цифровой кожи в «Мумии» — https://www.youtube.com/watch?v=6--OICaLrgg (21.05.2025)
Кадры с Царем скорпионов из фильма «Мумия возвращается» — https://twizz.ru/wp-content/uploads/2019/07/the-mummy-returns-movie-screencaps-com-13003.jpg (21.05.2025)
Кадры из фильма и со съемок «Загадочная история Бенджамина Баттона» — https://archive.org/details/cinefex_2009 (21.05.2025)
Мимика Бреда Питта в флуоресцентном гриме, работа с освещением головы персонажа, макет головы — https://www.youtube.com/watch?v=52JqQkx_VDc (21.05.2025)
Breakdown кадры «Алита: Боевой ангел», «Мстители: Война бесконечности», «Гемини» — https://www.wetafx.co.nz/films/case-studies (21.05.2025)
Скриншоты работы массива — https://www.youtube.com/watch?v=FtifBqf2Z50 (21.05.2025)
Исследования подповерхностного рассеивания — http://graphics.ucsd.edu/~henrik/papers/bssrdf/bssrdf.pdf (21.05.2025)
