Анализ технологий AI в визуальных эффектах

То, что раньше можно было встретить в рассказах писателей-фантастов, постепенно становится повседневной реальностью. Сегодня компьютеры обладают достаточными вычислительными мощностями, чтобы внедрить в различные сферы человеческой деятельности технологии машинного и глубокого обучения. Симбиоз машины и человека позволяет оставить выполнение рутинных процессов компьютеру, оставляя человеку время и возможности для решения творческих задач. Технологии искусственного интеллекта не обошли стороной и креативные индустрии.

Прогресс шагнул настолько далеко, что искусственный интеллект применяется не только в решении статистических задач, такие как прогноз кассовых сборов или анализ других медиаданных, но и в непосредственном создании визуальных эффектов в киноиндустрии. Однако, не стоит ожидать, что машина сможет самостоятельно «нагенерировать» весь визуальный ряд. Необходимо интегрировать технологии машинного обучения в пайплайн таким образом, чтобы и «объединить ИИ с VFX»^[1] сохранить возможность «руководить ожиданиями в обоих сферах».^[1]

Тогда, как же именно применяются технологии машинного обучения и искусственного интеллекта в CGI и VFX? Автоматизация рутинных процессов, несомненно, позволила бы, во-первых, ускорить рабочий процесс в целом, во-вторых, значительно снизить финансовые затраты на создание визуальных эффектов. Таким образом, исследование технологий машинного обучения в сфере киноиндустрии является актуальной темой, т.к. позволяют раскрыть все преимущества ИИ.

Данное визуальное исследование анализирует сферы применения машинного обучения в создании компьютерной графики и визуальных эффектов, а так же какие задачи на данный момент способен решать ИИ в области VFX. Визуальное исследование поделено на главы в соответствии с конкретной задачей, где может быть применен искусственный интеллект. Такой подход позволит наглядно продемонстрировать, как именно применятся ИИ, выявить все преимущества и недостатки такого пайплайна.

Massive – программа, написанная для создания и симуляции огромных столпотворений, в основе которой лежат технологии ИИ. Движок на основе нечеткой логики (fuzzy logic engine) является одной из главных киллер-фич софта, который позволяет отдельным единицам массива (агентам) выбирать случайные реакции на раздражители и окружающую их среду, что делает поведение толпы правдоподобным и естественным. Благодаря тому, что анимацию толпы можно поручить машине, аниматоры могут сосредоточиться на более ключевых задачах, что повышает эффективность общей работы.

Другим преимуществом программы Massive является способность ИИ в нужный момент переключать анимации агентов, а не «смешивать» анимации. Простыми словами, если агенту во время бега нужно совершить прыжок, Massive сама вычислит момент, в какой момент должно произойти переключение анимации. Таким образом, общая анимация выглядит естественно, будто толпа действительно была снята при помощи игры «актеров массовки», а не была симулирована.

Программу Massive активно применяли в работе над фильмом «Война миров Z» (2013). Симуляция, созданная в Massive, позволила создать анимацию толпы зомби, в которой было около 25000 агентов.^[2] Однако, Massive применяли и в крупноплановых шотах, когда было необходимо добавить в шот «больше жизни»^[2] или когда повторная съемка была невозможной.

Таким образом, Massive позволила сэкономить время на создании анимации на переднем плане, т.к. всю симуляцию физики выполняла непосредственно сама программа. Также, несомненным преимуществом Massive является ее возможность быстро адаптироваться к изменениям в общем ландшафте. Агенты могут пересчитать свое поведение очень быстро, как только в сцену добавляется новый объект, что так же экономит время на создание анимации.

Достоинством Massive можно по праву считать ее возможность сделать условным агентом не человека, а абсолютно любой объект, будь то животные, существа или насекомые. Более того, толпу можно сделать неоднородной, добавив в нее неограниченное количество различных типов агентов, у которых будет свой поведенческий паттерн.

Для фильма «Человек-муравей и Оса: Квантомания» (2023) студия Imageworks разработала ассеты 8 видов муравьев, для каждого из которых аниматоры создали свой цикл бега и полета для крылатых муравьев. Симуляцию физики в анимацию добавила программа Massive. Далее для каждой группы агентов была задана своя модель поведения.^[3]

Работая над фильмом «Мег: Монстр глубины» (2018), студия Imageworks так же использовала Massive. Аниматорам было достаточно создать только блокинг анимации одной из акул, чтобы после растиражировать эту анимацию на каждый из видов, которые участвовали в массовке. Через Massive уже были настроены индивидуальные черты поведения для каждого из видов. Так же, агенты были оснащены возможностью ориентироваться в пространстве и базовыми навыками навигации. Это было необходимо, чтобы агенты-акулы могли имитировать поиск цели, а так же уклоняться в случае опасности.^[4]

Ziva VFX – программное обеспечение для создания анимации живых существ, в основе которого лежит офлайн симуляция всей биомеханики персонажа. Искусственный интеллект, который лежит в основе движка Ziva, помогает просчитать физику сокращения мышц более правдоподобно, добавляя вторичные и третичные движения, такие как морщины, движения по инерции и так далее.

Алгоритмы Ziva так же способны устранить ряд ошибок, которые могут возникнуть в процессе анимации. Объекты не будут проникать друг в друга, а сама модель не потеряет своего первоначального объема. Машинное обучение дополняет физическую симуляцию, делая ее более реалистичной.^[5]