Консистентность видео: персонаж

Работа с персонажем достаточно сильно отличается от работы с предметом.

Цели:

Максимально повторить движения камеры, а так же персонажа в кадре.

Синхронизировать при анимации и монтаже движения губ и звук из оригинальной аудиодорожки.

Переходя к анимации в этот раз я разработала для себя новый пайплайн, который подразумевал монтаж сразу для более плавных переходов между кадрами.

Внимательно изучив ролик Сберкота я поняла, что все движения как будто переходят друг в друга и не получится создать одно видео для каждого отдельного фрагмента ролика.

Для кадров с простым движением достаточно было одного кадра, но сложность заключалась в том, чтобы движения губ зайки точно совпадали с аудиодорожкой оригинального видео.

В этом отлично справилась нейросеть Grok.

Промпт:

Зайка рассказывает что-то увлеченно, а затем показывает пальчиками знак мир.

Для более сложных движений, которые трудно описать, а так же для сохранения содержимого в кадрах я использовала 2 изображения как начальное и конечное.

Но даже это не помогло, очень тяжело было описать как именно должен пролетать стаканчик и чтобы при этом зайчик еще и говорил.

Большинство попыток выходили неподходящими под необходимое действие, но очень эмоциональными.

Видео, которое в итоге было отобрано для монтажа.

Видео из veo слишком длинное и медленное, чтобы сохранить динамику и полное движение видео обрезалось и ускорялось в несколько раз.

Основная проблема создания этого кадра -- это его продолжительность. В финальный ролик должна пойти 1 секунда, а все нейросети генерят минимум по 5 секунд.

В итоге мы получаем очень долгое и медленное движение, которое будет ускоряться на монтаже.

В этом коротком кусочке 3 разных видео генерации:

1. 2 секунды для того, чтобы осветить зайку вырезаются из полученной 5-секундной генерации.*

*В этот момент необходимо было сразу монтировать видео, чтобы максимально стыковать движения в роликах.

Последний кадр из двух секунд идет как ключевой кадр для бесшовного стыка.

2. При монтаже при этом стараемся подобрать первый кадр новой генерации выбрать так, чтобы он немного, но отличался от последнего кадра в прошлом видео, чтобы избежать эффекта залипания анимации. (неважно, что он не очень красивый, при быстрой анимации этого не будет заметно)

Режем и ускоряем полученные кадры таким образом:

-- 10 кадров на присед (ускорение в 7 раз) -- 8 кадров на зум и опускание ушек (ускорение в 4 раза)

Разница в ускорении необходима для лучшего и более плавного восприятия анимации. Таким образом получается создать ощущение подготовки к прыжку.

3. В части где зайка выпрыгивает проделан тот же пайплайн, что и в пункте 2.

Для плавного перехода на монтаже так же необходимо было подобрать кадры так, чтобы голограмма была как бы на 1 кадр дальше по движению, чем предыдущий в кофейне.

По одному кадру не удалось повторить полностью движения из-за того, что количество света падающего на зайку немного больше, чем на котика.

Ушки котика выглядят более живыми из-за микродвижений после основного.

При двух ключевых кадрах:

1. Лапки раскрыты
2. Лапки сжаты в кулачки

Из-за ограничения в виде генерации 5 секундного видео в монтаж пошло лишь 2 секунды, а ускоренное движение просто не подходит по смыслу, несмотря на то, что в генерации оно полноценное.