Консистентность видео: персонаж
Поставленные задачи
Работа с персонажем достаточно сильно отличается от работы с предметом.
Цели:
Максимально повторить движения камеры, а так же персонажа в кадре.
Синхронизировать при анимации и монтаже движения губ и звук из оригинальной аудиодорожки.
Ход работы
Переходя к анимации в этот раз я разработала для себя новый пайплайн, который подразумевал монтаж сразу для более плавных переходов между кадрами.
Внимательно изучив ролик Сберкота я поняла, что все движения как будто переходят друг в друга и не получится создать одно видео для каждого отдельного фрагмента ролика.
Генерация
Для кадров с простым движением достаточно было одного кадра, но сложность заключалась в том, чтобы движения губ зайки точно совпадали с аудиодорожкой оригинального видео.
В этом отлично справилась нейросеть Grok.
Промпт:
Зайка рассказывает что-то увлеченно, а затем показывает пальчиками знак мир.
Генерации
Для более сложных движений, которые трудно описать, а так же для сохранения содержимого в кадрах я использовала 2 изображения как начальное и конечное.
Но даже это не помогло, очень тяжело было описать как именно должен пролетать стаканчик и чтобы при этом зайчик еще и говорил.
Генерация
Большинство попыток выходили неподходящими под необходимое действие, но очень эмоциональными.
Видео, которое в итоге было отобрано для монтажа.
Видео из veo слишком длинное и медленное, чтобы сохранить динамику и полное движение видео обрезалось и ускорялось в несколько раз.
Основная проблема создания этого кадра — это его продолжительность. В финальный ролик должна пойти 1 секунда, а все нейросети генерят минимум по 5 секунд.
В итоге мы получаем очень долгое и медленное движение, которое будет ускоряться на монтаже.
Генерация
В этом коротком кусочке 3 разных видео генерации:
1. 2 секунды для того, чтобы осветить зайку вырезаются из полученной 5-секундной генерации.*
*В этот момент необходимо было сразу монтировать видео, чтобы максимально стыковать движения в роликах.
Последний кадр из двух секунд идет как ключевой кадр для бесшовного стыка.
Генерация
2. При монтаже при этом стараемся подобрать первый кадр новой генерации выбрать так, чтобы он немного, но отличался от последнего кадра в прошлом видео, чтобы избежать эффекта залипания анимации. (неважно, что он не очень красивый, при быстрой анимации этого не будет заметно)
Режем и ускоряем полученные кадры таким образом:
— 10 кадров на присед (ускорение в 7 раз) — 8 кадров на зум и опускание ушек (ускорение в 4 раза)
Разница в ускорении необходима для лучшего и более плавного восприятия анимации. Таким образом получается создать ощущение подготовки к прыжку.
3. В части где зайка выпрыгивает проделан тот же пайплайн, что и в пункте 2.
Генерации
Для плавного перехода на монтаже так же необходимо было подобрать кадры так, чтобы голограмма была как бы на 1 кадр дальше по движению, чем предыдущий в кофейне.
Сравнение движений на итоговых кадрах
1. Генерация 2. ITSALIVE для Сбербанка
По одному кадру не удалось повторить полностью движения из-за того, что количество света падающего на зайку немного больше, чем на котика.
1. Генерация 2. ITSALIVE для Сбербанка
Ушки котика выглядят более живыми из-за микродвижений после основного.
1. Генерация 2. ITSALIVE для Сбербанка
При двух ключевых кадрах:
1. Лапки раскрыты 2. Лапки сжаты в кулачки
Из-за ограничения в виде генерации 5 секундного видео в монтаж пошло лишь 2 секунды, а ускоренное движение просто не подходит по смыслу, несмотря на то, что в генерации оно полноценное.
Генерация
1. Генерация 2. ITSALIVE для Сбербанка
Движения в моем ролике смотрятся немного более дергано нежели в оригинальном.
1. Генерация 2. ITSALIVE для Сбербанка
На этапе создания изображений не удалось добавить зайку вылетающего из телефона спиной в камеру, но поскольку в ролик пойдет всего 2 секунды просто магический эффект, эмоции и развивание волос создают примерно тот же эффект, что на оригинальном ролике.
1. Генерация 2. ITSALIVE для Сбербанка
При слишком большом ускорении с 5 до 1 секунды видео смотрелось неаккуратно, поэтому я оставила только конец из большой амплитуды движения, на восприятие приземления это не сильно влияет.
1. Генерация 2. ITSALIVE для Сбербанка
Такого динамичного движения камеры не удалось повторить.
А рамочка камеры телефона была добавлена на пост-обработке при монтаже.
1. Генерация 2. ITSALIVE для Сбербанка
На мой взгляд отличие движений придает зайке больше индивидуальности и не воспринимается критичным.
1. Генерация 2. ITSALIVE для Сбербанка
Переход оказался слишком сложным для нейросети.
Здесь использовалось 2 ключевых кадра, но не удалось сделать такое же по резкости движение как у кота, а так же движение губ не совпадает с оригинальной звуковой дорожкой.
1. Генерация 2. ITSALIVE для Сбербанка
Исчезновение голограммы не такое плавное и аккуратное как в оригинале.
1. Генерация 2. ITSALIVE для Сбербанка
Здесь я осознанно не стала делать так, чтобы зайка доставал карту.
Но мне было очень важно сохранить синхронизацию речи, поэтому промпт выглядел так:
Зайка увлеченно и очень быстро говорит: «Это не магия, это технологии Сбера», а затем очень долго молчит.
Анализ консистентности
Генерация
При попытке повернуть немного голову зайки терялся весь образ.
Генерация
При попытке сгенерировать этот фрагмент по одному кадру я поменяла расу, и зайка стал вообще другим.
Генерация
Так же периодически выскакивали артефакты вроде розовых лапок на столе.
Финальный ролик
Использованные нейросети
Kling 2.5 Veo 3 fast Grok
Источники
ITS ALIVE STUDIO. SberKot Promo // URL: https://itsalive.studio/works/sberkot (дата обращения: 04.11.2025)
