Консистентность видео: предмет
Поставленные задачи
Сгенерировав ключевые изображения, я перешла к созданию видео.
Цели:
Максимально повторить движение камеры, объекта и эффекты с помощью нейросетей
Проанализировать консистентность на видео.
Ход работы
Пайплайн создания видео с помощью нейросетей включает в себя:
1. Деление существующего видеоряда на смены кадра
2. Анализ получившихся отрезков на сложность движений в кадре:
— при простых движениях и объектах можно обойтись одним кадром
— для сложных движений необходимо будет создать сразу 2 изображение, чтобы нейросеть сделала более четкий переход и более предсказуемый результат
3. Загрузка изображений в нейросеть и генерация видео с промптом для описания движения в кадре
4. Монтаж и общая цветокоррекция
Генерации
Пример ключевых кадров на создания перехода между ними с помощью нейросетей.
Сравнение движений на итоговых кадрах
1. Генерация 2. Wow How Studio для True Botanicals
В целом переход получился максимально приближенным к оригинальному, немного не хватает угла поворота, но в целом это не сильно бросается в глаза. При этом получилось добиться этого эффекта при очень простом промпте:
Камера медленно вращается, медленно загорается свет и подсвечивает бутылку контровым светом, студийное освещение, моушн-ролик.
1. Генерация 2. Wow How Studio для True Botanicals
При создании ключевых кадров не удалось воссоздать размытие от motion blur, на видео так же не удалось воссоздать этот эффект.
1. Генерация 2. Wow How Studio для True Botanicals
1. Генерация 2. Wow How Studio для True Botanicals
1. Генерация 2. Wow How Studio для True Botanicals
1. Генерация 2. Wow How Studio для True Botanicals
Цветок не так сильно качается, и некоторые капли дают брызги, камера не опускается вниз из-за этого нет ощущения, что капля падает и создает логический переход в следующий кадр.
1. Генерация 2. Wow How Studio для True Botanicals
Все кадры с жидкостью были созданы в veo 3 fast, она создает гиперреалистичные падения капель на 8 секунд, но из-за того, что в монтаж идет всего 2-3 секунды не удалось сохранить замедление и остановку капель масла по центру кадра.
1. Генерация 2. Wow How Studio для True Botanicals
На ключевом кадре не получилось передать динамику и motion blur внутри пузыря, что в целом делает кадр более упрощенным по движению.
1. Генерация 2. Wow How Studio для True Botanicals
Такие тонкие движения как:
— небольшое вращение бутылочки
— небольшое движение фона
и при этом переход в черный экран, не воспринимаются нейросетью как что-то цельное.
Анализ конститентности
Несмотря на качественную подготовку изображений, мелкий текст все равно достаточно сильно искажается при движениях.
Кадр из сгенерированного видео
Только при очень крупных кадрах мелкий текст остается читаемым.
Сравнение нейросетей
Генерации
Ни одна из данных нейросетей не справляется с аккуратной и достаточно стилизованной генерацией падения жидкости при одинаковых входящих данных:
1. Midjourney — цветок получается слишком пластиковым, практически не двигается, а капли превращаются в обычные без блесток прямо на самых видных местах и двигаются слишком хаотично.
2. Kling 2.5: Цветок так же двигается слишком пластиково.
3. Mini-max: одна капля и она скорее напоминает резиновый мячик.
4. Sora 2: Произвольные движения листьев цветка, которые не зависят от падения капель, капля сильно отличается от референса.
Генерация
Лучше всего с жидкостями справилась Veo 3 fast, но генерации получаются даже слишком реалистичными.
Использованные нейросети
Kling 2.5 Veo 3 Sora 2 Minimax Midjourney
Источники
True Botanicals — 3D Promo Video (Behance Project) // URL: https://www.behance.net/gallery/210739517/True-Botanicals-3D-promo-video (дата обращения: 04.11.2025)
