Концепция
Проект посвящён исследованию возможностей искусственного интеллекта в области генерации изображений на примере визуального стиля «nature takeover». В рамках работы предполагается обучение генеративной модели, способной создавать изображения, в которых архитектурные объекты постепенно поглощаются природной средой. Данный визуальный стиль отражает взаимодействие двух противоположных систем — искусственно созданной человеком архитектуры и естественной природной среды, которая со временем трансформирует и разрушает её.
Основная цель проекта — разработать и обучить модель на базе генеративного искусственного интеллекта для создания изображений в заданном визуальном стиле и продемонстрировать возможность управления результатом генерации.
Исходные изображения
Весь датасет был собран из бесплатных изображений с сайта Unsplash.
Фотограф — David Tip
Проект исследует не только технические возможности искусственного интеллекта, но и визуальную метафору — постепенное возвращение мира к природному состоянию, в котором человеческие конструкции теряют свою доминирующую роль.
В процессе были сформулированы следующие критерии успешного обучения модели:
- наличие растительности (плющ, деревья, мох); - интеграция природы в архитектуру; - отсутствие «чистых» зданий; - сохранение атмосферы заброшенности.
Фотограф — Ivy Dao
Процесс обучения
Перед началом обучения необходимо было импортировать все необходимые библиотеки.
Следующий этап — загрузка датасета и генерация подписей к каждому изображению.
Для дальнейшего сохранения обученной модели необходимо было войти в аккаунт на HuggingFace.
Само обучение модели проходило со следующими ключевыми параметрами:
- resolution = 512 - max_train_steps = 1000 - checkpointing_steps = 250
Таким образом, время обучения модели составило 1 час 19 минут.
После этого модель необходимо было сохранить на HuggingFace.
Завершающий этап — генерация самих изображений.
Серия сгенерированных изображений
Обученная модель уже в первых генерациях демонстрирует высокий уровень соответствия заданному визуальному стилю «архитектура, поглощённая природой». Здания практически полностью покрыто густой растительностью, в частности плющом, который органично «обволакивает» фасад и частично скрывает архитектурные элементы. Это создаёт убедительное ощущение того, что природная среда постепенно вытесняет и разрушает искусственно созданную структуру.
промпт: photo collage in NATURE RUIN style, a tree growing on the side of a house
Оригинальное фото (фотограф — David Tip) || Генерация нейросети
промпт: overgrown ruins during sunset, warm golden light, plants glowing in sunlight, peaceful and quiet
промпт: photo collage in NATURE RUIN style, empty room overtaken by nature, vines on walls, plants growing through floor, soft sunlight, peaceful mood
Генерации нейросети
Визуально чётко прослеживается доминирование природы над архитектурой, что полностью соответствует концепции проекта.
