Идея проекта
Работая над календарём к юбилею Гатчины, захотелось обучить генеративную нейросеть Stable Diffusion, чтобы посмотреть, как будут выглядеть другие города Ленинградской области в том же стиле, что и основной проект.
Мой настольный календарь рассказывает о 12 памятных местах, где переплетаются история прошлого и современная жизнь. Он выглядит как набор диорам, которые образно рассматривают архитектуру города и изображают их в виде фантастической иллюстрации. Природа и цветы — неотъемлемая часть идеи проекта, так как он вдохновлён историческим фактом, когда в Гатчине объединился народ и государство, после открытия царских парков под общее пользование.
Пример иллюстраций из проекта к достопримечательностям: пожарная каланча, станция Мариенбург, круглая рига, Церковь Пресвятой Девы Марии Кармельской. Иллюстрации созданы с помощью Krea и Gemini.
Главная цель проекта — посмотреть, насколько точно нейросеть сумеет передать мой стиль, специально созданный для календаря, и как можно расширить идею до серии календарей для других городов.
Начало работы
Перед началом работы был собран датасет из 70 изображений (финальные иллюстрации и те, что не вошли в итоговый проект). Весь материал был создан с помощью Chat GPT (написание промтов), Ideogram и Krea AI (создание иллюстраций). Во время генерации исходников использовалась общая фраза «Natural details made in the spirit of macro illustrations by Ernst Haeckel, with ornamental symmetry reminiscent of spirography, with a neon depth that creates an atmosphere of futurism of the 1980s. The whole environment is filled with symbolism, similar to visions in a dream: a mixture of Jesus Bosch and Salvador Dali, but through the prism of Iglooghost — organic, cosmic. High detail, mystical, cosmic, hyper-realistic atmosphere».
Весь имеющийся датасет
В проекте были использованы следующие инструменты:
— Stable Diffusion (обучение генеративной нейросети под свой стиль); — Google Colab (выполнение кода и генераций); — Hugging Face (получение токена для обучения нейросети, загрузка полученной модели на сайт); — Figma (коллажирование готовых работ).
Описание процесса обучения
Работа началась с подготовки всех необходимых библиотек: Diffusers, DreamBooth и так далее. А также с загрузки датасета с компьютера в пространство Colab и их проверке.
Код с подготовкой
Затем, при проверке нейросеть дала ловольно точные подписи к каждому изображению. После были удалены конвейеры BLIP для освобождения памяти.
Код с процессом создания подписей
Далее был произведён логин с системой Hugging Face, после которого начался процесс тренировки нейросети по данному датасету. Были выбраны следующие параметры: разрешение 512, максимальный шаг тренинга 500, чекпоинт на 250. Такие настройки позволили сократить время ожидания, которое в итоге составило 1:03:43.
Код с обучением нейросети
В конце полученная модель была сохранена на Hugging Face. После данных действий можно было приступить к генерации изображений.
Последние шаги работы с нейросетью
Генерации
Выборг
Перед процессом генерации были выбраны города в Ленинградской области (Выборг, Луга, Пушкин, Шлиссельбург, Петергоф, Сосновый Бор, Кронштадт) и достопримечательности в них, которые было бы интересно показать в иллюстрациях.
Выборгский замок
Prompt: «Photo collage of Gatchina style, a brick castle that has a long, wide white tower with a green round roof. The building is located on an island surrounded by water and lilies. All the plants are geometric and fantastic».
Иллюстрация к выборгскому замку
Круглая башня
Prompt: «Photo collage of Gatchina style, a cylindrical small building with a red roof with a small spire of the same color. Small windows are randomly scattered all over the wall surface. The building is located on the riverbank, surrounded by round plants. Autumn colors: red, yellow and brown».
Иллюстрация к круглой башне
Луга
Собор Воскресения Христова
Prompt: «Photo collage of Gatchina style, a white church made of red and white brick with a hipped roof right in the center. There are small towers on the sides».
Иллюстрация к собору Воскресения Христова
Пушкин
