Обучение генеративной нейросети под стиль художника Сальвадора Дали
описание идеи
Нет, наверное, человека, который не слышал бы о Сальвадоре Дали — гении сюрреализма, чьи работы поражают воображение и бросают вызов реальности. Меня всегда завораживало, как Дали превращал обычные пейзажи в фантасмагорические миры, наполненные тающими часами, парящими скалами и бесконечными перспективами.
Особенно вдохновляет его умение искажать пространство, создавая атмосферу сна и подсознания. Именно поэтому для обучения нейросети я взяла за основу его самые знаменитые пейзажные работы — от «Постоянства памяти» до «Искушения святого Антония».
Целью проекта было — научить генеративную нейросеть воспроизводить стиль Дали, чтобы создавать новые сюрреалистичные пейзажи, сохраняя его фирменные черты: ирреальные формы, гипертрофированные перспективы и загадочную, почти гипнотическую атмосферу.
Для обучения использовались работы Дали с четко выраженными пейзажными элементами, чтобы нейросеть лучше уловила его уникальную манеру. Результатом должны были стать изображения, которые не просто копируют стиль, но и развивают его в новых, неожиданных направлениях.
исходные изображения
папка с изображениями
процесс обучения модели
Перед началом нужно было подготовить сетап: установить зависимости, библиотеки и датасет с изображениями.
Далее нужно было убедиться, что датасет загружен и отображается в коде. Следующий шаг — создание префикса — это позволяет нейросети запоминать стиль и обучаться, ориентируясь на указанные слова.
И теперь переходим к обучению модели. Выбранные параметры обусловлены оптимальным временем обучения и соответствием доступным вычислительным ресурсам Kaggle.
Потом переходим к загрузке обученной модели:
Данный код выполняет загрузку модели Stable Diffusion XL с пользовательским VAE и подключает обученные LoRA-веса (checkpoint-500) для генерации изображений. Затем модель переносится на GPU (cuda) для выполнения инференса.
пример промта
вес нейросети 0,5 / вес нейросети 1
Вес нейросети на первой полученной картинке 0,5, а на второй 1. Мне больше понравилось, как получилась первая картинка, так как она больше передаёт стиль, характер и особенность цветовой палитры, в которой писал свои работы Сальвадор Дали.
Поэтому дальнейшая генерация картинок производилась с весом 0,5.
итоговая серия созданных изображений
Изображения, полученные с помощью обученной модели
Изображения, полученные с помощью обученной модели
Изображение, полученное с помощью обученной модели
Особенно впечатляюще нейросеть передала фирменные визуальные парадоксы Дали: текучие, деформированные объекты, которые существуют вопреки всем законам физики; пространства, изгибающиеся под невидимым напряжением; и эту пронизывающую всё полотно сюрреалистичную тревогу, заставляющую зрителя сомневаться в реальности увиденного.
Изображения, полученные с помощью обученной модели
После генерации сюрреалистических пейзажей и местности, мне захотелось попробовать сгенерировать портреты, как они были бы написаны в стиле Дали.
Изображения, полученные с помощью обученной модели
Изображения, полученные с помощью обученной модели
Потом мне захотелось посмотреть, как бы выглядел натюрморт.
Изображение, полученное с помощью обученной модели
И в заключение после генерации пейзажей, портретов и натюрморта я решила попробовать сгенерировать, как бы нейросеть представила животных, выполненных в стиле Сальвадора.
Изображения, полученные с помощью обученной модели
итог
Анализ результатов обучения модели показал, что код действительно позволяет эффективно адаптировать генерацию изображений под заданный стиль.
Сравнивая оригинальные работы художника с полученными результатами, можно отметить, что модель успешно усвоила характерные черты стиля и воспроизводит их в новых изображениях. Это подтверждает, что обучение прошло успешно, и нейросеть способна генерировать контент в нужной эстетике.
список инструментов, использованных в проекте
Hugging Face — получение токена для обучения нейросети Stable Diffusion — обучение генеративной нейросети под свой стиль Kaggle — выполнение кода и генераций чат GPT — для написания промтов
файл с кодом
