Идея проекта
Мне давно нравится творчество Казимира Малевича, особенно его супрематические работы с простыми формами и цветами. В этом проекте мне захотелось попробовать обучить генеративную нейросеть Stable Diffusion, чтобы она генерировала изображения в похожем визуальном стиле.
Я выбрала супрематизм как основу, потому что это достаточно строгий и узнаваемый художественный язык — геометрические формы, минимализм и работа с цветом. А также это стиль, который существенно повлиял на развитие искусства XX века.
Мне было интересно посмотреть, сможет ли модель не просто копировать отдельные изображения, а именно “понять” стиль и применять его к новым сюжетам.
В качестве основной темы для генерации я выбрала море и его разные состояния — штиль, шторм, закат, ночь. Дополнительно мне интересно проверить, как сцены, характерные для классической живописи (например, морские пейзажи, ассоциирующиеся с Айвазовским), будут выглядеть, если перевести их в абстрактный язык супрематизма.
Главная цель проекта — проверить, насколько точно нейросеть сможет воспроизводить заданный стиль и переносить его на новые темы, сохраняя характерные особенности супрематизма, но при этом создавая оригинальные изображения.
В качестве датасета были собраны работы Казимира Севериновича Малевича в стиле супрематизм.
Примеры некоторых картин Казимира Малевича
Список использованных в проекте инструментов:
— Stable Diffusion — обучение нейросети под выбранный стиль; — Colab — среда, где выполняется код и генерации — Hugging Face — получение токена для обучения нейросети — Adobe Photoshop — для оформления и доработки (кадрирование картин в квадрат) — ChatGPT — для редактирования и грамматической корректировки текста, уточнения prompt’ов, а также помощи в формировании идеи.
Описание процесса обучения
Сначала в Google Colab была включена работа с GPU и установлены все нужные библиотеки для обучения Stable Diffusion XL.
После этого был загружен обучающий скрипт DreamBooth LoRA и создана отдельная папка для датасета.
Далее в Colab были загружены подготовленные изображения.
После загрузки датасет был проверен, чтобы убедиться, что все картинки открываются нормально и подходят для обучения.
Следующим шагом был выполнен вход в Hugging Face, так как он нужен для доступа к базовой модели Stable Diffusion XL.
Затем были заданы основные параметры обучения: размер изображения 512, число шагов обучения, скорость обучения и папка для сохранения результата.
После запуска обучения модель дообучалась на моём датасете в эстетике супрематизма.
Когда обучение завершилось, сохранённые LoRA-веса были подключены к базовой модели, и после этого я смогла генерировать новые изображения в стиле, вдохновлённом творчеством Малевича.
Основная идея эксперимента состояла в том, чтобы проверить, сможет ли модель перенести визуальный язык супрематизма на новые сюжеты, например на тему моря и разных состояний морского пейзажа, а также других видов изображения природы.
Итоги обучения нейросети
Первый промпт = «calm sea at sunset, abstract geometric composition, painting in malevich suprematist style»
Так как в самом промпте я уточняла стиль с помощью "abstract geometric composition", я далее решила проверить, как будет выглядеть итоговая картина, если этого не делать.
2-й prompt = "calm sea at sunset painting in malevich suprematist style".
prompt = «storm sea, abstract geometric composition, painting in malevich suprematist style» // prompt = «storm sea, painting in malevich suprematist style» (без уточнения абстрактного стиля)
Далее хотела проверить, сможет ли нейросеть сделать картину, если написать ей другое время суток.
prompt = «night sea, minimal abstract geometry, malevich suprematist style» // prompt = «night sea, malevich suprematist style» (без уточнения абстрактного стиля)
Результат оказался по цветовой гамме практически идентичен прошлым генерациям. После этого было принято решение также уточнять и цветовую гамму для лучшей генерации картин.
prompt = «ocean waves, red black white geometric shapes, suprematist painting»
prompt = «sea horizon, abstract painting in malevich suprematist style, bold primary colors»
Далее стало интересно, как будут выглядеть картины, если это будет не морская тематика.
