Паттерны Анри Матисса. Stable Diffusion
Идея проекта
В творчестве Анри Матисса меня всегда привлекала живость, смелость и хаотичность.
Мне захотелось обучить генеративную нейросеть для генерации паттернов в стиле бумажных вырезок Матисса. Главная цель — посмотреть, насколько точно нейросеть сможет воссоздать характерную простоту форм, цветовую гармонию и лёгкость вырезок.
Проект исследует, как легендарные бумажные вырезки Матисса периода 1940-50х годов могут трансформироваться в дизайн и стать паттернами. Узнать, как органические формы, яркие цвета и композиционная свобода Матисса могут работать.
Описание процесса обучения
Сбор материала: Исходные изображения
Была собрана папка из произведений Анри Матисса.
Мои критерии отбора: 1. Работы с лицензией Public Domain — произведения Матисса находятся в общественном достоянии по авторскому праву начиная с 1 января 2025 года (ст. 1281 ГК РФ: срок охраны — 70 лет после смерти автора, Матисс умер в 1954 г.), поэтому идеи, формы и цвета можно свободно использовать, включая в ИИ-моделях.
2. Работы в технике paper cutouts Матисса с чёткими контурами, плоскими гуашевыми цветами и модульными формами идеальна для обучения, так как позволяет легко сегментировать, анализировать и генерировать вариации без потери выразительности. По этой причине приоритет работам периода 1940-1954.
3. Разнообразие композиций и цветовых решений
4. Высокое качество изображений
В итоге получилось 37 произведений — картин Матисса.
Формирование датасета
Для выполнения проекта я выбрала Kaggle, потому что он позволяет больше часов непрерывно использовать GPU. По этой причине мне было необходимо выгрузить файлы туда и сформировать свой дата-сет, я начала с этого.
Далее проверила GPU и загрузки всех необходимых библиотек: Diffusers, DreamBooth и другие.
Далее идет установка библиотек.
Анри Матисс. Аппликации
Предобработка
Подготовила все изображения, потом проверила получившиеся, чтобы удостовериться, что код работает.
Создание подписей с BLIP
Загрузила модель BLIP для создания описаний к полученным 37 изображениям.
Далее я проверила, что подписи действительно работают на 5 примерах.
Анри Матисс. Арабески
Настройка Hugging Face и Accelerate
Потом нужно было настроить Accelerate. После этого шага я зарегистрировалась в Hugging Face и прошла верификацию, чтобы подключить токен. Этот токен нужно было добавить через Kaggle Secrets.
Анри Матисс. Джаз
Начало обучения на Stable Diffusion XL
Я обучала модель Stable Diffusion XL методом DreamBooth + LoRA. Поставила среднее разрешение — 512p, чтобы обучение длилось не так долго, поставила шаги 800, а сохранение каждые 250 шагов.
Это был самый длительный этап. Обучение на 37 картинах Анри Матисса заняло 62 минуты.
Снова проверка сохраненных файлов.
Один из важных шагов — подготовка и выгрузка модели на Hugging Face Hub.
Сначала я создала репозиторий, model card и загрузила необходимые файлы на Hugging Face Hub.
Модель со стилем Матисса была успешно загружена, теперь я могу использовать ее командой: pipe.load_lora_weights («kldvkdflfv/matisse_style_lora»)
Анри Матисс. Джаз
Финальная проверка работы кода.
Результирующая серия изображений
Ключевые характеристики стиля, которые нужно передать:
1. Плавные органические формы: листья, водоросли, абстрактные силуэты 2. Ограниченная, но яркая палитра: синий, зелёный, жёлтый, красный, чёрный 3. Ощущение «вырезанности» — чёткие контуры без градиентов 4. Композиция из наложенных плоских форм
Последний этап — я наконец то начала вводить свои промты. Первый — тестовый.
prompt = «коллаж в стиле MATISSE, ваза цветов»
Можно заметить, что в изображении присутствует абстрактность работ Матисса. Также яркие цвета, которые были присуще автору. При всем этом можно увидеть вазу и сами цветы из промта, что указывает на правильную работу модели.
prompt = «коллаж в стиле MATISSE, много бабочек на небе» / prompt = «коллаж в стиле MATISSE, множество птиц на фоне города»
Вариация рыб — немного абстрактная, но в духе автора. Интересно, что на некоторых изображениях сохраняются подписи автора, которые были на примерах для обучения.
test_prompt = «коллаж в стиле MATISSE, рыбы в воде»
Лесной пейзаж здесь скорее тропики, а кошка показана через основной атрибут — шерсть.
prompt = «коллаж в стиле MATISSE, пейзаж лесной» / prompt = «коллаж в стиле MATISSE, кошка»
Мне интересно было посмотреть, как будут показаны непривычные объекты, которые не встречаются в творчестве Матисса. Например, город и бегущий человек решены довольно абстрактно: город упрощается до нескольких прямоугольников, а бегущий человек — это скорее впечатление и эмоция, чем объективная картинка.
prompt = «коллаж в стиле MATISSE, город» / prompt = «коллаж в стиле MATISSE, бегущий человек»
Получилось довольно удачная генерация, соответствующая промту. Здесь можно увидеть поляну усеянную цветами, зеленые листочки и черты Матисса — яркие цвета и необычные формы.
prompt = «коллаж в стиле MATISSE, поляна цветов»
С генерацией лиц вышел ожидаемый результат: их было мало в дата-сете, поэтому сгенерировать их было сложнее, но с другой стороны это может отражением авторского стиля Матисса, который во многом работал с абстракцией. Также можно сделать вывод о видении моделью женского — более яркого и мужского — более блеклого.
prompt = «коллаж в стиле MATISSE, лицо женское» / prompt = «коллаж в стиле MATISSE, лицо мужское»
Разбор результата
Получилось сформировать итоговую обученную модель, которую я использую для генерации новых изображений по промту на основе стиля в стиле Анри Матисса, которые можно использовать как паттерны. Мне было интересно посмотреть, как будут выглядеть разные объекты в мире Анри Матисса, а еще то, насколько они будут похожи на исходные картинки, получилось достаточно удачно.
Список использованных в проекте инструментов
— Stable Diffusion для обучения генеративной нейросети под свой стиль; — Kaggle для выполнения кода и генераций; — Hugging Face для получение токена для обучения нейросети, загрузка полученной модели на сайт. — iloveimg.com улучшения качества полученных изображений.
