Обучение генеративной нейросети под стиль Андрея Ремнёва
Идея проекта
Андрей Ремнёв — один из самобытных российских художников современности. В своих работах он соединяет приёмы древнерусской иконописи, живописи XVIII века, идеи «Мира искусства» и русского конструктивизма. Его стиль — это сложное переплетение традиций, наполненное глубиной и символизмом. Особое внимание он уделяет технике: Ремнёв использует древние методы живописи, сам изготавливает краски на основе яичного желтка, как это делали мастера прошлого.
Я выбрала именно его творчество, потому что мне стало интересно, насколько точно можно обучить нейросеть воспроизводить такой сложный и многослойный стиль. Работы Ремнёва — это не просто живопись, а кропотливое рукотворное искусство, наполненное уважением к традиции. Эксперимент с нейросетью в таком контексте показался мне особенно увлекательным.
Исходные изображения
Для обучения нейросети я взяла 30 картин художника. Изображения были взяты с официального сайта Андрея Ремнёва и были приведены в исходный размер перед началом работы.
Источник: https://www.remnev.ru/
Процесс обучения
Процесс настройки модели включал в себя несколько шагов:
Сбор и предварительная обработка датасета, содержащего картины выбранного художника — Андрея Ремнева
Обучение модели с использованием Stable Diffusion XL
Применение подхода DreamBooth для внедрения элементов художественного стиля
Применение метода LoRA, чтобы провести обучение модели с минимальными затратами вычислительных ресурсов
Также была использовать среда Kaggle.
Результат
Чтобы упростить задачу, при выборе из возможных вариантов сюжетов картин художника, я решила сосредоточиться на генерации женских портретов.
промт: portrait of a woman in an orange dress with bird and fish patterns, sitting with her head tilted on her hand
промт: portrait of a woman in a dark green dress, sitting by a window with patterned glass, light falling on her face
Важной особенность, которую нейросети получилось удачно передать, оказалась манера живописи: передача светотеней и словно «мазков» кисти на изображениях.
промт: portrait of a woman in a golden dress against a backdrop of blue curtains with parrots
a portrait of a woman as a saint-like figure, her halo made of golden embroidery
По цветовой гамме, композиции и общей визуальной стилистике –– портреты соответствуют стилю Андрея Ремнёва. Тем не менее, у генераций есть существенный проблемы с изображением кистей рук, направлением взгляда и мелких деталей, присущих творчеству художника.
промт: a portrait of a woman wearing a Venetian mask, partially revealing her enigmatic face
промт: a portrait of a woman with a crown of burning candles, light flickering in her eyes
Также, на большей части портретов, изображение лиц женщин достаточно близко к стилю живописи художника.
1 — a portrait of a woman playing a harp, her dress blending into the background like a tapestry, 2 — a portrait of a woman with a delicate lace veil, illuminated by candlelight
промт: two women standing back to back against a wall with blue flower-patterned tiles, one in a white lace dress, the other in a blue one, holding hands
Вывод
Генеративная модель неожиданно неплохо проявляет себя в повторении изобразительного стиля, тем не менее, она никак не может заменить работы живописца: начиная от невозможности сформировать эмоционально-чувственный контекст перед созданием изображения, заканчивая промахами в изображении мелких деталей.
Файл с кодом
Описание применения генеративной модели
В проекте была использована модель stable-diffusion-xl-base-1.0: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
Также в работе был задействован GPT-ChatBot (поиск информации, генерация текстовых промтов): https://gpt-chatbot.ru/
