Обучение генеративной нейросети под стиль Поля Синьяка
Изображения для обучения
«Сосна», Поль Синьяк, 1893
В качестве работ, которые стали основой для моих генераций, я взяла картины Поля Синьяка. Мне было особенно интересно, сможет ли искусственный интеллект перенять его манеру письма, поскольку художник работал в стиле паунтилизм. Такие картины будто состоят из точек, поскольку они написаны мазками правильной формы. Также художникик, работающие в этом направлении использовали чистый цвет, отказываясь от их смешения, потому эти разноцветные точки создают удивительный эффект некой ряби. И мне было интересно, будет ли результат деятельности искусственного интеллекта оказывать на смотрящего тот же эффект.
Примеры данных из датасета
Для базы данных я отобрала 30 полотен этого художника. Их объединяют природные сюжеты, как морские пейзажи, деревья и горы. Но при этом картины богаты необычными цветовыми сочетаниями и необычными сочетаниями, которые я хотела перенять в своих генерациях.
Папка с картинами: https://drive.google.com/drive/folders/1doCFEU9pQyfM8NNKzXGbNENfm5wu6egt?usp=sharing
Процесс обучения
Работала над своим кодом я строго по видеоуроку из нашего курса. Я работала в Kaggle и для начала подключила GPU P100 и проверила доступ к процессору. Потом подготовила все необходимые библиотеки такие как transformers, accelerate, peft и diffusers, нужные для дальнейшего обучения модели со Stable Diffusion и LoRA.
После я перешла к подготовке изображений, выбрав 30 самых ярких работ Поля Синьяка, которые чётко отражают его стиль и передают свойственную его творчеству богатую цветовую палитру. Отобрав материал, я привела все изображения к единому формату 1:1.
Позже провела проверку своих изображений, просмотрев их превью и с помощью модели blip сгенерировала описания-промты для загруженных мною картин художника.
И после всей подготовки начала обучение программы. Для начала создала instance_prompt=art in SIGNAC style, который дальше будет уже использоваться при написании промтов для моих генераций. Также изменила некоторые параметры, например, уменьшила количество шагов обучения до 500, а также снизила разрешения изображений, чтобы сократить время обучения.
И после успешного обучения начала генерацию изображений для проекта, это был финальный этап в работе с кодом.
Настройка генерации
Сначала я пробовала задавать простые описания, но заметила что они дают достаточно банальные цветовые решения, что не соотносятся с выбранными мной работами.
prompt: art in SIGNAC style, field
Потому пришла к тому, что стоит прописывать какие цвета я хочу видеть в генерации. Я опиралась на цветовые гаммы самого Поля Синьяка, а также задавала свои сочетания, выбирая противоположные цвета на цветовом круге, чтобы добиться такой же контрастности, как у художника. Так же я прописывала закат ли это или рассвет и так далее, поскольку таким образом искусственный интеллект создавал более яркие и контрастные изображения. Но всё же насыщенность моих генераций было не достаточно, чтобы приблизиться к ядрёным цветам Поля Синьяка.
prompt: art in SIGNAC style, yellow red field with intense blue sky, sunset
Цветовые сочетания попадали в точку, а контраст поправить никак не получалось, ни с помощью увеличения шага до 40, ни изменением промта. Потому для большей схожести я попробовала использовать минимальную пост обработку с помощью увеличения насыщенности и небольшой настройки кривых изображения. Поэтому следующие мои небольшие серии будут представлены в двух вариантах: оригинальный и обработанный.
Сгенерированное изображение и та же картинка с увеличенной насыщенностью и кривыми. Prompt: art in SIGNAC style, old tower in montains under the moon
Сгенерированное изображение с обработкой. Prompt: art in SIGNAC style, the wreckage of a turquoise ship on orange rocks, sunset
Сгенерированное изображение с обработкой. Prompt: sunny field of flowers, with blue silhouettes of people in the background
Серия работ
За идею своей серии я взяла принцип работы импрессионистов и пуантилистов — фиксировать малейшие изменения света в пейзаже. Думаю, все мы помним серии работ Клода Моне, например, «Руанский собор», посвящённые одним и тем же объектам, но которые изображены в разное время суток. Потому и я решила сгенерировать сцены, взятые с полотен самого Поля Синьяка, во время рассвета, заката и ночи. Я хотела посмотреть насколько хорошо искусственный интеллект обучился цветовой палитре художника и сможет ли он в изображениях отобразить эту иногда неуловимую грань между разным временем суток.
1 серия с деревом| prompt 1: orange tree at sunrise blue and pink sky| prompt 2: orange tree on sun and blue sky | prompt 3: blue tree at sunset pink sky | prompt 4: red tree at sunset purple sky
prompt: sunset at the sea
prompt 1: pink dawn on the seashore, a small boat on the wavest | prompt 2: sunrise on the sea, silhouettes of trees in front | prompt 3: night at sea, a big ship under the moonlight
Итоги работы
Я была удивлена, что искусственный интеллект быстро перенял этот «точечный» стиль художника, казалось по началу, что именно этот момент будет самым трудным. Но модель справилась с этим, если приглядеться, можно увидеть ту самую текстуру, где каждая точка отвечает за свой чистый цвет. Так же она переняла манеру письма предметов с оригинальных изображений и даже цветовую палитру, соединяя в своих генерациях контрастные оттенки. Но несмотря на это, в генерациях всё же не хватает той смелой работы с цветом, которая характерна для Поля Синьяка, из-за чего потребовалось моё вмешательство, чтобы придать живости генерациям.
