Обучение генеративной нейросети под стиль Liuniс
О проекте
Liunic — моя любимая художница, работы которой отличаются своей яркой палитрой, интересными формами и милыми персонажами. Мне стало интересно, как ее работы сможет воссоздать нейросеть.
Liunic
Вот пару примеров ее работ и характерных для стиля деталей. Работы были взяты с личного сайта художницы.
Примеры некоторых работ Liunic, которые были выбраны для датасета
Характерное стилю Liunic изображение лиц и фоновых деталей
Процесс обучения модели
Для обучения модели я работала в Google Colab. Мною были отобраны 50 работ художницы, из которых я сделала датасет, в котором каждое из изображений соответствовало соотношению 1:1 для дальнейшей работы.
Сначала я подготавливаю окружение, скачиваю необходимые мне библиотеки и загружаю скрипт для тренировки модели DreamBooth с использованием LoRA. Затем, я загружаю изображения из датасета с помощью создания локальной директории и вывожу 5 случайных изображений оттуда для предварительного просмотра.
Подготовка окружения и датасета к дальнейшей работе
С помощью модели BLIP я генерирую подписи, описывающие каждое изображение в моем датасете, добавляю префикс «illustration in LIUNIC style» для дальнейшего понимания модели конкретной стилистики. Затем, я настраиваю окружение для дальнейшей работы с HuggingFace.
Генерация описаний с помощью BLIP и авторизация в HuggingFace
Напоследок, я начинаю обучение модели. Я ограничила обучение до 1000 шагов, и модель обучалась около полутора часа. После обучения сохраняю модель на HuggingFace и наконец приступаю к генерации изображений.
Процесс обучения и сохранения модели
Я немного увлеклась процессом генерации и создала более 150 изображений, поэтому для удобства в ноутбуке с кодом я добавила все изображения, которые попали в финальные серии и на обложку проекта, под отдельный заголовок в конце документа.
Серии сгенерированных иллюстраций
Для финальных серий я решила выбрать различные изображения котиков, связанных каким-то одним действием/элементом/окружением. Я выбрала именно изображения котов потому что, во-первых, мимика персонажей Liunic в большей степени мне напоминает как раз-таки их, и во-вторых, потому что моя модель иногда генерировала котиков даже когда я пыталась получить, например, изображения людей.
«Цветочные котята»
Промпты:
- illustration in LIUNIC style, blue cat in the grass - illustration in LIUNIC style, orange cat in the flower field - illustration in LIUNIC style, small cat laying in grass
«Волшебные котята»
Промпты:
- illustration in LIUNIC style, cute green cat with a dark witch hat - illustration in LIUNIC style, cute cat with a witch hat - illustration in LIUNIC style, blue cat with a witch hat
«Уставшие котята»
Промпты:
- illustration in LIUNIC style, small cat under a blanket - illustration in LIUNIC style, small cat under a blanket on dark background - illustration in LIUNIC style, small blue cat under a blanket
Анализ изображений
Как мы можем наблюдать, данная модель далека от идеальной, особенно если рассматривать множество неудачных генераций, в которых часто можно видеть, как персонажи сливаются и смешиваются с фоном, теряют или обретают конечности; множество фигур показанных на фоне обретают лица, которые зачастую плохо проработаны.
Примеры частых ошибок, возникающих при использовании данной модели
Несмотря на это, как по мне, некоторые основные характеристики стиля Liunic модель обработала довольно-таки успешно. Самая очевидная из них — это цветовая гамма работ. Во время генерации были буквально единичные случаи, когда модель генерировала иллюстрации в каких-то других цветах, чем те, которые в основном использует художница. Еще одной довольно заметной деталью являются глаза персонажей, в частности, их форма и звезды в зрачках. Модель также переняла интересные формы на фонах оригинальных иллюстраций, хоть и использует их гораздо чаще и хаотичней. Последняя интересная деталь, которую я заметила — нейросеть часто пыталась повторить подпись художницы, хоть она и встречалась далеко не на каждом изображении в датасете.
Удачные примеры изображения глаз и попытки нейросети сымитировать подпись художницы
