Исходный размер 2320x3199

Обучение генеративной модели на основе работ cactithorn

Концепция

Цель моего проекта — это обучение нейросети рисовать в стиле художницы cactithorn, которая создаёт потрясающие портреты девушек. Стиль cactithorn уникальный и её картины обладают таинственной и где-то даже пугающей атмосферой. Моя задача — узнать насколько хорошо нейросеть сможет возпроизвести стиль cactithorn и передать необходимую атмосферу иллюстрациям.

Изображений для обучения

big
Исходный размер 4764x1639

Процесс обучения

Датасет изображений для обучения нейросети я собрала вручную из социальных сетей художницы cactithorn. Датасет состоит из 81 иллюстрации художницы. Для обучения нейросети Stable Diffusion я использовала предложенный в лекциях код SDXL DreamBooth LoRA, который доступен на GitHub. Процесс генерации изображений осуществляется с использованием промптов и префиксом «illustration in style cactithorn».

0

Результаты генерации

big
Исходный размер 1024x1024
Исходный размер 4764x1639

Как мне кажется, полученные сгенерированные изображения обладают общей стилистикой художницы. Портреты получаются необычными и с подсвеченными чертами лица, характерными для оригинальных работ.

Исходный размер 1024x1024
Исходный размер 4764x1639
Исходный размер 1024x1024

Сгенерированные изображения знаменитостей

После того как я сгенерировала портреты незнакомых людей, я решила посмотреть насколько хорошо нейросеть сможет сгенерировать портреты знаменитостей.

Тейлор Свифт и Джаред Падалеки

Исходный размер 1024x1024

Тимоти Шаламе

Ким Кардашьян и Кендалл Дженнер

Исходный размер 1024x1024

Аня Тейлор-Джой

Зендея и Анджелина Джоли

Исходный размер 1024x1024

Селена Гомез

Исходный размер 4764x1639

Кендалл Дженнер, Кайли Дженнер, Ким Кардашьян

Заключение

По итогу я могу сделать вывод, что нейросети удалось перенять основные элементы стиля и сделать необычные и пугающие одновременно иллюстрации. Однако изображения все равно не передают той «магии», которая присутствует на оригинальных работах художницы cactithorn. К тому же, не всегда получается сгенерировать изображения знаменитостей и передать все особенности их внешности. Тем не менее, я считаю, что у меня получилось выполнить свою цель и обучить нейросеть рисовать в определенном стиле даже известных людей.

Код

Обучение генеративной модели на основе работ cactithorn
Мы используем файлы cookies для улучшения работы сайта НИУ ВШЭ и большего удобства его использования. Более подробную...
Показать больше