Концепция
В ходе изучения курса «Создание инфраструктуры креативного производства инструментами ИИ» я задумалась, а может ли искусственный интеллект создавать такие же работы как я. Сейчас многие размышляют на тему заменит ли их искусственный интеллект, поэтому я тоже решила проверить сможет ли он рисовать в моей стилистике. Целью моей работы было доказать, что мой стиль уникален, а также постраться обучить нейросеть, чтобы машина научилась воспроизводить мои художественные приёмы и могла по текстовому описанию создавать новые работы, сохраняя уникальную эстетику моих иллюстраций.
Для этого я выбрала метод DreamBooth + LoRA на базе мощной модели Stable Diffusion XL. Такой подход позволяет дообучить модель на небольшом наборе собственных изображений (около 30), не переобучая всю сеть, что экономит ресурсы и время.
Подготовка датасета
Для начала я отобрала 30 своих иллюстраций в датасет, в разной цветовой гамме, чтобы нейросеть смогла их проанализировать и повторить.
В финальном проекте мне было интересно насколько нейросеть сможет передать характер моих иллюстраций, цвет, характерные черты (например большие глаза у животных), особенность стилизации и паттерн с текстурой как на оригинальных иллюстрациях.
Обучение проводилось в Google Colab. Весь код был написан на Python с использованием библиотек Hugging Face
Подготовка данных и среды
В начале я подготовила среду в Google Colab. Весь код был написан на Python, также я использовала библиотеки: Hugging Face diffusers, transformers, accelerate, peft, bitsandbytes. Я использовала единый текстовый промпт для всех изображений – он стал «ключом» стиля: "MY2DSTYLE, vector style, bright colors, no outlines, simple patterns"
После обучения я загрузила LoRA в пайплайн SDXL и запустила цикл генерации 30 изображений по заранее подготовленным промптам. Каждый промпт начинался с ключевой фразы стиля, а затем описывал конкретную сцену. Я специально использовала длинные промпты, чтобы нейросеть могла детальнее изобразить иллюстрацию, основываясь на моем стиле, который я специально еще раз прописывала в промпте. В ходе исследования я поняла, что нейросеть проще всего повторяет животных, и растения на заднем плане, а также хаотичность и динамику как в оригинальных иллюстрациях.
Пример промпта: "MY2DSTYLE, vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a cat with big round eyes sitting on a crescent moon, surrounded by tiny stars. Less visual clutter and noise in the illustration and background."
Результаты и наблюдения
В процессе генерации изображений я экспериментировала с промтами, чтобы получались интересные иллюстрации. Нейросети удачнее всего давалось передать необычное сочетание цвета, форму и персонажей. В работе было несколько подходов, изначально я обучила модель рисовать в моем стиле, а потом в более подробном без лишних отклонений, чтобы машина точно передавала характер и стилистику изображений.
Так как мои работы динамичные, иногда нейросеть не справлялась с сюжетами и передавала иллюстрацию в виде паттерна или кривых животных, а также очень насыщенного фона.
Иллюстрации передавали мою стилистику. нейросеть генерировала животных с большими глазами и повторяла текстуры и паттерн, который я использовала в своих работах. Успешнее всего модели удалось передавать цвета моих иллюстраций и их сочетание. Например Тигренок получился в одной цветовой гамме моих иллюстраций, а лиса в другой.
Промт для иллюстрации лисы Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a friendly robot with big eyes holding a butterfly on a simple pastel background. Draw a fox sitting on a lawn with unusual plants around it in my style. The fox's eyes should be big
Промт для иллюстрации тигра Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a friendly robot with big eyes holding a butterfly on a simple pastel background. Draw a tiger sitting in the grass in my style. The owl's eyes should be big.
Промпт для рыбы draw an illustration, use a vector style, bright colors, no outlines, simple patterns, and draw a simple illustration of fish swimming in water with unusual plants
Промпт для котов draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of cats sitting on the moon and playing with each other
Можно заметить, что людей нейросеть изображала просто стилизованными, но не в моем стиле. Модель передавала текстуру и цвет одежды (например у мальчика полосатая футболка и темные штаны как у меня в иллюстрациях)
Промпт для мальчика draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a boy standing in a forest with a small animal next to him
Промт для иллюстрации лесного паттерна Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a forest pattern with unusual plants and small birds sitting on a branch
Промпт для солнышка draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a sun
Промпт для хамелеона draw an illustration, use a vector style, bright colors, no outlines, simple patterns, and draw a simple illustration of a chameleon in a plant bush
Промпт для улитки draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a snail crawling in the grass
