The art of BROM | Обучение генеративной нейросети
[01] КОНЦЕПЦИЯ
Проект The Art of BROM посвящен до-обучению нейросети Stable Diffusion под создание работ в стиле художника Джеральда Брома.
Джеральд Бром (Gerald Brom), известный просто как Бром — американский художник, писатель и бывший концепт-артист, работающий в жанрах тёмного фэнтези, готики и хоррора.
Слева: «Черная моль», Бром, 2018; справа: «Похититель душ», Бром, 2017
Большинство его работ — изображение различных персонажей в довольно мрачном антураже в жанре темного фэнтези с элементами готики, сюрреализма и викторианского ужаса.
Игра света и теней в его работах, а также поразительная детализация словно погружают зрителя в полную мистики и красоты старую сказку.
Слева: «Леди Бладстоун», Бром, 2018; по центру: «Демоница», Бром, 2017; справа: «Проклятье черного меча», Бром, 2016
Из важных особенностей работ американского художника можно отметить:
- Использование преимущественно мрачной гаммы в сочетании с интересным визуальным приёмом — подсвечивание или свечение персонажа.
- Виртуозная игра с анатомией, придающая индивидуальный характер каждому персонажу, и невероятная детализация.
- Работа с цветовыми и смысловыми контрастами.
- Окружение: оно часто прописано до мелочей и создаёт атмосферу, необходимую для раскрытия героя.
Слева: «Суд», Бром, 2016; по центру: без названия, Бром, 2015; справа: без названия, Бром, 2016
Наиболее известен Бром серией невероятно атмосферных иллюстраций к собственной книге — «Потерянные боги» (The Lost Gods), основными героями которой являются антропоморфные боги и демоны.
Эти изображения не просто дополняют сюжет, а становятся неотъемлемой его частью.
Серия иллюстраций к книге Брома «Потерянные боги»
Серия иллюстраций к книге Брома «Потерянные боги»
[02] ПРОЦЕСС ОБУЧЕНИЯ
Всего для обучения нейросети я взяла 54 работы Брома, которые были предварительно приведены к разрешению 1024×1024 и отредактированы.
В качестве рабочей среды я выбрала Google Colab, так как там есть гарантированная возможность подключиться к GPU, хоть и на очень ограниченный промежуток времени.
В качестве подготовительного этапа были проверка GPU, а также установка всех необходимых для обучения модели библиотек и скриптов (ditsandbytes, diffusers).
Фрагмент кода
Следующим этапом было создание локальной директорий для хранения изображений, которые впоследствии были загружены на платформу.
Фрагмент кода
Фрагмент кода
Далее с помощью модели BLIP были созданы описания изображений и префикс «artwork in BROM style».
Фрагмент кода
После этого я создала личный кабинет на платформе Hugging Face, сгенерировала токен и приступила непосредственно к обучению модели с использованием LoRA. Весь процесс при заданных параметрах занял два с половиной часа.
Выставленные параметры были следующими: —resolution = 1024 —train_batch_size = 2 —max_train_steps = 500 —checkpointing_steps = 250
Фрагмент кода
Обученная модель затем была загружена на Hugging Face Hub для удобства дальнейшего использования.
После этого я приступила к первым генерациям.
Prompt: «artwork in BROM style, a spider-like woman with a knife in each hand»
Мои первые пробы генерации можно поделить на 3 блока:
— Необычные фантастические существа/монстры — Животные — Персонажи
Так как в использованном для обучения модели датасете превалируют иллюстрации персонажей, лучше всего нейросеть справилась именно с ними.
В случае же с генерацией животных и нечеловеческих существ нейросеть справлялась значительно хуже: более-менее сохранялись цветовая гамма и стиль рисования, присущие автору, но совсем терялась композиция, часто происходило непопадание в довольно специфическую стилизацию Брома, из-за чего большинство изображений выходили довольно нелепыми (особенно с животными).
Prompt [1]: «artwork in BROM style, a dragon on the top of the mountain»
Prompt [2]: «artwork in BROM style, a unicorn in the forest»
Prompt [3]: «artwork in BROM style, a wolf standing on the edge of a cliff»
Prompt [1-2]: «artwork in BROM style, a towering, jackal-headed figure with obsidian-black fur, golden eyes that pierce the veil of death, and a skeletal frame draped in tattered funeral linens»
Prompt [3]: «artwork in BROM style, devil sitting on the throne in Hell»
Prompt [4]: «artwork in BROM style, a woman with white hair and a white dress stands in front of a black cat»
Prompt [6-7]: «artwork in BROM style, a smith-god of molten bronze, his skeletal hands hammering the sun into existence, his forge-heart burning behind ribs of blackened iron»
[03] РЕЗУЛЬТИРУЮЩАЯ СЕРИЯ ИЗОБРАЖЕНИЙ
Опираясь на результаты первых генераций и особенности творчества автора в качестве итоговой серии я решила попробовать создать иллюстрации известных богов различных культур в стиле Брома, как если бы автор делал это для собственной книги.
Велес
Prompt: «artwork in BROM style, a horned, bearded figure, sometimes in the form of a serpent or a bull, embodying the underworld and cattle»
Перун
Prompt: «artwork in BROM style, a powerful, bearded warrior with a hammer or axe, wearing armor and commanding the stormy skies»
Сварог
Prompt: «artwork in BROM style, an elderly, wise figure with a radiant crown, often holding a celestial forge hammer, representing fire and craftsmanship»
Даждьбог
Prompt: «artwork in BROM style, a radiant, golden-haired god, often driving a chariot across the sky, symbolizing the sun»
Морана
Prompt: «artwork in BROM style, а pale, skeletal goddess of winter, her hair a blizzard’s shriek, her touch rotting blossoms into frostbitten husks»
Зевс
Prompt: «artwork in BROM style, a thunder-bearded titan with lightning-cracked eyes, his massive frame draped in storm clouds, radiating the scent of ozone and power»
Тор
Prompt: «artwork in BROM style, a muscular, red-bearded god of thunder, wielding a hammer and wearing armor»
Локи
Prompt: «artwork in BROM style, a mischievous, shape-shifting figure, often in a dark cloak and a sly grin»
Аполлон
Prompt: «artwork in BROM style, a youthful, handsome god with a lyre, radiant and often depicted with a laurel wreath»
Фрейя
Prompt: «artwork in BROM style, a beautiful, golden-haired goddess with a cloak of falcon feathers, often riding a chariot pulled by cats»
Афина
Prompt: «artwork in BROM style, an armored warrior with a helmet and spear, often accompanied by an owl»
Ра
Prompt: «artwork in BROM style, а golden-skinned deity with the head of a falcon, crowned by a blazing sun disk, his body dripping molten light that scorches the sands beneath him»
Анубис
Prompt: «artwork in BROM style, a jackal-headed god, often seen as a protector of the dead with a black body symbolizing the afterlife»
Осирис
Prompt: «artwork in BROM style, a green-skinned man, mummified, with a white crown of Upper Egypt and a crook and flail»
Гор
Prompt: «artwork in BROM style, a man with the head of a falcon, often wearing the double crown of Egypt»
Исида
Prompt: «artwork in BROM style, a beautiful woman with a throne-shaped crown, often holding an ankh or a scepter»
[04] ИТОГ
В целом нейросеть отлично справилась со своей задачей: изображения вышли очень похожими на то, что делает сам автор. Наблюдаются те же композиции, ракурсы, позы персонажей, уровень детализации и цветовая гамма. Особенно радует очень точное в большинстве случаев попадание в мрачную и завораживающую эстетику Брома, а также его работу с анатомией.
Слева: оригинальная работа автора, 2019 г.; справа: генерация нейросети (prompt: a grim, one-eyed wanderer in a tattered cloak, his face etched with ancient runes, flanked by twin ravens)
Иногда у нейросети даже получалось передать образы нечеловеческих существ максимально близко к оригинальному авторскому стилю.
Слева: оригинальная работа автора, 2018 г.; справа: генерация нейросети (prompt: a small dark room in abandoned house full of monsters)
Из очевидных минусов можно отметить не слишком высокое разрешение на выходе, а также проблему с генерацией кистей рук, в частности пальцев. В редких случаях встречались перебои с цветовой гаммой.
[06] ОПИСАНИЕ ПРИМЕНЕНИЯ ГЕНЕРАТИВНОЙ МОДЕЛИ
Stable Diffusion — использованная для обучения нейросеть.
BLIP — описание изображений датасета.
Hugging Face — получение токена для обучения нейросети и загрузка полученной модели.
DeepSeek — нейросеть, использованная для работы с промптами.
