Обучение генеративной нейросети
Концепция
Саша Лемиш — мультимедиа художник, живущий и работающий в Москве. В своих работах Саша исследует современную реальность сквозь призму феноменов интернет-культуры, социальных сетей и хоррор-эстетики, анализирует их связь с повседневностью.
Мне было интересно, может ли ИИ передать стиль художника — и генерировать работы, которые выглядели бы органично в его портфолио. Так как Саша работает в разных медиумах — не только в живописи, и датасет был собран всего из 12 изображений.
работы художника, использованные в датасете
работы художника, использованные в датасете
Описание применения генеративной модели
Для адаптации нейросети под стиль Саши Лемиша использовалась Stable Diffusion XL (SDXL) с дообучением на ограниченном датасете.
DreamBooth — для «запоминания» уникальных черт стиля: - Характерные цветовые сочетания (кислотные оттенки + тёмные тона) - Деформации форм
LoRA — для точечной коррекции без перезаписи базовой модели: - Акцент на деталях: пиксельные искажения, текстуры, напоминающие скриншоты соцсетей
Обучение шло на A100 через Colab, 500 шагов.
Модель базирована на stable-diffusion-xl-base-1.0» https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
Итоговые генерации
Нейросеть научилась генерировать работы, которые легко спутать с работами Лемиша: портреты с «расплавленными» чертами лица; абстракции, где узнаётся его любовь к резким цветовым переходам; коллажи с налётом грубого цифрового арта.
Промпт: photo collage in sasha lemish style, A hand emerging from a mirror, fingers made of smoke
Промпты: 1. photo collage in sasha lemish style, A tree with crystal leaves shimmering in the wind 2. photo collage in sasha lemish style, A mirror reflecting a surreal, distorted version of reality
Промпт: photo collage in sasha lemish style, close up friz… socks and pink heel shoes in the kitchen sink
Промпты: 1. photo collage in sasha lemish style, smile with gems on the teeth 2. photo collage in sasha lemish style, Lips made of melting candy, dripping vibrant colors
