Концепция проекта
«2015.exe» — это ностальгическое исследование моего личного архива кривых анимешных рисунков через ии.
Спустя более десяти лет я обращаюсь к ним как к кринжовому артефакту прошлого, своеобразному слою памяти. С помощью обучения модели Stable Diffusion XL (DreamBooth + LoRA) я создаю «цифрового двойника» своего подросткового мышления аниме тамблер гёрл прямиком из 2010-х.
В основе датасета мои рисунки персонажей, созданные в 2015 году. Эти работы отличаются крайне интуитивной пластикой, нарушенной анатомией, спонтанной композицией и отсутствием академизма.
Нейросеть здесь попытается стать инструментом реконструкции подросткового взгляда на творчество. Оно будет воспроизводить мой стиль, пробуя создать героев так, как оно способно.
Цель проекта: создать генеративную модель, способную убедительно воспроизводить визуальный язык моих кривых подростковых рисунков 2015 года с ностальгическим настроением тех времен. Важно сохранить бумажные текстуры, виньетки, непрофессионализм цветокоррекции, стилизацию под реальную съёмку и т.д.
Задачи проекта: 1.Собрать и проанализировать собственные рисунки персонажей 2015 года и выделить их характерные визуальные особенности (форма, пропорции, цвет, композиция) 2.Сформировать датасет из квадратных изображений (1:1), подготовленных к обучению (кадрирование, выравнивание, единый формат) 3.Обучить модель Stable Diffusion XL с использованием DreamBooth и LoRA на основе собранного датасета 4.Сгенерировать серию изображений в стиле подростковых аниме-скетчей и проб, демонстрирующих продолжение и развитие ностальгического, неровного, наивного стиля с сохранением текстур рисунка карандашами, чернилами или акварелью 5. Проанализировать полученные результаты с точки зрения сохранения стилистических особенностей, вариативности образов и сделать заключение
В процессе работы будут проанализированы результаты генерации по данным параметрам: степень сохранения формы, устойчивость цветовой системы, характер искажений и вариаций, влияние параметров генерации на итоговое изображение. Главный эффект, который я считаю нужным достичь - это AI-симуляцию своего подросткового художественного сознания.
Сборка датасета и его особенности
Первые задокументированные наброски в 2015 году
Проект начался с хаоса, потому что мой архив 2015 года — это недо-аниме рисунки, снятые на мыльницу с кучей фильтров, странным освещением и размерами
Первая особенность — самодельная унификация датасета. Все изображения были вручную масштабированы, приведены к единому разрешению 640×640 в Photoshop. Эффекты виньетки, блики и размытия оставлены оригинальные, чтобы сохранить атмосферу оригиналов.
Вторая особенность — разный уровень мастерства и материалы. В 2015 году я активно развивала свои навыки, поэтому в начале года было много кривых набросков карандашами и фломастерами, а к концу года пошел уже более-менее внятный стиль с чернилами или акварелью. Эта разноуровневая коллекция дала модели возможность уловить постепенное развитие стиля и передавать его нюансы в генерациях.
Адаптированный датасет
Работы с начала 2015 года
Работы к концу 2015 года
Описание применения генеративной модели и процесс работы над кодом
В проекте «2015.exe» для исследования и реконструкции визуального стиля моих рисунков 2015 года использовалась генеративная нейросеть Stable Diffusion XL.
Для адаптации модели под мой кринжовый художественный стиль применялись методы DreamBooth и LoRA, что позволило обучить нейросеть на ограниченном датасете собственных изображений без создания модели с нуля.
Я использовала следующую архитектуру и инструменты: 1. Базовая модель: stabilityai/stable-diffusion-xl-base-1.0 2. Вариационный автокодировщик (VAE): madebyollin/sdxl-vae-fp16-fix 3. Методы адаптации: DreamBooth + LoRA 4. Фреймворки: diffusers, transformers, accelerate, PEFT 5. Среда: Google Colab с бесплатным GPU 6. Нашла такие функции как: precision FP16, attention slicing для экономии видеопамяти и больших попыток
Первый этап: системная подготовка датасета более чем из 80 моих старых полу-аниме картинок и скетчей. Все изображения были приведены к единому разрешению 640Х640 (1:1). Создание метаданных: к каждому изображению присвоен промпт illustration in NEW2015 style для обучения модели.
Второй этап: обучение модели. Оно происходило с использованием LoRA поверх SDXL, что позволяло адаптировать базовую модель к особенностям стиля без потери качества генерации и с простой оптимизацией процесса из исходного кода.
Основные параметры обучения: Размер изображения: 640×640 px Batch size: 2, градиентная аккумуляция: 4 Learning rate: 1e-4, LoRA rank: 8 Max train steps: 600, checkpointing каждые 300 шагов Precision: FP16, использование 8bit Adam для экономии памяти Seed: 42 для воспроизводимости
Важно упомянуть: во время обучения применялись техники attention slicing и gradient checkpointing, чтобы минимизировать потребление видеопамяти, обеспечить стабильность процесса и генерировать по три картинки за раз
Третий этап: генерации с локально обученной моделью. Были созданы первые серии изображений в стиле личного архива 2015 года.
Процесс генерации включал: Настройку LoRA strength для контроля степени влияния обученного стиля Использование уникальных случайных seed для сохранения вариативности Применение negative prompts, исключающих чрезмерный реализм и современные цифровые эффекты, чтобы сохранить наивный, полу-аниме стиль рисунков
Каждое изображение создавалось с параметрами: num_inference_steps: 30 guidance_scale: 8 размер: 640×640 px
В результате данной работы был создан инструмент, более-менее способный воспроизводить эстетику выбранного периода. Личный архив превратился в систему ностальгии.
Некоторые примеры промптов и настроек, использованные во время работы
Первая генерация
На этапе пробной генерации я столкнулась с несколькими сложностями:
1. Модель иногда отходила от исходного стиля, особенно когда я усиливала аниме-элементы в промпте. Картинки легко теряли наивность моей базы, становясь стерильными
2. Высокое разрешение в рамках бесплатных ии генераций и сложная структура SDXL сильно загружали видеопамять, появлялись ошибки OutOfMemory. Приходилось искать баланс между качеством деталей, размером изображения и памятью, использовать attention slicing и FP16
3. Настройка картинок и промптов стали достаточно тонкой работой. Слишком много аниме или деталей очень портило фон и образы персонажей. Приходилось подбирать силу LoRA и генеративную случайность так, чтобы сохранять стиль базы и получать разнообразные варианты
Итоговые генерации
После обучения с помощью LoRA была сгенерирована серия изображений в стиле моего архива 2015 года. Модель более-менее сохраняет характерные черты рисунков: полу-аниме-наивность, текстуру бумаги и мягкую зелено-сине-жёлтую палитру, при этом стиль остаётся единым.
Для генерации задавались параметры размера, шаги диффузии, сила промпта и влияние LoRA. В негативном промпте исключались современные цифровые эффекты, чрезмерная детализация и лишние персонажи, чтобы сохранить атмосферу наивного скетча.
Каждое изображение создавалось с уникальным случайным seed, что позволяет сохранять вариативность поз и настроений, но при этом остаётся верным исходной стилистике. В результате получилась серия картинок, максимально приближенная к оригинальному стилю, с мягкими линиями, бумажным фоном и характерной наивной эстетикой.
Финальные генерации
Симуляция материалов: цветные карандаши, акварель, чернила, фломастеры
Цветные карандаши
