КОНТЕКСТ
Джон Эверетт Милле — один из тех художников, чьи работы до сих пор ощущаются живыми и близкими. Сооснователь Братство прерафаэлитов, он вместе с другими молодыми художниками попытался уйти от формальности академического искусства и вернуть ему искренность, внимание к реальности и живому наблюдению. С раннего возраста проявив выдающийся талант, Милле очень быстро оказался в центре художественных перемен и начал писать людей и природу так, как они выглядят на самом деле — с деталями, светом и естественностью, что сначала вызывало критику, но в итоге принесло ему признание.
Офелия — 1852 г.
Марианна — 1851 г.
Джон Эверетт Милле, Офелия — 1852 г., Марианна — 1851 г.
Особенно меня привлекает то, как Милле изображал женщин. В его картинах они выглядят не как абстрактные идеалы, а как живые, сложные образы — с настроением, внутренним состоянием и почти осязаемой физичностью. В работах вроде «Офелии» или «Марианны» женские фигуры становятся центром всей визуальной истории, и именно через них раскрывается атмосфера картины.
ОТ КОНЦЕПЦИИ…
В своём исследовании я обращаюсь к этому языку Милле — к тому, как он видел и создавал женские образы. Обучая нейросеть на его работах, я пытаюсь понять, можно ли перенести эту чувствительность, внимание к деталям и особую эстетику в цифровую среду. И заодно — посмотреть, как при этом меняется сам образ женщины, когда его начинает воспроизводить не художник, а алгоритм.
Джон Эверетт Милле, Глаза сладчайшие из виденных кем-либо — год неизвестен, Хорошее решение» — 1877 г., Пиппа — год неизвестен, Весна — 1856–1859 гг., Сладкая Эмма Морланд — 1892 г., Портрет Луизы Джей
Мисс Эвелин Теннент — год неизвестен, Изабелла — 1849 г., Золушка — 1881 г., Портрет девочки — 1860-е г., Эстер — 1865 г., Молодая девушка, расчесывающая волосы — 1851 г.
К РЕЗУЛЬТАТУ!
Процесс обучения генеративной модели Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0) был выполнен в облачной среде Google Colab с использованием графического процессора NVIDIA Tesla T4 для ускорения вычислений. Для дообучения модели под новую визуальную концепцию применялся метод DreamBooth в сочетании с технологией LoRA (Low-Rank Adaptation), что позволило эффективно адаптировать модель при ограниченных вычислительных ресурсах.
В качестве вспомогательных компонентов использовалась модель BLIP (Salesforce/blip-image-captioning-base) для автоматической генерации текстовых описаний изображений при формировании датасета, а также VAE (madebyollin/sdxl-vae-fp16-fix) для улучшения качества декодирования изображений. Обучение проводилось с использованием смешанной точности вычислений (fp16), с параметрами: разрешение 512, размер батча 1, градиентная аккумуляция 4 шага, learning rate 1e-4 и 800 шагов обучения, что обеспечило стабильную работу модели в условиях ограниченных вычислительных ресурсов.
Промпт: portrait in the style of John Everett Millais, pre-raphaelite painting, oil painting, soft natural light — portrait of a woman in the style of John Everett Millais
Промпт: portrait in the style of John Everett Millais, pre-raphaelite painting, oil painting, soft natural light — portrait of a woman in the style of John Everett Millais
Промпт: portrait in the style of John Everett Millais, pre-raphaelite painting, oil painting, soft natural light — portrait of a woman in the style of John Everett Millais
Промпт: portrait in the style of John Everett Millais, pre-raphaelite painting, oil painting, soft natural light — portrait of a woman in the style of John Everett Millais
Промпт: portrait in the style of John Everett Millais, pre-raphaelite painting, oil painting, soft natural light — portrait of a woman in the style of John Everett Millais
В конце обучения была получена серия изображений, в которой отчётливо передана стилистика Джон Эверетт Милле. Сгенерированные образы сохраняют характерные черты его живописи — мягкий свет, детализированность и выразительность женских образов, что подтверждает успешность переноса художественного стиля в цифровую среду.
ПРОЦЕСС ОБУЧЕНИЯ
Перед началом финальной версии кода пришлось очищать память графического процессора, чтобы избежать ошибок во время работы.
Далее проверяется наличие и тип графического процессора, чтобы убедиться, что обучение будет происходить с использованием ускорения.
Устанавливаются необходимые библиотеки для работы с нейросетями, генерацией изображений и обучением модели (diffusers — генерация изображений, transformers — модели типа BLIP, peft — LoRA, accelerate — запуск обучения)
Загружается готовый скрипт обучения DreamBooth с поддержкой LoRA для модели Stable Diffusion XL.
Создаётся директория, в которую будут загружены изображения для обучения модели.
В women_dataset вручную загружаются изображения, на которых будет обучаться модель.
Проверяется, что изображения успешно загружены и находятся в нужной директории.
Исправляется структура папок, если изображения оказались вложены в дополнительную директорию, так как пару раз Colab создал лишнюю вложенную папку при запуске.
Создается функция для визуального отображения изображений, чтобы убедиться в корректности датасета. Теперь видно: все файлы загрузились верно.
Подключается BLIP, которая будет автоматически создавать текстовые описания для загруженных изображений.
Функция captioning генерирует текстовое описание для каждого изображения.
Для всех изображений создаются подписи и формируется файл metadata. jsonl, необходимый для обучения модели.
Удаляется вспомогательная модель для генерации подписей, чтобы освободить ресурсы.
Настраивается инструмент для корректного запуска обучения на GPU.
Выполняется авторизация в Hugging Face для доступа к предобученным моделям.
Запускается процесс дообучения модели Stable Diffusion XL с использованием DreamBooth и LoRA на подготовленном датасете.
Загружается вариационный автоэнкодер (VAE) и базовая генеративная модель Stable Diffusion XL, обеспечивающие процесс создания изображений.
Далее к базовой модели подключаются обученные веса LoRA, содержащие усвоенные стилистические особенности.
С помощью текстового запроса генерируются новые изображения женщин в стиле Джона Эверетта Милле.
