Рубрикатор
- Идея проекта
- Блокнот и датасет
- Структура кода
- Результат
- Материалы
Идея проекта
Идея проекта: обучить модель Stable Diffusion моему собственному иллюстративному стилю.
Основной акцент сделан на передачу цветовых решений, текстур и художественных приёмов, так как в датасете присутствуют мои работы разных лет, исполненные в различных палитрах.
В целом, направленность моего творчества можно назвать фэнтезийной, поэтому итоговая модель должна уметь изображать тривиальных для фэнтези персонажей, сохраняя при этом мою стилистику.
Всего в датасете 26 изображений, так как законченных работ у меня немного. Посмотрим, как модель передаст работу с текстурами, светом и мазками.
Структура кода
Для начала подгружаем все необходимые библиотеки и обучающий скрипт DreamBooth + LoRA (для дальнейшего обучения модели). Подготавливаем датасет и проверяем корректность отображения картинок.
С помощью BLIP к каждому изображению прикрепляется текстовая подпись, всё это точно так же необходимо сохранить для дальнейшей работы.
Далее переходим к самому обучению модели. Подобный метод затрагивает модель на верхних уровнях, условно - кастомизирует Stable Diffusion. Это позволяет сильно сэкономить время и ресурсы GPU.
Оставшийся блок кода выделен под генерацию изображений (промпты).
Результат
В целом, атмосфера исходных работ сохранена. Видна небрежность, смягченность задних планов, наличие "фоновых брызг" (или же ауры/огня). Также работы определённо тяготеют к красному цвету, которого действительно много и в датасете:
Что было скопировано точно - это высокая детализация доспехов, сам эффект выглядит как фотобаш что на оригинальных работах, что на генерациях.
Для сравнения:
Можно заметить и то, что практически у всех персонажей на генерациях есть капюшоны - эту деталь из датасета нейросеть хорошо запомнила.
Также есть прямое заимствование поз:
Помимо того, что модель достаточно достоверно воспроизводит работу со светом и фактуру тканей, она заимствует позы, элементы одежды. Это и капюшоны, многослойная одежда и нечто, похожее на вышивку по краям одежды. В данном случае это имитация ремней, застежек.
