Идея проекта
Я решил обучить нейросеть Stable Diffusion для создания персонажей новых иллюстраций в аниме стилистике, на основе своего прошлого проекта. Это пастельные цвета, нежные мазки, простые персонажи и детальные фоны.
Главная задача — проверить, можно ли научить ИИ создавать изображения в похожем стиле.
Из своего диафильма я вырезал фотографии размером 512 на 512. Структура отсылается к фильмам Хаяо Миядзаки, когда задние планы нарисованы темнее и детальнее, чем сами анимированные персонажи, поэтому в центре в основном именно персонажи.
Инструментарий:
— модель ИИ Stable Diffusion — среда обучения Google Colab — обработка фотографий Figma
Хозяин кузницы
Обучение модели
Первым делом я загрузил проект на Google drive, после открыл код в Google colab. Далее проверка памяти и GPU, установка нужных библиотек и после подключение папки и исходными изображениями.
Обработка изображений и начало обучения
После количество шагов было выбрано 300 и обучение длилось около 40 минут.
Создание изображений
old yellow tram on a wet city street at sunset, low sun, overhead trolley wires, cinematic backlight, atmospheric haze, painterly brush strokes, high detail
Тут я попробовал создать трамвай, так как в моем проекте много линий и есть бамбуковые заросли, то линии передач превратились в подобные паутины
painting in SKS_STYLE style, old yellow tram on a wet city street at sunset, low sun, overhead trolley wires, cinematic backlight, atmospheric haze, painterly brush strokes, high detail
Далее я попробовал сделать в зеленых тонах более привычную для аниме обстановку с полями, деревьями и домом. Цвета довольно сильно мельтешат и присутствует воздушная перспектива, что не может не радовать.
calm urban canal in early autumn, golden trees, soft morning light, reflections in water, distant pedestrians, impressionist plein air mood, painterly texture
Тут довольно хороша справилась нейросеть и добавила множество деталей, как было в доме кузница. Быстрым взглядом можно окинуть всю картину и уловить атмосферу домашнего уюта
sunlit cozy kitchen interior with a vase of sunflowers and daisies, warm natural window light, rustic details, airy atmosphere, oil painting texture
С лугами отлично справилась, дома в средневековом стиле (как у кузнеца), огромные просторы и множество зелени с многоплановостью
wide pastoral valley with rolling green hills and small village houses, distant church, spring sunlight, soft clouds, serene countryside panorama, impressionist brush texture
Далее решил с генерацией людей в японском современном стиле
Человека довольно хорошо нарисовала, очень похожим на кузнеца в молодости с усами и в простой сельской одежде.
