Обучение генеративной нейросети под мою собаку

У меня тоже есть собака породы кане-корсо. Когда я гуляю с ней зимой по заснеженному Петербургу, мне часто кажется, что её внешний вид совершенно не сочетается с окружающим пейзажем. Я представляю, насколько органично она смотрелась бы среди итальянских улочек, старинной архитектуры и средиземноморских пейзажей.

На первом этапе были установлены необходимые библиотеки для обучения нейросети: Diffusers, Transformers, Accelerate, PEFT и TorchAO. Также был загружен скрипт DreamBooth LoRA для обучения модели Stable Diffusion XL на собственных изображениях.

Далее были загружены фотографии моей собаки Таро. С помощью кода изображения были открыты и выведены в виде сетки, чтобы проверить корректность загрузки и просмотреть исходный набор фотографий для обучения модели.

После обучения модели были загружены полученные веса LoRA и подключены к Stable Diffusion XL. Затем были составлены текстовые запросы с описанием внешности Таро: чёрная короткая шерсть, массивное телосложение, широкая грудь, короткие уши и характерная морда. Дополнительно был задан негативный промпт для исключения ошибок генерации, например лишних лап, неправильных пропорций и посторонних объектов.

На следующем этапе я попыталась создать более реалистичные изображения Таро в итальянской деревне, добавив в кадр старинные дома, внутренние дворики и людей. Однако нейросеть часто допускала ошибки: вместо одной собаки генерировала сразу несколько, иногда с совершенно разной внешностью. На некоторых изображениях появлялись люди с искажёнными пропорциями тела и неестественными позами. Также возникали проблемы с анатомией самих собак — неправильное расположение лап, слишком вытянутое тело и несоответствие породе.

На этом этапе я решила сделать изображения более аутентичными, передать атмосферу старой итальянской деревни с местными жителями, традиционной одеждой и исторической архитектурой. Первые результаты оказались неудачными: на первом изображении собака совершенно не соответствовала породе кане-корсо, на втором получились неестественно выглядящий мужчина и непропорционально большая собака. Третий вариант тоже выглядел странно и не передавал нужную атмосферу.

Затем я начала экспериментировать с более старыми фотографиями, приглушёнными цветами и традиционными костюмами. Последние два изображения получились наиболее удачными: удалось передать атмосферу итальянской деревни прошлого, сохранить более естественные пропорции собаки и органично вписать её в окружение.

На этом этапе я решила отойти от исторической стилистики и создать более яркую и узнаваемую атмосферу современной Италии. Сначала я экспериментировала с традиционными итальянскими двориками: каменной плиткой, тёплыми оттенками фасадов, арками и большим количеством зелени. Однако на некоторых изображениях собака получалась слишком худой или не совсем похожей на Таро.

Затем я решила добавить один из главных символов Италии — пиццу. Я поместила Таро в атмосферу итальянского уличного кафе с деревянной мебелью, томатами и базиликом. В процессе генерации возникали забавные ошибки: на одном изображении у собаки появился помидор на носу, а на другом — пицца прямо во рту. В итоге получилась более живая и необычная серия изображений, которая передаёт итальянскую атмосферу с юмором.