Обучение генеративной модели в создании капибар
Концепция
Данный проект посвящён обучению Stable Diffusion и его применению для создания новых изображений. Капибары считаются одними из самых милых животных. Их дружелюбный внешний вид и спокойный характер вызывают положительные эмоции, что делает их идеальными для моего проекта. Я всей душой люблю это животное, поэтому решила создать еще больше очаровательных капибар для таких же ценителей как я
Также мне было интересно, как нейросеть воссоздаст образ капибары и насколько реалистичным получатся изображения
Исходные изображения
Для обучения модели я использовала различные фотографии капибар, в разных позах и с разными фонами
Начало работы
Перед началом работы обновляются все библиотеки, загружаются diffusers и обучающий скрипт с GITHUB
Я обучала свою модель тому, как рисовать различных капибар, которые будут очень похожи на реальное животное
Далее, мне нужны были наборы данных, которые я взяла с Hugging Face и использовала функцию notebook_login (), чтобы войти в систему и получить доступ к нужным мне ресурсам
Здесь показан процесс до обучения генеративной модели, чтобы она смогла генерировать капибар. Сначала подгружается базовая модель, после чего она анализирует исходные фотографии, и на их основе создает изображения, которые мне нужны
Здесь я уже выложила полученную модель на Hugging Face
Итог
Капибара вышла очень хорошо, смущает один факт, что у нее вылез маленький рог, но картинка реалистичная и нейросеть справилась
На первой фотографии животное вышло отлично, появилась проблема с ее отражением в воде, так как отражение не соответствует фигуре капибары, учитывая спокойность воды, немного выбивает из общей картинки
Здесь уже вино распространенную проблему нейросети, а именно создание лишних конечностей. Так и вышло, но характерные детали капибары сохранены
Получились очень милые целующиеся капибары, занятые игрой в мяч, картинка выгляди хорошо, но была допущена ошибка со строением лапок этого создания
У этих капибар такая же проблема, что у фотографий выше, снова лишние лапы, но картинка выглядит живой и реалистичной, шерстка выглядит натурально
Та же проблема, и немного нарушено строение капибары, что выглядит не очень натурально
