MULTI Вселенная

Главная цель заключалась в обучении генеративной нейросети под свой стиль или объект. Далее, требовалось использовать пример кода, чтобы обучить генеративную нейросеть Stable Diffusion: Рисованию картин в каком-то специфическом стиле; — для рисования специфического объекта/персонажа.

В своих прошлых проектах я вручную отрисовывала забавных 2Д персонажей для разработки концепции мерча с героями программы городских квестов для родителей и детей «Играй в Москву!», которые вновь стали главными основоположниками, уже данного проекта. Мне хотелось обучить нейросеть рисовать подобных забавных и интересных мультипликационных персонажей. Ссылка на проект: https://portfolio.hse.ru/Project/201830

Базовая SDXL хорошо делает фотореализм, но плохо держит чистые линии и мультяшную эстетику. Датасет состоял из 50 изображений персонажей в мультяшном стиле. Для каждого изображения с помощью BLIP были сгенерированы текстовые описания. Было сгенерировано 5 изображений на разные промпты для проверки усвоения стиля. Результаты: модели удалось зацепить стиль, но качество изображений отстает от оригинала. Чтобы решить эту проблему, требовалось выделить больше времени на обучение модели, однако мне его немного не хватило, но считаю текущий результат успешным в рамках задания.

В итоговой серии видно, что были успешно переданы ключевые элементы стиля: чистые контуры, упрощенные формы, большие выразительные глаза. Модель не переобучилась — она генерирует разных персонажей и сцены, которых не было в обучающей выборке, сохраняя единую стилистику. Использование VAE fix позволило избежать цветовых искажений. Генерации различаются по сюжету, композиции и текстурам, но стиль остается стабильным, что подтверждает успешность обучения.

А после обучения явно виден перенос стиля

Да, использовались. BLIP — для автоматической генерации описаний при подготовке датасета.