Генератор лоскутков

Главная фишка пэтчворка — уникальность каждого отдельного фрагмента, составляющего большую мозаику. В данном проекте мне хотелось попытаться обучить модель, способную на создание таких уникальных фрагментов. Получившиеся генерации могли бы, в теории, использоваться как «наброски» для настоящих выкроек или схем вязания

В качестве референсов использовались фотографии распространенных типов фрагментов пэтчворка, а также примеры так называемых грэнни скверов — простейших вязаных квадратов, часто используемых вместо непосредственных лоскутов ткани в лоскутном шитье

Для обучения использовался датасет из 40 изображений

Проект собирался на платформе Google Colab, с опорой на выданные в исходном коде библиотеки. В качестве основной модели выступало Stable Diffusion, обученное через LoRa и DreamBooth

Текстовые описания изображений из датасета создавались автоматически, посредством BLIP image captioning model, а также заранее заданных префикса и суффикса

Также перед началом обучения все изображения датасета были переведены в одинаковый, компактный формат отдельной функцией для упрощения работы

Как итог, каждое сгенерированное изображение действительно оказалось уникальным, попадающим в заданную стилистику и не невозможным в производстве

Однако модель обладает определенными особенностями: при запросе на генерацию фрагмента с животным или предметом, модель будет гораздо лучше справляться именно при заданном параметре «пэтчворк». В то же время при генерации цветов модель предпочитает использовать именно грэнни сквер технику, а пэтчворк варианты дизайнов выходят неказисто. При этом датасет с изображениями, с помощью которого модель обучалась, имел примеры обоих запросов в обеих техниках. Исключение из правил — розы. Запрос на создание дизайна с розой выдает одинаково неплохой результат в любом случае