Наивные дудлы: обучение нейросети рисовать как ребёнок

Идея проекта

Что если научить мощную нейросеть забыть всё, что она знает о реалистичном рисовании, и вместо этого рисовать так, как это делает ребёнок? Простые чёрные линии на белом листе. Домик с трубой. Кот с усами. Солнце со спиральными лучами.

Цель этого проекта -- дообучить генеративную модель Stable Diffusion XL на собственных рисунках в стиле наивных контурных дудлов, чтобы она могла генерировать новые изображения в том же стиле. Задача интересна тем, что стиль дудлов противоположен тому, на чём обучена базовая модель: SDXL создана для фотореалистичных и детализированных изображений, а нам нужна нарочитая простота и минимализм.

Исходные изображения для обучения

Датасет состоит из 22 авторских рисунков, выполненных вручную. Все изображения выдержаны в едином стиле:

• Чёрная контурная линия на белом фоне
• Отсутствие заливки, цвета, теней и градиентов
• Простые, узнаваемые формы -- объекты переданы минимальным количеством линий
• Наивная стилистика -- нарочитая непропорциональность, характерная для детских рисунков
• Декоративные элементы -- спирали (солнце), завитки (дым из трубы), волнистые линии (трава, вода)

Среди объектов датасета: домик с трубой и дымом, машинка с выхлопом, солнце со спиральным центром, цветок с лепестками, кот с бантиком, собака, лягушка, бабочка, облако с молнией, замок с башнями, флажок, дерево, гриб, яблоко, человечки, долька арбуза, кораблик, ананас, клубника, ёлки со звёздами.

Все изображения были ресайзены в квадрат 1024x1024 пикселей (нативное разрешение SDXL) с сохранением пропорций и белым фоном.

(см. папку dataset_examples/ -- 10 примеров из датасета)

Процесс обучения

#

Для дообучения использован метод LoRA (Low-Rank Adaptation) в сочетании с подходом DreamBooth. LoRA -- это эффективный метод файнтюна, при котором основные веса модели замораживаются, а обучаются лишь небольшие низкоранговые матрицы-адаптеры, встроенные в слои внимания (attention layers) UNet.

Преимущества LoRA:

• Размер обученных весов -- всего ~4 МБ (вместо ~6.5 ГБ полной модели)
• Быстрое обучение (11.5 минут на 500 шагов)
• Возможность плавно регулировать силу влияния стиля через параметр lora_