Идея проекта
Бестиарий — средневековая книга о зверях. Имя зверя, его повадки и мораль. Многих зверей авторы бестиариев знали только по чужим рассказам, поэтому художник собирал незнакомое существо из того, что видел сам. Проект продолжает этот способ знания по рассказам.
Эшмолов бестиарий, около 1200 года. Кит, которого моряки приняли за остров
Что если бы в бестиарий попали звери, о которых Европа узнала позже. Опоссум, скунс, кенгуру, панда, ленивец? Stable Diffusion, дообученная на 71 миниатюре, рисует их в манере английских рукописей около 1200 года. Каждому новому зверю нашлась пара в самой рукописи: опоссум притворяется мёртвым, как лиса, а скунс отбивается зловонием, как бонакон — бык из бестиария.
Две рукописи как датасет
71 миниатюра двух английских бестиариев, Абердинского и Эшмолова. Изображения взяты с Википедии — все они в общественном достоянии.
Рамкой отмечен квадрат 512 × 512, который ушёл в обучение.
Из 148 файлов остались одиночные звери и птицы. Буквицы, Сотворение мира и другие библейские сюжеты, страницы с текстом и узкие полосы со змеями модель не видела.
Отсеяны вручную: листы с несколькими сценами, орнамент без зверя, дубли одной миниатюры.
71 миниатюра всё, что модель знает о бестиариях.
Обучение модели
К каждой миниатюре написана подпись только о сюжете, без слов о стиле: bestiarium, a she-bear licking her cubs into shape. Так модель связывает манеру со словом bestiarium, а зверя с остальными словами. При генерации зверя можно заменить любым другим, а манера останется.
Фрагмент кода подписи, латенты и LoRA.
Модель обучалась давольно долго (1500 шагов), но чем большее шагов было пройдено, тем более хороший результат она показала. Чтобы обучение поместилось, VAE и текстовый энкодер выгружались после подсчёта латентов, а внимание считалось по две головы за раз.
Кенгуру и опоссум на чекпойнтах каждые 250 шагов от фотографии к миниатюре.
Базовой SD 1.5 манеру пришлось описывать словами — вышла бирюза с орнаментом, как в восточной рукописи. Обученной модели хватает слова bestiarium.
Проба и отбор
Кенгуру с seed 33 при разном весе LoRA: на 0.4 плоская книжная картинка на синем, с 0.7 появляются золотой диск, лазурь со звёздами и детёныш. Серия сделана на 1.0. Seed отвечает за остальное: прямоугольная рамка или медальон, золото целиком или золотой круг, а у панды на seed 22 бамбук, но без золота.
Семь зверей, у каждого четыре seed. В рамке киноварью вариант, вошедший в серию.
Аксолотль до и после hi-res fix: 768 пикселей вместо 512, на золоте проступает фактура.
Результаты
Опоссум
Скунс
Аксолотль
Утконос
