[1] Концепция
Изучить возможности генеративных нейросетей и создать серию изображений, вдохновлённую иллюстрациями американского детского писателя и мультипликатора Доктора Сьюза.
Иллюстрации в книгах Доктора Сьюза
Иллюстрации в книгах Доктора Сьюза
На сегодняшний день Доктор Сьюз — самый продаваемый на английском языке писатель для маленьких детей, по его книгам учатся читать. В семь лет я учила по его скороговоркам английский язык и перерисовывала иллюстрации.
На русском языке переведено и издано немного книг, тк большинство из них изданы в стихах, так что русскоязычный зритель знаком с творчеством Доктора Сьюза в основном за счет современных мультфильмов по его книгам.
Иллюстрация в книге Доктора Сьюза
Иллюстрация в книге Доктора Сьюза
Для создания датасета для обучения нейросети, я собрала набор из 54 изображений иллюстраций авторства Доктора Сьюза с соотношением сторон 1:1.
Изображения из датасета для проекта
[2] генерация изображений
1. Ten tiny tigers tie twelve twisted ties 2. Six silly snails sailing silver skies
После обучения используется конвейер DiffusionPipeline для генерации изображений по разным промтам. Настройки генерации: 25 шагов, FP16, 512×512 px.
1. A fuzzy fox in a box of clocks 2. Geely geese in striped trees
Концепция серии генераций заключается в том, чтобы каждое изображение было создано по промпту, имитируещему строку из стихотворения или скороговорки Доктора Сьюза. Так как такие стихи созданы для развития речи и фантазии, а не глубокомысленного чтения, то в тексте часто встречается лёгкий бред и немыслица :)
1. A mad hatter’s cat with a hat made of hats 2. A dancing duck in a clockwork truck
Каждый промпт для генерации изображений создан GPT-5.6 Terra (Instant).
Общий промпт:
напиши 30 коротких фраз-промптов для генерации изображений в стэйбл диффьюжн. каждая из таких фраз должна быть по стилистике сформулирована как скороговорки писателя доктора сьюза
1. Green grass going nuts 2. Pink penguins painting purple pancakes
1. Fun flying fish flipping fluffy flowers 2. A crooked crow in a coat of gold
[3] итоги проекта
В результате работы над проектом мне удалось создать серию изображений. Обученная генеративная модель Stable Diffusion смогла считать частые приемы художника: его штриховки, фирменную цветовую палитру, формообразование субьектов и объектов иллюстрации, а так же композиции рисунков. Нейросеть способна создавать картинки, схожие с иллюстрациями Сьюсса.
Однако в ее работе есть множество пробелов. Например, она ломает формы тел персонажей так же часто как и ломает геометрию псевдокарандашных штриховок, в связи с чем сгенерированные изображения очень легко отличимы от реальных.
1. A twisty-tailed turtle in a tangerine tornado 2. A sleepy sheep in a spaceship made of cheese
[4] Описание применения генеративной модели
Stable Diffusion 0.35.2 был использован для генерации основного ряда изображений проекта
GPT-5.6 Terra (Instant) была использован для помощи в отладке во время ошибок, конфликтов и улучшении кода — https://chatgpt.com/
эта же модель была использована для создания промптов на основе которых Stable Diffusion генерировала изображения.
GPT-Image-2.5 Flare сгенерировала обложку проекта по промпту:
«стиль иллюстраций доктора сьюза. чб изображение 3×4 вертикальное на тему dull designer designs his design, где в центре кадра в полный рост будет классический по формообразованию для стилистики доктора съюза персонаж. по фигуре как гринч, по отношению к нам он боком и сидит за компьютером как креветка. по его языку тела видно, что ему очень скучно»
