Обучение генеративной нейросети с использованием картин Поля Синьяка

Моя идея заключалась в том, чтобы обучить нейросеть на основе самых знаменитых работ моего любимого художника Поля Синьяка. Его сюжеты очень романтичны, так как демонстрируют самые нежные и вдохновляющие на творчество образы: море, растения, необычная архитектура городов Южной Европы. При просмотре картин Поля Синьяка, у каждого может сложиться впечатление, будто бы он переместился на планету Маленького принца, где вечно можно наслаждаться закатом и приятным одиночеством.

Однако главная особенность работ Поля Синьяка заключается, конечно же, в технике, что он использует при написании шедевров. Пуантилизм. Это техника точечного написания картин, при которой произведения искусства требуется рассматривать с расстояния, чтобы из разноцветных точек складывался зримый сюжет. Чуть заходя вперед, могу отметить, что искусственный интеллект отлично справился с задачей имитации пуантилизма.

После загрузки всех необходимых библиотек, я создала директорию, в которую добавила свою базу данных, состоящую из 22 самых показательных картин Поля Синьяка.

Затем я приступила к этапу обработки изображений, в ходе которого добавила к каждому из них лаконичные описательные подписи. После завершения этой процедуры я тщательно проверила все мои данные на предмет правильного сохранения и корректного отображения.

Наиболее длительным этапом проекта была процедура обучения модели. Обработка всего массива изображений заняла около 45 минут. После того, как модель была успешно обучена, настроена и сохранена, мне оставалось лишь запустить ее для дальнейшего использования.

После проверки модели на создание генеративных работ я приступила к придумыванию интересных промптов, которые я хотела бы опробовать на деле.

Получилась очень нежная и приятная картина как по цветами, так и по самой реализации сюжета. Искусственный интеллект прекрасно передал общее настроение главных произведений Поля Синьяка. Очень интересно и то, что при генерации удалось сохранить правила перспективы: чем дальше объект, тем холоднее задействованные оттенки.

Фиолетовые тени прекрасно дополняют ярко-оранжевые деревья. По произведению мы можем понять время дня, в которое был «запечатлен» прекрасный момент. Благодаря бледному небу пятна не сливаются в общую грязную массу, а разделяют изображение на планы: передний, средний и дальний. Этот прием импресси- онистов отлично передан в этом конкретном примере.

Приятно, что композиционный центр немного смещен, ведь за счет этого приема импрессионисты добавляли естественности сюжету, независимо от жанра живописи, будь то натюрморт, пейзаж или портрет. Также удалось уловить градацию оттенков в рамках одного цвета, эта особенность очень часто встречается в работах художника Поля Синьяка.

От первого же взгляда на эту работу создается впечатление, будто бы я попала в маленький итальянский городок на побережье моря. Разноцветные домики заполняют пространство, не смешиваясь в общую кашу благодаря грамотной расстановке. У каждой постройки есть по нескольку голубых окошек, добав- ляющих только больше «искренности» в произведение.

Имеет место быть очень грамотное распределение цветов, благодаря которому картина делится на две части: верхнюю, представляющую из себя задний план с красивым венецианским храмом и приятным закат- ным небом, и нижнюю, презентующую главных героев изображенного сюжета, а именно — гондолы, истинный символ Венеции. Искусственный интеллект прекрасно справился с имитацией стиля Поля Синьяка.

Силуэт девушки получился немного нечеловеческим: чересчур узкая талия и непропорционально длинные ноги, из-за чего создается ощущение, будто главную героиню картины сможет унести один легкий порыв ветра. Однако я удивлена, что у нее есть тень, не выбивающаяся из общего настроения картины. Парусники на заднем плане немного склеились, однако в остальном работа выглядит атмосферно.

К сожалению, модель не поняла мой промпт и вместо одинокого острова сгенерировала множество скал, находящихся посреди моря, а пустое пространство заполнила парусными кораблями. Однако кусочек берега довольно умело вписался в композицию изображения, вновь разделяя сюжет на передний и задний планы, что похвально, учитывая, насколько эта деталь важна для понимания любого искусства.

Изображение получилось очень нежными и приятным, композиционные правила вновь соблюдены, девушки прекрасно вписываются в яркое окружение, состоящее из различных природных объектов. Главным героем здесь выступает яблоня: она занимает много пространства, а также привлекает внимание за счет разнообразия заключенные в ней оттенков синего, желтого и даже красного.

Мое любимое изображение из всех сгенерированных. Закатное солнце, бросающее мягкую дорожку на спокойное, умиротворяющее море. Красивый высокий белый маяк, расположившийся рядом с маленькой милой деревушкой. Проложенная тропа, которую можно заметить в правом нижнем углу произведения. И корабли, романтично направленные в противоположную от суши сторону.

Грань между небом и морем интересным образом размыта, таким образом создавая приятный переход между цветами. Маки получились очень романтичными. Они раскиданы по всему переднему плану, привлекая внимание зрителя. Однако синие дорожки, неожиданно возникшие посреди поля немного смущают из-за непонятного происхождения, что отвле- кает от основных объектов.

Довольно интересный и показательный кейс, демонстрирующий, как искусственный интеллект справляется с подобными задачами. Модель преимущественно использовала оттенки двух цветов: синего и желтого, из-за чего центр изображения превратился в одно массивное пятно, внутри которого сложно что-либо различить. Мне не нравится итог, однако я вставила его в лонгрит в качестве интересного и крайне любопытного случая.

Поразительно, насколько качественным и уютным получился домик: треугольная крыша, состоящая из черепицы, очаровательные квадратные окошки, труба, небольшой навес. Благодаря контрасти- рующей тени строение берет на себя первый взгляд зрителя. И все же вопросы вызывает растительность, что окружает главный объект. Зеленый градиент смотрится органично, однако кусты выглядят нечитаемо.

Корабль вышел немного специфичным: двух мачт с парусами было бы достаточно, однако модель добавила красные треугольники, которые кажутся причастными к кораблю, и все же их присутствие не имеет никакой логики. Окружение смотрится получше: очаровательная бухта, милые лодочки, снующие рядом с большим кораблем. Сюжет выглядит композиционно приятно.

Изображенный сюжет кажется очень меланхоличным: возникает желание стать частью сгенерированной работы. Камни выглядят интересно с точки зрения основ живописи: использование разных цветов для написания одной группы объектов. Сами мальчики получились достойно: их взгляды направлены вдаль, тела повернуты в профиль, благодаря чему их силуэты более читаемы.

Довольно очевидный ракурс для изображения цветка, однако, что касается исполнения задачи, модель вполне четко передала заданный промпт. И все же остается непонятен один момент, связанный с тем, что искусственный интеллект, вместо того, чтобы остановиться на одном объекте, изображает несколько, что логично для заполнения композиционно невыгодных пустот, однако не соответствует поставленной задаче.

Обученная модель в большинстве случаев прекрасно справляется с промптами, однако некоторые кейсы все же вызывают вопросы. Главным негативным моментом для меня остается тот факт, что задан- ные в промпте объекты зачем-то дублируются. Это ломает задуманный мной сюжет, а иногда и вовсе переворачивает логику, и все же в качестве приятной неожидан- ности могу отметить то, что соблюда- ются правила построения композиции, которые были заложены в картинах Поля Синьяка. Стиль моего любимого художника скопирован идеально: маленькие точки формируют общую картину, которой можно полноценно насладиться, лишь отойдя на расстояние. Я довольна результатом и готова поделиться им с миром.

https://colab.research.google.com/drive/1u65uxpeYgZtD1IngGOviH-GFU4lpvwNn#scrollTo=StpIoZZ2iaCf