Конструирование снов с помощью обучения нейросети

Норман Чарльз Блейми, художник, подаривший основу этому проекту, прожил свою историю очень разнообразно, ассоциируя себя с профессиями и делами часто не связанными между собой. В общем, был очень трудолюбивым, любопытным, хоть и спокойным, а также рукастым человеком. Фундаментом его стиля стали сама его сущность и опыт, сохраненные в жизни. Так, в его проектах часто встречаются портреты людей-профессионалов, а также вытянутые как и сам он картины, проецирующие то, что он как будто снял со своей сетчатки глаза.

Самое интересное в творчестве Блейми — то, как он передает лица. На всех картинах они получаются невесомыми, мягкими, очень аккуратными, как изображения призраков времени. В прочем, так оно и бывает с портретами.

Обучение нейросети в данном случае сосредоточилось на том, как лица с портретов Нормана Чарльза Блейми напоминают сгенерированные нашим мозгом во сне. Я предложила Chat GPT написать 12 сценариев для сновидений — абсурдных, колоритных и похожих на истории из фэнтезийных книжек. А нейросеть, специально обученная рисовать в стиле нашего художника, смогла эти сценарии визуализировать и оживить.

В Google Colab были загружены необходимые библиотеки и проверена работа удаленного процессора. После этого я приступила к загрузке данных: создала папку с удобным названием и загрузила туда 23 квадратных изображения с картинами Нормана Чарльза Блейми. Затем изменила их размер на удобный для обучения генеративной модели и вывела на экран для удобства.

Следующим важным этапом стали подписи к каждой картинке, формируемые с помощью BLIP.

Далее, пропуская некоторые мелкие особенности, я перешла к тренировке модели через accelerate config, на что потребовалось почти 2 часа реального времени. Так вышло потому что я уменьшила показатель checkpointing_steps для большей вариативности при генерации. После этого сохранила модель и быстро перешла к генерации, пока удаленный графический процессор еще был активен.

Также прилагаю часть кода с процессом генерации. Я несколько раз меняла чекпоинты и на каждый промпт генерировала по 3 картинки, чтобы потом выбрать наиболее точные и подходящие. В итоге с 12-ю промптами получилось 36 картинок, многие из которых совсем странные, но есть и очень эстетичные экземпляры.

Первый промпт предполагал, что в центре композиции окажется фигура, сделанная из звездного света, стоящая посреди библиотеки. Нейросеть восприняла это задание немного по-другому, посреди библиотечного коридора встал священник или мудрец. На первых двух фотографиях это мужчины, устремившие свой взгляд к потолку из звезд. Такой результат не слишком похож на картины Блейми из-за излишней сюрреалистичности и плавных градиентов. Однако с последней картинкой нейросеть уже уподобилась в исполнении технике художника, использовав более текстурные заливки и совмещая рядом контрастные цвета. Мне очень понравилось, что над головой женщины появилось круглое окно с одинокой звездой, продолжающей движение снизу вверх по картинке.

Второй промпт также был воспринят не совсем правильно. У мужчины вместо головы должны были появиться часы, а цветы должны были расти с неба и олицетворять движение всего живого ко времени. Больше всего мне откликнулась первая картинка, опять же из-за своей текстурности, интересной и приятной композиции и цветов. Самые длинные растения расположились по краям картинки, а короткие посередине. Часы сами стали поливать цветы, что в целом тоже подходит концепции, а также в самой середине сюжета расположилась эмоциональная сцена с садовником и раздосадованным офисным работником.

Исполнение с данным заданием разделилось на две части по правильности: вторая и третья картинки сосредоточились на тающих часах, как на картине у Дали, однако упустили стиль художника и первую часть промпта. Гораздо лучше с задачей справилось первое изображение, хоть и часов на поле не видно, но костюм офисного работника начинает отражать окружение и светиться, а также в композиции появляется динамика и интересный смысл, ее хочется разглядывать, чтобы понять, стаканы там вокруг него или нечто другое.

Мне лично очень понравился промпт, предложенный Chat GPT для четвертой генерации. Девушка, лицо которой наполовину состоит из цветущей розы, шепчет в морскую ракушку. В этот раз нейросеть очень хорошо справилась с передачей стиля художника, особенно в моменте с цветами и ракушками. Вторая картинка очень приятно передает розовую половину лица у девушки, аккуратно закольцовывает композицию касанием рукой девушки цветка. Но больше всего мне понравилось, как нейросеть сгенерировала первую картинку. Да, шепчет девушка там не в ракушку, а в саму розу, но ракушки-чешуйки начинают обволакивать ее образ, составляя костюм как от кутюрье, насыщенные переливами и светом. Помимо прочего, на этой картинке лицо девушки более всего похоже на лица от Блейми — вытянутое, рельефное, необычное.

Человек, чья кожа похожа на потрескавшийся фарфор, смотрит на полную луну. Первые два изображения смогли хорошо передать запрос, создав не только картинку в стиле Чарльза Нормана Блейми, но и в целом композиционно и стилистически красивые сюжеты, которые могли бы понравиться многим. На первой очень хорошо то, что лицо героя деконструировалось в соответствии с идеей, а окружение из сухих камней дополнило одинокое существование фигуры. Вторая картинка вышла чуть ли не самой красивой во всем проекте, так как эмоция, переданная на лице девушки коррелирует и с заданием и с ощущением вокруг, заставляя прочувствовать сонную атмосферу и приятный ночной ветерок.

Единственная часть обучения, которой я полностью недовольна. Даже из трех картинок, созданных генерациями с разными чекпоинтами, ни одна не смогла точно передать ни запрос, ни стиль художника. Проблески отклика нейросети на задачу появляются только на второй картинке, она более сбалансирована по цветам, там присутствует текстурность и более детализированные дома. Если это хтоническое облако можно принять за силуэт, наполненный скрученными галактиками, то эту картинку можно назвать лучшей из этапа генерации.