Идея
Идея проекта заключается в обучении генеративной нейросети созданию изображений растений в стиле ботанических энциклопедий.Я хотела научиться получать иллюстрации, которые не просто изображают растение, а подробно передают его внешний вид: форму листьев, строение цветка, стебель, корни и характерные детали.Мне было интересно, насколько точно нейросеть сможет создавать растения по их описанию и воспроизвести визуальный стиль иллюстраций.
Исходные изображения
В качестве основы проекта используются ботанические иллюстрации Элизабет Беквелл из книги «A Curious Herbal…»
Результат обучения
В итоговой серии нейросеть довольно точно повторяет общий стиль исходных ботанических иллюстраций: светлый фон, спокойная композиция, тонкие линии и приглушённые цвета. Это соответствует цели проекта — создавать изображения растений, похожие на иллюстрации из ботанических энциклопедий.
illustration in BOTANICAL style, calla lili
illustration in BOTANICAL style, red flower with thorns, round leaves illustration in BOTANICAL style, lotus, pink
illustration in BOTANICAL style, potato
illustration in BOTANICAL style, cabbage illustration in BOTANICAL style, tomato
Главный недостаток — модель не всегда правильно передаёт строение растений. На некоторых изображениях появляются лишние листья, цветки и ветви, а отдельные элементы могут сливаться между собой.Это связано с тем, что модель лучше запомнила общий стиль, чем точные ботанические признаки. Поэтому результат выглядит убедительно как иллюстрация, но не всегда соответствует реальному виду растения.
illustration in BOTANICAL style, venus flytrap
illustration in BOTANICAL style, strawberry illustration in BOTANICAL style, blueberry
Дополнительно я попробовала сгенерировать насекомых и моллюсков. Результат оказался достаточно хорошим: нейросеть смогла перенести изученный стиль на другие живые объекты, сохранив светлый фон, детальность и общую манеру изображения.
illustration in BOTANICAL style, green big bug
illustration in BOTANICAL style, an ant in the grass illustration in BOTANICAL style, big snail
Однако иногда появляются лишние лапки, усики или части тела. В некоторых случаях животные частично сливаются с листьями и стеблями. Думаю, что это происходит из-за того, что модель объединяет признаки живого существа с растительными элементами, связанными с обучающим датасетом.
Процесс обучения модели
Обучение проводилось на авторском датасете из 17 сканов страниц книги. Все изображения были приведены к квадратному формату 1:1. Для каждого изображения нейросеть BLIP автоматически создала текстовое описание, к которому был добавлен ключ стиля («illustration in BOTANICAL style»)В качестве базовой модели использовалась Stable Diffusion XL 1.0. Адаптация выполнялась методом DreamBooth с LoRA в Google Colab. Обучение продолжалось 500 шагов, после чего полученный LoRA-адаптер подключался к SDXL для генерации новых ботанических иллюстраций.
Также для исправления ошибок в коде использовался Perplexity
