Обучение нейросети стилю Хильме аф Клинт

Хильма аф Клинт — шведская художница начала XX века, одна из первых представительниц абстрактного искусства. Её работы основаны на сложной системе символов, спиралей, геометрических форм и цветовых взаимодействий. Аф Клинт рассматривала живопись как способ передачи духовных знаний и создавала композиции, которые воспринимались ею как визуальные диаграммы невидимых процессов.

Меня заинтересовала возможность интерпретации её художественного языка средствами генеративного искусственного интеллекта. В своём проекте я обучила модель Stable Diffusion на корпусе работ Хильмы аф Клинт, чтобы создать инструмент, способный генерировать новые абстрактные композиции в логике её визуальной системы.

Все изображения, использованные для обучения модели, находятся в общественном достоянии (public domain) и были отобраны из открытых архивных источников.

Официальный сайт

Хильма аф Клинт визуализировала «невидимые силы» — духовные структуры, космические порядки, внутренние законы мироздания.

Сегодня одной из таких невидимых сил является искусственный интеллект.

В своем проекте я решила попробовать визуализировать работы Хильмы аф Клинт, если бы она изображала внутренний мир ИИ

Для обучения нейросети был собран датасет из 42 изображений работ Хильма аф Клинт, в которых прослеживаются характерные черты её художественного языка: абстрактная геометрия, символические формы, плоскостная композиция и сочетание органических и структурных элементов. Работа над проектом велась в среде Google Colab с использованием библиотеки Diffusers.

Первым этапом стала настройка рабочей среды: установка необходимых библиотек и подключение Google Drive, где размещался датасет и сохранялись результаты обучения модели. Это позволило организовать удобный доступ к данным и обеспечить сохранность результатов.

Далее был подготовлен датасет: все изображения были приведены к квадратному формату и дополнены текстовыми описаниями (caption). Для этого использовался единый шаблон, начинающийся с токена «hklstyle», который служит маркером стиля, а также включает характеристики визуального языка: геометрические формы, плоскостные цветовые поля и символическую абстракцию. Использование единого шаблона описаний позволило модели лучше усвоить стилистическую целостность изображений.

После подготовки датасета был выполнен основной этап — обучение модели Stable Diffusion XL с использованием метода LoRA (Low-Rank Adaptation). Данный подход позволяет адаптировать уже обученную модель под конкретный художественный стиль при относительно небольшом объеме данных. В процессе обучения модель усваивала ключевые особенности стиля, включая геометрическую структуру, символичность и композиционные принципы.

После завершения обучения были сохранены контрольные точки (checkpoints), из которых была выбрана финальная версия модели. Полученные веса LoRA были загружены и применены к базовой модели Stable Diffusion XL для последующей генерации изображений.

Генерация изображений осуществлялась с помощью специально сформулированных текстовых запросов (prompt), отражающих концепцию проекта — «внутренний мир искусственного интеллекта». Для повышения вариативности результатов и ухода от однотипных композиций использовались negative prompt, ограничивающие симметричные и центрированные формы, а также излишнюю реалистичность. Основной объём изображений был сгенерирован с использованием финальной версии обученной модели.