Идея проекта
В творчестве Анри Матисса меня всегда привлекала живость, смелость и хаотичность.
Мне захотелось обучить генеративную нейросеть для генерации паттернов в стиле бумажных вырезок Матисса. Главная цель — посмотреть, насколько точно нейросеть сможет воссоздать характерную простоту форм, цветовую гармонию и лёгкость вырезок.
Проект исследует, как легендарные бумажные вырезки Матисса периода 1940-50х годов могут трансформироваться в дизайн и стать паттернами. Узнать, как органические формы, яркие цвета и композиционная свобода Матисса могут работать.
Описание процесса обучения
Сбор материала: Исходные изображения
Была собрана папка из произведений Анри Матисса.
Мои критерии отбора:
Работы с лицензией Public Domain — произведения Матисса находятся в общественном достоянии по авторскому праву начиная с 1 января 2025 года (ст. 1281 ГК РФ: срок охраны — 70 лет после смерти автора, Матисс умер в 1954 г.), поэтому идеи, формы и цвета можно свободно использовать, включая в ИИ-моделях.
Работы в технике paper cutouts Матисса с чёткими контурами, плоскими гуашевыми цветами и модульными формами идеальна для обучения, так как позволяет легко сегментировать, анализировать и генерировать вариации без потери выразительности. По этой причине приоритет работам периода 1940-1954.
Разнообразие композиций и цветовых решений
Высокое качество изображений
В итоге получилось 37 произведений — картин Матисса.
Формирование датасета
Для выполнения проекта я выбрала Kaggle, потому что он позволяет больше часов непрерывно использовать GPU. По этой причине мне было необходимо выгрузить файлы туда и сформировать свой дата-сет, я начала с этого.
Далее проверила GPU и загрузки всех необходимых библиотек: Diffusers, DreamBooth и другие.
Далее идет установка библиотек.
Анри Матисс. Аппликации
Предобработка
Подготовила все изображения, потом проверила получившиеся, чтобы удостовериться, что код работает.
Создание подписей с BLIP
Загрузила модель BLIP для создания описаний к полученным 37 изображениям.
Далее я проверила, что подписи действительно работают на 5 примерах.
Анри Матисс. Арабески
Настройка Hugging Face и Accelerate
Потом нужно было настроить Accelerate. После этого шага я зарегистрировалась в Hugging Face и прошла верификацию, чтобы подключить токен. Этот токен нужно было добавить через Kaggle Secrets.
Анри Матисс. Джаз
Начало обучения на Stable Diffusion XL
Я обучала модель Stable Diffusion XL методом DreamBooth + LoRA. Поставила среднее разрешение — 512p, чтобы обучение длилось не так долго, поставила шаги 800, а сохранение каждые 250 шагов.
Это был самый длительный этап. Обучение на 37 картинах Анри Матисса заняло 62 минуты.
