Ван Гог XXI века» — перенос живописного стиля Винсента Ван Гога в новые сцены с помощью Stable Diffusion XL
Идея проекта
Цель — дообучить генеративную нейросеть Stable Diffusion XL так, чтобы она научилась рисовать в узнаваемом живописном стиле Винсента Ван Гога: характерные вихревые мазки, густая фактура краски, насыщенный цвет, экспрессивная манера
Концепция: взяв всего 35 подлинных картин Ван Гога (находящихся в общественном достоянии), обучить
LoRA-адаптер, который «понимает» этот стиль, а затем применить его к современным и произвольнымсюжетам, которых у художника быть не могло — городская улица, портрет, спортивная машина, натюрморт.
Так проверяется главный вопрос: сможет ли модель отделить стиль от содержания и переносить манеру Ван Гога на любые новые сцены
Почему именно этот выбор: стиль Ван Гога визуально очень выразителен и узнаваем, а его работы в общественном достоянии (public domain), что полностью соответствует требованиям к датасету (разрешено использовать материалы со свободной лицензией)
Исходные изображения для обучения (примеры):
Результирующая серия изображений
Сюжеты серии (генерировались по текстовым промптам с триггером in vangogh style):
— кот в стиле Ван Гога;
— городская улица в стиле Ван Гога;
— женский портрет в стиле Ван Гога;
— горный пейзаж в стиле Ван Гога;
— натюрморт с фруктами в стиле Ван Гога;
— спортивная машина в стиле Ван Гога
Что представлено и как связано с идеей?
В итоговой серии разные современные и нейтральные сюжеты показаны в единой живописной манере. Это прямо отражает концепцию: модель не копирует конкретные полотна, а переносит выученный стиль на новое содержание
Какие элементы стиля удалось передать?
Модель уверенно воспроизвела ключевые признаки манеры Ван Гога:
— характерные вихревые, закрученные мазки и плотная вертикальная «штриховка» фона;
— густая фактура импасто — ощущение рельефной масляной краски;
— узнаваемая палитра: изумрудно-зелёный, хромово-жёлтый, кобальтово-синий;
— экспрессивное закрученное небо в пейзаже — прямая перекличка со «Звёздной ночью»
Видны и отсылки к конкретным работам: кот решён как его автопортреты (фигура в «пиджаке» на вихревом фоне), уличная сцена напоминает «Ночную террасу кафе», женский портрет — зелёный фон с белыми цветами, как в «Цветущем миндале»
Соответствие первоначальной идее
Главная гипотеза подтвердилась: модель отделила стиль от содержания и перенесла живописную манеру на сюжеты, которых у художника быть не могло. Лучше всего стиль лёг на органические/природные сюжеты (пейзаж, натюрморт с фруктами, портрет) — там мазки и палитра максимально убедительны. На техничном объекте (спортивная машина) стиль тоже применился, но сюжет сопротивляется сильнее: композиция менее естественна, хотя фактура и цвет остаются «вангоговскими». Все 6 кадров держат единую манеру и палитру — значит LoRA выучила именно стиль, а не запомнила отдельные полотна
Детали генерации
- базовая модель: Stable Diffusion XL base 1.0 + VAE sdxl-vae-fp16-fix;
— метод: DreamBooth + LoRA (ранг 16), триггер-токен стиля — vangogh;
— подписи к обучающим картинам сгенерированы моделью BLIP и дополнены префиксом in vangogh style,
(приём из шаблона курса — связываем стиль с токеном);
— приёмы под бесплатный T4: 8-bit Adam, gradient checkpointing, fp16, SNR-gamma = 5;
— обучение: [500 / 800] шагов. Генерация: DPM-sampler, 30 шагов, guidance 7.0
Визуальный анализ (чем кадры отличаются)
- самый сильный перенос стиля: пейзаж (закрученное небо, импасто) и портрет женщины (фон с цветами,
плоскостная декоративность) — почти неотличимы от поздней манеры Ван Гога;
— крепко: кот и уличная сцена — узнаваемая композиция и палитра, хорошая фактура;
— слабее: спортивная машина — стиль наложен, но геометрия объекта «спорит» с живописной манерой;
— закономерность: чем органичнее сюжет, тем естественнее ложится стиль; чёткие рукотворные объекты
требуют больше шагов обучения или понижения lora_scale;
— артефактов (искажённых лиц/рук) в серии практически нет; палитра стабильна во всех кадрах
Код и процесс обучения
Как проходило обучение:
1. датасет: 35 картин Ван Гога (public domain) приведены к 1024×1024;
2. авто-подписи BLIP → metadata.jsonl (колонка prompt, префикс in vangogh style, );
3. обучение LoRA поверх SDXL скриптом train_dreambooth_lora_sdxl.py из diffusers (~[30–60] мин, T4);
4. инференс: к базовой SDXL подгружены веса LoRA, сгенерирована серия по набору промптов со стилем;
5. тюнинг: [если менял — число шагов, lora_scale при fuse_lora]
Описание применения генеративной модели
В проекте использованы генеративные нейросети:
— Stable Diffusion XL base 1.0 (https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0) дообучена методом DreamBooth-LoRA на картинах Ван Гога и применена для генерации итоговой серии;
— BLIP (Salesforce) — для автоматических подписей к обучающим изображениям
Цель применения: обучение модели живописному стилю и генерация итоговой серии изображений
