Обучение генеративной сети Stable Diffusion иллюстративной системе для визуальной коммуникации бегового клуба

Я уже давно занимаюсь бегом, но так и не присоединилась ни к одному беговому клубу. Для меня бег — это не столько про результаты, большие дистанции и строгий темп, сколько про приятный городской ритуал, которым можно заниматься почти каждый день: в хорошем настроении или усталым, после учёбы или работы — просто как способом перезагрузиться и побыть наедине с собой или рядом с другими людьми.Основная задача этого проекта — создать для канала клуба узнаваемый визуальный язык анонсов пробежек, который можно повторять и публиковать из недели в неделю, меняя сюжеты иллюстраций и актуальную информацию. Вместо стандартных спортивных афиш с агрессивной динамикой, резкими линиями и образами преодоления я выбрала другое настроение: спокойных персонажей, свободные силуэты, мягкое движение, дружелюбие и визуальную лёгкость. Эти иллюстрации должны приглашать бежать в своём ритме — независимо от скорости, уровня подготовки и спортивного опыта.

Для этого я обучила Stable Diffusion на серии иллюстраций в едином авторском стиле. Полученная модель генерирует персонажей и простые сюжетные сцены, из которых в дальнейшем собираются редактируемые афиши. На них можно самостоятельно изменять дату, время, дистанцию и место встречи.Главная идея: не одна красивая афиша, а повторяемая система коммуникации, персонажей, позволяющая готовить новые анонсы пробежек для публикации в информационном канале без создания каждой иллюстрации с нуля.

Для обучения были подготовлены мои собственные иллюстрации: 17 квадратных PNG-изображений с унифицированными описаниями. Среди сюжетов — одиночный бег, бег вдвоём, общение после пробежки, кофе, разминка, отдых и бег с собакой. Разнообразие ситуаций помогло модели усвоить не только формы конкретных персонажей, но и общие принципы стиля.

— Что было важно сохранить: коралловый контур, минимализм, цельную цветовую гамму, округлую пластику, спортивную одежду, простое изображение лиц, светлый фон.

Я использовала базовую генеративную модель Stable Diffusion XL 1.0 и подход DreamBooth LoRA. Вместо полного переобучения большой диффузионной модели LoRA позволяет сохранить отдельные компактные обученные веса, отражающие стиль набора иллюстраций. Обучение проходило в Google Colab с доступом к графическому ускорителю T4.

Сначала я подключила видеокарту и Google Диск, где хранила исходные изображения, промежуточные файлы и результат обучения. Разрешение для обучения выбиралось по объёму видеопамяти: при GPU меньше 20 ГБ — 512 × 512 пикселей. Это позволило работать с SDXL в доступной среде.

Для обучения я использовала 17 исходных иллюстраций в одной стилистике: коралловая контурная графика, простые формы, спортивные персонажи и лёгкое настроение. Изображения были сохранены в PNG размером 1024 × 1024 пикселя и собраны в ZIP-архив. В Colab архив распаковывался, после чего код проверял количество изображений и наличие подписей к каждому файлу.

Дальше я подготовила окружение для DreamBooth LoRA: установила нужные версии Diffusers, Transformers, Accelerate, PEFT и Datasets и подключила обучающий скрипт SDXL. Для локального набора изображений использовался формат ImageFolder. Отдельный файл metadata.jsonl содержал подписи, код проверял, что все 17 примеров загрузились и доступна колонка prompt, подписи помогли модели связать визуальные особенности с текстовым описанием.

В качестве базовой модели я выбрала Stable Diffusion XL 1.0, а для адаптации стиля использовала DreamBooth LoRA. Основные параметры: 500 шагов обучения, LoRA rank 16, batch size 1, gradient accumulation 2, learning rate 0.0001 и точность fp16. Во время обучения используется ключевое слово runpeachstyle, связывающее запросы с моей визуальной стилистикой. LoRA обучает дополнительные параметры, не требуя полного переобучения SDXL.