[Концепция проекта]
В моей жизни есть маленький хвостатый друг, его зовут Шеф. Он не просто мой любимый котик, а настоящий член семьи.
С самого первого дня, как он появился в нашем доме, мне хотелось запомнить каждый момент его взросления: как он спит, свернувшись клубком, как играет, как внимательно наблюдает за миром вокруг, как по-своему «работает» — охотится, исследует, требует внимания и любви.
Примеры изображений, использованных для обучения генеративной модели котенка Шефа
Как и любой кот, Шеф живёт своей неспешной, наполненной простыми радостями жизнью. В его мире всё устроено идеально. Но однажды я задумалась:
А что, если это только одна из его жизней?
Существует известная мысль о том, что у котов девять жизней. И мне стало интересно — какими могли бы быть эти другие жизни Шефа? Чем бы он занимался? Каким бы он был в других реальностях?
Примеры изображений, использованных для обучения генеративной модели взрослого Шефа
Этот проект — попытка представить эти альтернативные жизни. С помощью генеративной нейросети я обучила модель на образ своего котика, чтобы сохранить его узнаваемость, и преобразовала его в разные профессии и сценарии. Так родилась серия изображений, в которой один и тот же кот проживает множество разных жизней.
[Применение генеративной модели]
В проекте использовалась генеративная модель Stable Diffusion XL (SDXL), дообученная на собственном датасете изображений кота Шефа с помощью метода DreamBooth + LoRA.
Цель применения генеративной модели:
- адаптировать нейросеть под конкретного котика;
- сохранить узнаваемость Шефа;
- создать серию новых изображений, где один и тот же кот представлен в разных профессиях и жизненных сценариях.
Результирующие изображения Шефа в профессиях: учитель, полицейский, ученый
Результирующее изображение Шефа в профессии полицейского
Дополнительно в проекте использовались:
BLIP — для автоматической генерации текстовых описаний изображений на этапе подготовки датасета; ChatGPT — создание и уточнение текстовых промптов, оптимизация параметров обучения для снижения потребления памяти при работе в облачной среде
Результирующие изображения Шефа в профессиях: строитель, шаман, пекарь
[Этапы работы]
1. Сбор датасета Я собрала набор из 39 собственных фотографий своего кота Шефа, включая: разные ракурсы, условия освещения, изображения котёнка и взрослого кота.
2. Подготовка данных Изображения были приведены к квадратному формату (разрешение 512×512 пикселей), что обеспечило стабильность процесса обучения модели.
Для части датасета я использовала модель BLIP, которая автоматически создала текстовые описания изображений. Эти подписи применялись на этапе обучения, чтобы модель лучше связывала визуальные признаки с текстом.
Результирующие изображения Шефа в профессиях: пожарный, фермер, повар
Результирующее изображение Шефа в профессии сушиста
3. Обучение модели Модель Stable Diffusion XL была дообучена с использованием метода DreamBooth с применением LoRA.
В процессе обучения модель запоминала уникальные визуальные характеристики кота Шефа.
4. Генерация изображений После обучения я вручную писала текстовые запросы, в которых описывала разные профессии и сценарии.
Так Шеф оказался в новых ролях и стал героем серии изображений, где он проживает свои «девять жизней».
Результирующие изображения Шефа в профессиях: кондитер, мясник, металлург
[Код и процесс обучения]
Подключаю Google Drive и проверяю наличие GPU, чтобы обучать модель быстрее и сохранять файлы проекта в облаке.
Устанавливаю нужные библиотеки и скачиваю готовый скрипт для обучения Stable Diffusion XL методом DreamBooth с LoRA.
Задаю папку с датасетом и папку для сохранения результата, а также настраиваю среду для ускоренного обучения.
Автоматически создаю текстовые описания для фотографий с помощью BLIP, чтобы модель лучше связывала изображение и текст.
Подготовка датасета. Сформирован файл metadata.jsonl и проверена корректность структуры данных.
Запускаю обучение SDXL на моём датасете: модель дообучается и запоминает визуальные особенности кота Шефа.
Загружаю базовую модель и добавляю обученные LoRA-веса, чтобы использовать уже дообученную версию Шефа для генерации.
Генерирую изображения по вручную написанным промптам, меняя профессию, сцену и настроение кадра.
[Визуальный анализ]
