Идея проекта
Дизайнеры одежды часто черпают вдохновение в искусстве. Versace создавали наряды, напоминающие шелкографию Энди Уорхола. Александр Маккуин переосмысливал картины известных художников Возрождения — от Боттичелли до ван Эйка.
Работы (Versace И. Сен-Лорана, К. Диора, А. Маккуин) и объекты искусства (Э. Уорхол, древнегреческое искусство, П. Мондриан, Я. ван Эйк)
К созданию данного проекта меня побудил опыт Э. Скиапарелли, которая совместно с С. Дали, главным художником и шоуменом XX в., разработала платье-арт-объект для герцогини Виндзорской У. Симпсон. В 1937 г. «Платье-лобстер» вызвало настоящий фурор. Это было первое в мире платье с уникальной технологией принта, и оно обладало провокационным сексуальным подтекстом: омар был изображен на подоле платья, примерно между ног женщины.
Я задумалась: а что, если создать коллекцию high-fashion одежды, вдохновленной творчеством Сальвадора Дали, с помощью нейросетей? Эта идея стала целью моего проекта и его отправной точкой.
«Омар», С. Дали (1937) // «Платье-лобстер», Э. Скиапарелли, С. Дали (1937)
План моей работы состоял из следующих этапов:
- Создание и подготовка датасета с изображениями;
- Создание текстового датасета;
- Обучение модели;
- Создание с помощью нейросети визуальных образов.
В процессе создания проекта я обращалась к Google Colab (среда, в которой я писала сам код), Stable Diffusion (для обучения генеративного ИИ), Hugging Face (для получения токена для обучения нейросети и загрузки модели на сайт), DeepSeek (для доработки моего кода и создания уникальных промтов для моей нейросети), а также Adobe Photoshop (для постобработки изображений).
Художественные работы С. Дали
Пакет изображений я собирала самостоятельно в сети Интернет. Для проекта я искала оригинальные работы Сальвадора Дали с цифровой лицензией «Public domain» («Общественное достояние»).
Описание процесса обучения
Для начала — мне было необходимо подготовить свою «рабочую среду». Я проверила видеокарту, с помощью которой работала с кодом и создавала генерации, установила базовые библиотеки для работы с текстовым AI и генерации изображений. Кроме того, было важно создать настройки для обучения моего AI-художника.
Подготовка среды обучения
Следующий этап — загрузка и просмотр моих изображений, которые будут использоваться для обучения нейросети. Все действия происходили последовательно: была создана папка для иллюстраций, загрузка изображений с компьютера. Как итог, у меня появилась возможность просмотреть загруженные иллюстрации.
Подготовка, проверка датасета и вывод изображений
Пришёл момент создания автоматического описания моих изображений! Для этого я внедрила в проект модель BLIP, умеющую описывать изображения, задала ей функцию для генерации описаний, предоставила ей список изображений и сформировала файл метаданных. В этом цикле AI описывает полученные изображения, добавляя префикс «photo in my style» и добавляет подобные записи в файл метадаты. После этого я очищаю память от модели BLIP, ведь больше она не нужна, а её удаление освобождает место для основной модели (Stable Diffusion), которую я и буду обучать далее.
Сбор изображений, создание JSONL-файла, генерация описаний, запись метаданных и очистка памяти
Мы медленно переходим к этапу обучения. Для этого я принудительно установила кодировку UTF-8 как основной для системы, а также настроила команду для библиотеки accelerate, которая управляет распределением вычислений на оборудовании. После чего совершила вход в Hugging Face Hub прямо из Google Collab!
Решение проблем с кодировкой, настройка ускорения вычислений и вход в Hugging Face
Затишье перед бурей или, другими словами, самый долгий этап проекта. Для удобной работы с данными я установила библиотеку datasets от Hugging Face. И перешла непосредственно к основной команде обучения, загрузив основную модель Stable Diffusion XL, указала на папку с моими изображениями, задала ключевой стиль проекта. Кроме того, проработала и настройки обучения и оптимизации: исходные изображения были масштабированы до 512×512 пикселей, появился эффективный размер батча в размере 6 изображений за один шаг. Необходимо было также настроить скорость, качество итоговых изображений, продолжительность процесса и сохранения.
Ключевые настройки обучения
Эта часть кода финальная и очень важная — тут происходит сохранение моей обученной модели в Hugging Face Hub. Была создана страница модели на Hugging Face Hub, а также постоянная ссылка в облако на неё.
Загрузка LoRA модели Stable Diffusion XL на Hugging Face Hub
Мы все ближе к генерации изображений. На данном этапе мне было необходимо загрузить VAE (вариационный автоэнкодер), который использовался при обучении моей модели, загрузить базовую модель SDXL и моего персонального силя (LoRA). А теперь к созданию визуала!
Последний этап перед генерацией
Итоговые изображения
Promt_1: surrealist fashion runway with exaggerated, flowing garments, melting clocks as accessories, dreamlike textures, pastel colors
Promt_2: futuristic surrealist fashion pieces with distorted patterns, abstract forms, bright colors, dreamlike textures, inspired by Dali
Promt_3: avant-garde fashion design with melting fabrics, surreal geometry, vibrant colors, Dali's abstract style, dreamlike movement
Promt_4: men's pantsuit in high fashion and in the style of Salvador Dali, abstract shapes, broken shapes, soft gradients, sleep atmosphere
Promt_5: high-fashion wedding dress in the style of Salvador Dali, abstract shapes, broken shapes, soft gradients, dream atmosphere
Promt_6: elegant evening dress with a melting clock, inspired by the works of Salvador Dali, fantastic details, bright colors, high fashion
Promt_7: dress with elements of Memory Permanence: melting shapes, golden accents, futuristic silhouette, high fashion
Promt_8: a model in a suit with soft, curved shapes reminiscent of Dali paintings, surreal background, glamorous makeup
Promt_9: fashion show models in surreal clothes soft shapes distorted lines gradients in the style of Salvador Dali high fashion
