Концепция
Я очень люблю стиль рисования художницы loish. В основном она изображает девушек в динамичных позах с развивающимися цветными волосами. Также у неё запоминающаяся графика, часто видно штрихи, а ещё интересно, что персонажи художницы схожи чертами лиц между собой и с ней самой. Так как у loish очень колоритный и интересный стиль, я решила обучить нейросеть Stable Diffusion на её артах.
Исходные изображения
Я собрала датасет из 40 изображений, предварительно подогнав их под разрешение 512×512px.
Процесс обучения
Я решила работать в Google Colab. Сначала я создала директорию для изображений, которые будут использоваться для обучения нейросети, и загрузила в неё все файлы.
Далее я использовала BLIP для автоматического создания подписей к картинкам, которые нужны для обучения нейросети. Также добавила к описаниям идентификатор токена концепции «LOISH-style art», записав всё в jsonl-файл.
Следующим шагом освободила память и подготовила всё для обучения.
Я решила обучать нейросеть на изображениях 512×512, но задать более высокие показатели для большей точности модели. Обучение заняло около 1,5 часов.
Далее сохранила модель, запустила и начала генерировать картинки.
Результат
Я генерировала изображения, свойственные артам loish. Создавала и просто персонажей, и немного сюжетные сцены.
«LOISH-style art, a painting of a shy woman with lond hair, blue, green and purpur», «LOISH-style art, a painting of a shy woman with lond hair, blue and purpur»
Модель хорошо передала стиль и черты персонажей художницы.
«LOISH-style art, a woman with long black hair and a blue shirt holding a pink rose», «LOISH-style art, a woman in a dress and short hair holding pumpkins»
«LOISH-style art, a woman with a bird on her shoulder», «LOISH-style art, a white woman with a bird on her shoulder, blue and purpur», «LOISH-style art, a woman with a bird on her shoulder, blue»
В сложных позах и ракурсах конечности часто получались странноватыми, иногда было несколько рук или положение кистей выглядело неестественно.
«LOISH-style art, a white woman with long hair swims underwater», «LOISH-style art, a white woman with long black hair swims blue underwater»
«LOISH-style art, a woman with a black hair and a white face», «LOISH-style art, a woman with a black hair and a white face, a heart in her hands»
В датасете для обучения нейросети было всего две картинки с таким дымным эффектом, однако модель очень хорошо справилась с генерацией подобных изображений.
