Во время прогулок я часто практикую включенное наблюдение, когда нужно находить какие-нибудь определенные объекты или свойства и фиксировать их. Для проекта решила использовать материалы одного из мини-походов, в котором собирала фактуры: мох, ржавчину, разные орнаменты, кору — всё, что попадалось на глаза из текстур.
Такие фотографии я позже использовала для экспериментов в дизайне, поэтому решила обучать нейросеть на 32 своих снимках из этой туманной прогулки — чтобы у меня всегда был безлимитный запас материалов для своих творческих работ. Нейросеть научилась придумывать новые фактуры в том же настроении — и заодно выучила мой способ смотреть на мир.
Пример исходных фотографий
Идея проекта
Раньше я собирала фактуры только вручную, на прогулках, с телефоном в руке. Получалось, что каждая фотография — это всего одна-единственная поверхность, и если её не хватает, нужно снова идти и искать.В этом проекте я попробовала другой путь: обучить Stable Diffusion XL на собственной коллекции, чтобы получить генератор фактур в том же настроении.
Датасет
В обучение вошли 32 фотографии, сделанные на iPhone. Примерно поровну природных текстур (мох, кора, хвоя, туя, вода, дрова) и рукотворных (кладка, брусчатка, изразцы, резная решётка, золочёный рельеф, ржавый металл, крашеное дерево).Для подготовки к генерации и обучению я перевела фото из HEIC в JPG и обрезала до формата квадрата. К каждому изображению создана подпись моделью BLIP, а в начало подписи добавлен триггер стиля: «macro texture photo in TRAILTEX style».Также отбирала фото так, чтобы у них было что-то общее: съёмка сверху или вплотную, рассеянный пасмурный свет, приглушённые серо-зелёные и ржавые цвета, следы времени и сырости.
Генерации. Создание новых текстур
Сильнее всего модель проявила себя там, где я прошу ее придумать поверхность, которой не было в датасете. Ни одна из этих фактур не была снята, и меня очень радует, что нейросеть получилось обучить фотореализму, будто это все мои фото с той же прогулки.
Мох на камне и ржавчина — смесь двух самых частых материалов датасета в одной поверхности. Промпт: macro texture photo in TRAILTEX style, unseen weathered surface, moss, stone and rust
Брусчатка, проросшая мхом — модель взяла форму плитки из рукотворных кадров и «заселила» её природой. Промпт: macro texture photo in TRAILTEX style, ornamental tile pattern overgrown with moss
Лёд с листьями — такого кадра в наборе нет, но есть вода, листва и холодный свет. Промпты: macro texture photo in TRAILTEX style, frozen puddle with leaves and reflections и macro texture photo in TRAILTEX style, frozen puddle with leaves trapped in ice
Золотой лист с трещинами. Промпт: macro texture photo in TRAILTEX style, a leaf made of gilded metal with cracks
Мозаика из голубых изразцов. Промпт: macro texture photo in TRAILTEX style, a butterfly wing made of blue ornamental tiles
Краска на старом дереве. Промпт: macro texture photo in TRAILTEX style, cracked blue paint on old wet wood
Плетение. Промпт: macro texture photo in TRAILTEX style, a woven basket made of pine needles
Лишайник на камне. Промпт: macro texture photo in TRAILTEX style, a pebble with golden veins and lichen
Дополнительные эксперименты
Понятно, что по моей датабазе легко делать проработанные текстуры, но что, если попросить нейросеть создать фото человека? Или кружки?
Я решила провести эксперимент и на серии промптов опробовать, что может сделать обученная мной нейросеть, а какие визуальные образы она потеряет. Начала с привычных небольших предметов, которые можно встретить на земле.Оказалось, что их модель сохраняет: она кладёт их на фактуру, как будто я наклонилась и сфотографировала что-то.
Ракушка на мшистом камне и россыпь ракушек. Объект сохранился целиком, фон стал типичной поверхностью из датасета. Промпт один: macro texture photo in TRAILTEX style, a seashell made of weathered stone and moss
Гриб во мху сохранился полностью и очень хорошо. Промпт: macro texture photo in TRAILTEX style, a mushroom growing out of mossy masonry
Перо на ржавом металле. Промпт: macro texture photo in TRAILTEX style, a feather made of rusted metal
Переходные объекты: иногда нейросеть частично сохраняла форму, но все равно старалась смешать ее с обычной текстурой.
По итогу я вывела некое общее правило: сохраняются те предметы, которые можно поместить в кадр, снятый сверху или вплотную. Модель не знает другого ракурса.
Лицо, проступающее сквозь кору. Промпт: macro texture photo in TRAILTEX style, a portrait of a woman made of bark, lichen and cracked plaster
Голубая чашка в коре. Промпт: macro texture photo in TRAILTEX style, a teacup made of weathered blue ceramic and bark
Большие объекты и сцены модель превращает в материал. Я поняла, что она специально отказывается от формы в пользу текстуры поверхности, согласно датасету.
Куртка из хвои и мокрого дерева. Промпт: macro texture photo in TRAILTEX style, a jacket sewn from pine needles and wet wood
