Море как память: обучение нейросети визуальному языку и стилю Айвазовского

Можно ли обучить небольшую LoRA-модель на 15 произведениях Айвазовского таким образом, чтобы она воспроизводила не отдельные сюжеты, а характерные принципы его художественного языка — работу со светом, атмосферой, цветом, водой, небом и пространством — и переносила их на изображения, которых не было в обучающей выборке?

В качестве объекта исследования было выбрано творчество Ивана Константиновича Айвазовского. Его произведения представляют интерес для эксперимента с генеративной моделью благодаря устойчивости визуальных приёмов, повторяющихся в разных композициях. Несмотря на различие сюжетов, в его картинах можно обнаружить общие принципы построения изображения: значительную роль неба и горизонта, контраст света и тени, сложную атмосферную перспективу, выразительную работу с отражениями на воде, драматическое состояние природной среды и характерную систему холодных и тёплых цветовых отношений.Поэтому обучение модели рассматривалось не как попытка заставить нейросеть копировать конкретные картины, а как эксперимент по выявлению и переносу повторяющихся визуальных закономерностей.

Обучающая выборка состояла из 15 произведений. Небольшой объём датасета был выбран намеренно: эксперимент должен был показать, насколько LoRA способна извлечь устойчивые визуальные закономерности из ограниченного количества примеров. При этом изображения подбирались таким образом, чтобы в выборке присутствовали различные состояния моря, освещения, времени суток и композиции.

При формировании датасета основной задачей было избежать чрезмерной однородности изображений. Если бы все изображения представляли только один тип морского пейзажа, модель могла бы связать специальный токен не столько со стилем, сколько с конкретным содержанием — например, с кораблями или морем. Поэтому в выборку включались произведения с различным состоянием воды, освещением, временем суток и характером композиции.

Живопись Ивана Айвазовского отличается выразительным академическим направлением маринистики и характеризуется рядом устойчивых художественных особенностей.

Одной из ключевых черт является эффект внутреннего свечения волны, достигаемый за счёт тонкой передачи прозрачности морской воды и прохождения через неё солнечного или лунного света.

Важную роль играет драматическое освещение, основанное на использовании контрастных световых акцентов, таких как отражения на поверхности воды, закатное сияние или холодный свет луны.

Особое внимание уделяется передаче движения морской стихии, что проявляется в детализированном изображении различных состояний моря — от спокойной поверхности до мощных штормовых волн с проработанной пеной.

Кроме того, композиции часто имеют романтический характер и отличаются масштабностью, нередко раскрывая тему противостояния человека и природной стихии.

Исходные изображения:

Для создания датасета использовано 15 картин художника, находящихся либо в публичном достоянии, либо имеющих лицензию CC0.

Для проверки того, что модель усвоила именно стилевые признаки, а не только содержание исходной выборки, часть генераций была выполнена на сюжетах, отсутствующих в обучающем датасете. Таким образом, море и корабли были исключены из некоторых промптов. Полученные результаты позволяют наблюдать, какие особенности исходного визуального языка сохраняются при переносе на принципиально другой объект изображения.

Для обучения была выбрана модель Stable Diffusion XL (SDXL) Base 1.0. В качестве метода дообучения использовался DreamBooth LoRA. Такой подход позволяет адаптировать уже существующую генеративную модель под определённый визуальный стиль, не переобучая всю модель целиком.В качестве обучающей выборки использовались 15 квадратных изображений картин Ивана Айвазовского. В подборку вошли произведения с различными состояниями моря и атмосферы: спокойные и штормовые сцены, корабли, закаты и рассветы, ночное освещение, драматические облака и контрастное освещение. Такое разнообразие было необходимо для того, чтобы модель обучалась не конкретному сюжету, а повторяющимся особенностям художественного языка.