Синестесия: визуализация межчувственных связей

Рубрикатор:

[1] Концепция [2] Теоретическая рамка [3] Стратегии перевода: от сигнала к форме 3.1 Звук → образ 3.2 Эмоция / внутреннее состояние → форма 3.3 Синхрония между субъектами → визуальный паттерн [4] Синестезия без мозга как медиума: исторический контрапункт [5] Вывод

Когда в 1965 году Элвин Люсьер прикрепил электроды к своей голове и позволил альфа-волнам мозга управлять ударными инструментами, он поставил вопрос, который до него не формулировался так прямо: может ли мозговая активность стать самостоятельным визуальным и звуковым языком, или она лишь сырой материал, который художник всё равно вынужден интерпретировать? Партитура «Music for Solo Performer» зафиксировала этот вопрос буквально: нейросигнал в ней стал и инструментом, и нотным текстом одновременно.

Синестезия — явление, при котором стимуляция одного органа чувств автоматически вызывает реакцию другого, — давно привлекает художников как модель тотального сенсорного опыта. Однако большинство её визуальных воплощений в истории искусства оставались лишь метафорой: Кандинский сопоставлял цвет и звук умозрительно, опираясь на собственную интуицию, Скрябин вписывал цветовую строку в партитуру как поэтический жест. Нейроарт меняет эту логику радикально. Он предлагает не аналогию между чувствами, а прямой канал от мозга к визуальной форме. Нейросигнал перестаёт быть метафорой и становится материалом.

Но именно здесь возникает парадокс, который это исследование намерено рассмотреть вплотную. Нейросигнал объективен, он фиксируется прибором. Однако каждый художник, работающий с мозговой активностью, неизбежно делает выбор: какой параметр снимать, каким визуальным средством его воплощать, для кого этот перевод предназначен.

Для проверки этой гипотезы мы обратимся к нескольким художественным работам, в каждой из которых реальные нейроданные становятся основой визуального объекта.

Самыми распространенными феноменами в контексте синестезии выделяют звук, внутреннее состояние или межсубъектную синхронию. Это разнообразие позволит проследить, как меняется стратегия перевода в зависимости от того, что именно художник пытается сделать видимым.

1. Синестезия как нейрологический и художественный феномен

В нейронауке понятие синестезии описывает конкретный механизм: автоматическое, непроизвольное и стабильное возникновение одного сенсорного переживания в ответ на стимул, адресованный другому. Человек с цвето-звуковой синестезией не «представляет» цвет, слыша ноту, а напрямую его воспринимает. Это различие принципиально, потому что именно оно отделяет синестезию от аналогии.

В истории искусства, однако, граница между нейрологическим фактом и художественным приёмом систематически размывалась. Когда Кандинский писал о соответствии жёлтого цвета звуку трубы, он описывал собственный опыт, но выстраивал из него универсальную систему. Большинство художников-синестетов до появления нейротехнологий были обречены на этот сдвиг: субъективное переживание можно было только интерпретировать, но не передать напрямую. Нейроарт меняет условия задачи, делая её частично измеримой за счет научной составляющей.

2. Мозговая активность как медиум

Понятие медиума в искусстве традиционно указывает на материал, через который реализуется художественный замысел: холст, звук, тело. Когда мозговая активность становится медиумом, она занимает в этой цепочке необычное место, становясь одновременно и источником, и инструментом, и содержанием работы.

ЭЭГ фиксирует суммарную электрическую активность нейронных популяций на поверхности скальпа. Это не «мысли» или «эмоции» в прямом смысле — это паттерны, которые коррелируют с определёнными состояниями. Художник, работающий с ЭЭГ, работает именно с этой корреляцией, и выбирает, как с ней работать. Эти выборы как раз добавляют художественный аспект в, казалось бы, нейронаучное исследование.

Это делает мозговую активность медиумом особого рода. Он теряет нейтральность, и его “материальность” уже сама по себе является интерпретацией.

3. Перевод vs. документация

Важно разделить понятия перевода и документации. Документация предполагает, что существует некий оригинал, который фиксируется максимально точно. Перевод предполагает, что оригинал принципиально не может быть воспроизведён в другой системе без потерь и трансформаций. При переводе сам акт трансформации является значимым.

Нейросигнал нередко подаётся художниками и критиками именно в документальной логике: вот данные мозга, вот их визуализация. Но это описание скрывает цепочку решений, каждое из которых конструирует смысл заново. Какой параметр снимается? Через какой алгоритм пропускается? Какой визуальный язык выбирается для его воплощения, и почему именно он кажется художнику «честным» отображением внутреннего состояния?

Три выделенных понятия образуют ту самую аналитическую сетку, через которую будут последовательно рассмотрены конкретные художественные работы.

Рассматриваемые для аналитики кейсы сгруппированы по типу синестетической связи, о которых было упомянуто в начале. Мы последовательно рассмотрим перевод звука в образ, визуализацию внутренних состояний и паттерны межсубъектной синхронии.

Перевод звука в визуальный образ — это задача, которую синестезия решает автоматически и непроизвольно: человек с цвето-звуковой синестезией не выбирает, каким цветом окрасится услышанная нота, ответ вызывается органически. Именно эта “автоматичность” и отсутствие интерпретирующего зазора между стимулом и реакцией является определяющим признаком синестетического опыта.

Нейроарт в этой группе работ воспроизводит ту же логику технологически: мозговая активность, вызванная или выраженная через звук, напрямую порождает визуальную или физическую форму без того, чтобы художник выбирал, как именно её изобразить.

Вопрос, однако, в том, насколько этот канал действительно прямой. Между нейросигналом и итоговым образом всегда стоит цепочка решений. Именно эта цепочка и определяет, является ли работа синестетическим документом или синестетической конструкцией.

Работа Элвина Лусье «Music for Solo Performer» задаёт полюс минимального авторского вмешательства. Лусье прикрепляет электроды к скальпу, усиливает альфа-волны и подключает их к ударным инструментам. Те начинают вибрировать от сигнала. Итоговый арт-объект здесь — не только звуковой перформанс, но и визуал процесса: зал, провода, тело художника, неподвижно сидящего с закрытыми глазами, и дрожащие мембраны барабанов.

Это пример максимально прямого перевода, в котором физический сигнал запускает физический объект без посредников.

Дэвид Росенбум идёт в том же направлении, но усложняет задачу. Росенбум разрабатывает систему, в которой ЭЭГ нескольких участников управляет синтезом звука и генерацией нотного текста в реальном времени. У этого автора цепочка решений для получения результата удлиняется.

Росенбум первым ставит вопрос об авторстве в нейроарте: если партитура генерируется мозгом, кто её написал?

В работе «The Octave of Visible Light» Лия Чавес переносит этот принцип в пространство галереи и расширяет его до коллективного измерения. Аудитория надевает ЭЭГ-шлемы во время медитации под руководством художницы — мозговые волны зрителей в реальном времени меняют звук и свет в зале. Чавес сдвигает фокус с индивидуального перевода на коллективный, заставляя зрителя задуматься, чей именно мозг производит изображение, если источников несколько.

Это,кстати, размывает границу между автором и аудиторией, которая у Люсьера была абсолютно чёткой.

Работа с переносом звука в форму обнажают внутреннее противоречие, заложенное в самой идее нейросинестезии.

Люсьер сводит цепочку воплощения нейроарта к минимуму, и его работа находится ближе всего к синестетическому идеалу прямого канала. Росенбум усложняет систему, вводя множество источников и генеративную партитуру. Батох добавляет культурный контекст, окрашивающий сам акт перевода. Чавез растворяет индивидуальный источник в коллективном, но при этом оставляя единый синестетический звуковой объект.

Чем дальше мы движемся от Люсьера, тем очевиднее, что художник не полностью воспроизводит синестетический опыт, а создаёт его эквивалент. Вопрос о том, где заканчивается перевод и начинается фикция, остаётся открытым.

Что происходит, когда источником оказывается не внешний стимул, а внутреннее состояние? Эмоция, аффект, медитативное погружение не имеют органа восприятия, который можно было бы стимулировать извне. Они возникают изнутри и в норме не производят никакого автоматического визуального коррелята. Именно здесь нейроарт берёт на себя роль, которую синестезия выполняет для немногих: он создаёт принудительный канал между внутренним состоянием и внешней формой, делая видимым то, что в обычном опыте остаётся полностью приватным.