Методы визуального восприятия способов передвижения через звук

Восприятие движения объекта — это сложный когнитивный процесс, который не сводится исключительно к обработке визуальной информации. Современные исследования в области психологии и нейробиологии убедительно демонстрируют, что человеческий мозг постоянно интегрирует данные из различных сенсорных модальностей, чтобы сформировать целостное и предсказуемое представление о мире

В этом контексте звук выступает не как пассивный фон, а как активный, регулирующий фактор, способный кардинально изменять, усиливать и даже создавать иллюзорные аспекты визуального восприятия динамики. Этот феномен, известный как мультисенсорная интеграция, является фундаментальным принципом, лежащим в основе использования звука для формирования визуальных профилей.

Глубокое понимание механизмов этой интеграции открывает широкие возможности для творческого применения звукового дизайна в кино, играх и других визуальных медиа. Ключевым механизмом, обеспечивающим эту связь, является сенсомоторный резонанс, при котором наш мозг и тело подстраиваются под внешние ритмы, что напрямую влияет на восприятие скорости и ритма движения

Одним из наиболее ярких проявлений силы звука является его способность вызывать иллюзорное движение. Феномен «звук-индуцированного визуального кажущегося движения» (SIVM) показывает, что короткие звуковые стимулы, расположенные в пространстве, могут заставить наблюдателя видеть движение между статичными световыми точками, которых нет в реальности

Это указывает на то, что звук может напрямую активировать и направлять процессы в зрительной коре головного мозга. Подобным образом, звук способен влиять на восприятие уже существующего визуального движения. Например, в так называемой «бип-скоростной иллюзии» один и тот же объект, движущийся с одинаковой скоростью, воспринимается как более быстрый, когда на его изменениях направления совпадают короткие, неконтактные звуки

Это говорит о том, что временные характеристики звука могут служить дополнительным, мощным сигналом, который модулирует нашу оценку скорости визуального объекта. Более того, исследования показывают, что звук может влиять на воспринимаемую продолжительность визуального движения; зависимость и величина этого эффекта определяются структурой самого звука

Эти иллюзии не являются просто забавными трюками; они раскрывают глубокую взаимосвязь между аудиальными и визуальными системами мозга, где звук действует как «опора», помогающая мозгу интерпретировать и уточнять информацию от зрения.

В данном исследовании я хочу рассмотреть, каким образом саунд-дизайнеры (специалисты по созданию ощущений с помощью звуков в игровых и кино- проектах) добиваются нужного эффекта, связанного с правильным восприятием персонажей и их скорости передвижения

Для этого я проведу сравнительный анализ различных музыкальных произведений и саунд-треков в рамках одного и того же способа передвижения

Для начала стоит понять, что является динамикой, которую мы рассматриваем в данных материалах:

Динамика - "характер" передвижения, который включает в себя цель героя, его вес, его отношение к текущей ситуации

Первый пример материала, который я буду рассматривать в данном блоке - мелодия погони, привязанная к персонажу Eggman популярной игры OUTCOME MEMORIES в Roblox.

Второй материал данного блока - является темой побега с лавовой зоны в игре Haste, можно сразу заметить определённые отличия от первой композиции, которые могут показать, что не смотря на одно и то же настроение и цель саундтрека они устроены по-разному

В обеих композициях наблюдается использование ударных звуков разной длины, они позволяет контролировать темп бега нарисованного персонажа, а так же его воспринимаю тяжесть (Чем дольше длина ударного звука, тем выше тяжесть персонажа)

Как основное отличие двух треков можно назвать использование вокала в теме Eggman. Данный ход даёт достаточно занимательный эффект связанный с восприятием вокала как бек-мотива (Конкретно звонкие звуки согласных, чередующиеся с растянутыми звуками гласных) они создают бит, который диктует восприятие небольшой скорости, но с большой точностью действий, что на удивление совпадает с основным геймплеем игры

Так же, в саундтреке Haste можно заметить невысокую частоту основных ударных звуков, однако благодаря удлинённому бек-мотиву воображение начинает рисовать скорость выше, чем в Outcome Memories

Первый материал данного блока - композиция Bullet Tsunami, является представителем Drift Phonk направления, что выражается сильным Distortion и повышенной аргессивностью композиции. Обычно данные треки проигрываются при дрифте на бездорожье или слабоасфальтированной поверхности

Второй материал из данного блока - Prime Turbo, является представителем жанра Eurobeat, основная аудитория которого пошла из двух разных частей мира - горных серпантинов европы и узких шоссе японии. Единственное, что объединяет две этих зоны - достаточно хорошая дорога, что и слышно в данном треке