Палитра звука: связь между акустикой, эмоциями и визуальными образами
Концепция ВИ: Визуальное исследование направлено на выявление взаимосвязей между звуком, эмоциональными реакциями и визуальными образами, выраженными посредством цвета, движения и формы. Звук рассматривается как наглядный художественный язык, источник эмоционального воздействия и визуальной информации.
Цель: Выявить, как звуковые характеристики соотносятся с визуальными и эмоциональными паттернами.
Актуальность: В современном мире мультимедиа и цифрового искусства возрастает потребность в понимании того, как звук влияет на эмоции и визуальное восприятие. Комбинация звука, формы и цвета лежит в основе кино, дизайна, рекламы и др. Изучение этих связей помогает создавать более выразительные, эмоционально точные и понятные визуальные системы, а также развивать искусство, психологию и современные креативные индустрии с разных сторон.
Связи между акустикой, эмоциями и визуальными образами рассматривает психоакустика.
Психоакустика изучает, как человек воспринимает звук, как он его ощущает и интерпретирует. Почему одни сочетания нам слышатся приятными, а другие — нет; почему одинаковые частоты воспринимаются по-разному и др.
Как ухо воспринимает звук: звуковая волна проходит через наружное ухо, усиливается в среднем и превращается в колебания во внутреннем ухе. В улитке волосковые клетки преобразуют колебания в импульсы, которые идут в мозг и интерпретируются в звук.
Строение уха
Эмоции и звук
Звук играет важную роль в состоянии человека и восприятии мира. Он воздействует напрямую, минуя логическое осмысление, что позволяет быстро менять настроение и моментально формировать реакции. Эмоции, в свою очередь, помогают человеку интерпретировать звуковые сигналы и связывать их с опытом.
Звук характеризуется: частотой (высотой тона), громкостью (силой звучания), тембром (окраской, позволяющей отличать инструменты при одинаковой ноте) и ритмом (организацией звуков во времени).
Музыка активирует области мозга, отвечающие за эмоции, удовольствие и память.
Музыка способна: • снижать уровень стресса; • поднимать настроение; • вызывать ностальгию и воспоминания; • помогать сосредоточиться или наоборот — расслабиться; • усиливать эмоциональное восприятие визуальных объектов: фильмов, игр, театральных постановок.
Разные элементы музыки по-разному влияют на психику: • Мелодия может передавать грусть, тревогу, радость, или умиротворение. Мягкие нисходящие мелодии успокаивают, а резкие восходящие создают напряжение; • Ритм определяет динамику эмоциональной реакции. Быстрый ритм повышает энергию и бодрит, медленный — расслабляет; • Тембр влияет на глубину переживаний: тёплый мягкий звук вызывает чувство комфорта, холодный или резкий — тревогу или напряжение; • Гармония может быть приятной и устойчивой — вызывая чувство спокойствия, или диссонансной — создавая ощущение смятения, ожидания.
Человек часто связывает определённые звуки с конкретными эмоциональными состояниями, формируя устойчивые ассоциации.
Ассоциации между звуком и настроением: • Природные звуки (шум дождя, море, ветер) обычно ассоциируются со спокойствием и умиротворением; • Высокие звуки — могут вызывать напряжение или тревогу, так как в природе резкие высокие сигналы часто предупреждают об опасности; • Низкие частоты — погружают в расслабленное или задумчивое состояние, но иногда могут вызывать ощущение тревоги, если звук слишком мощный; • Резкие, внезапные звуки — вызывают испуг, так как активируют инстинктивные реакции; • Голос с мягкими интонациями ассоциируется с заботой, спокойствием; громкий и резкий — с агрессией или возбуждением.
Ассоциации могут быть: • универсальными (например, тихий звук — спокойствие); • культурными (принадлежащие определённым народам, например, традиционные музыкальные инструменты); • личными (связанными с опытом конкретного человека).
Визуализация звука
Визуализация звука — это различные способы «увидеть» звук (на экране, в реальном объекте или в интерактивной инсталляции).
Спектрограммы — графические изображения звука. Позволяют: • видеть структуру речи и музыки (паузы, ноты, шумы), • сравнивать разные звуки, • давать нейросетям «картинку звука» для классификации или распознавания речи.
Cymatics (киматика) — это визуализация звука через физические среды: • песок на металлической пластине (Chladni plate), • вода, • тонкие мембраны, жидкости и т. п. Пластину вибрируют звуком, и частицы (песок, вода) сами выстраиваются в сложные геометрические узоры.
Киматика используется: • в научных экспериментах с резонансом и шумом, • в инсталляциях (art & science), • как способ интуитивно показывать «форму» звука.
Генеративная графика в контексте звука — изображение порождается алгоритмом, который реагирует на аудио
Используется в: • VJ-сетах, лайв-перфомансах, • генеративных арт-инсталляциях, • веб-проектах с WebGL/Three.js.
Синестезия
Синестезия — это особенность восприятия, при которой одно чувство автоматически активирует другое. Например, человек может «видеть» звуки или «чувствовать» цвета.
Синестезия звука — это форма синестезии, при которой звуки автоматически вызывают дополнительные чувственные ощущения.
Виды синестезии звука: 1. Цветовой слух (chromesthesia) Человек слышит звук и видит цвет (самый распространённый). Эти цвета не воображаются добровольно, а возникают автоматически и стабильно.
2. Тактильная синестезия звука Человек ощущает звук телом, как вибрацию, давление, покалывание. Например, звук флейты вызывает тепло в руках, громкий ритм — пульсацию в груди.
3. Пространственная синестезия Звук ощущается как находящийся в определённом месте или расстоянии, даже если физически это не так.
4. Вкусовая синестезия звука Звуки вызывают вкусы (например: человек от буква «М» чувствует шоколад во рту) (редкий).
5. Ассоциативная синестезия звука Человек ассоциирует звук с конкретным предметом, материалом, природным явлением и другими объектами обладающими своими собственными видимыми характеристиками.
Синестезия бывает также бимодальная (синестезия 2х чувств) и мультимодальная (при которой стимуляция одной системы вызывает одновременные ощущения нескольких других чувств).
Учёные предполагают, что синестезия образуется у тех: • кто имеет более тесные связи между сенсорными зонами мозга, • или более слабые «фильтры» между анализаторами. У 3–4% людей есть какой-то вид синестезии. Синестезия не является болезнью, для носителей этого феномена такие ощущения естественны и постоянны.
Некоторые особенности синестезии звука: • Непроизвольность. Ощущения нельзя специально вызвать или подавить, хотя их интенсивность может зависеть от обстоятельств в конкретной ситуации; • Восприятие как часть внешней среды. Это не воображение, человек действительно слышит цвет, видит звук и так далее; • Стабильность восприятия. Оно не меняется с течением времени, не зависит от ситуаций, остается неизменным соотношение цвет — звук; • Влияние на память. Синестетические ощущения лучше запоминаются; • Влияние на эмоции. Опыт может быть связан с удовольствием.
Синестеты
1. Оливье Мессиан 2. Николай Римский-Корсаков 3. Александр Скрябин 4. художник Василий Кандинский
Некоторые области применения синестетических подходов: • Искусство. Синестезия позволяет передавать, например, музыкальные впечатления через визуальные образы или наоборот. В эпоху цифровых технологий и виртуальной реальности синестезия становится инструментом для создания новых форм искусства: мультисенсорные инсталляции, интерактивные выставки, цифровые произведения, реагирующие на звук и движение. • Арт-терапия. Синестетические подходы используют в лечебных целях, например, для эмоциональной регуляции (цветотерапия) или развития творческого потенциала.
• Образование. Синестезия помогает улучшить процесс обучения искусству, например, за счёт междисциплинарного подхода (объединение уроков музыки и изобразительного искусства) или развития образного мышления у детей через синестетические игры. • Лингвистика. Фиксирует межчувственную связь вербально («серебристый звук», «кричащий цвет»). • В поэтике — для создания тропов и фигур, основанных на межчувственных переносах («звук литавр — алый, флейты — голубой»). • В музыковедении — для описания зрительных образов, которые возникают при восприятии звуков.
Саунд-арт
Саунд-арт — направление современного искусства, использующая звук как основной материал. Она возникла на стыке музыки, визуального искусства, технологий и перформанса. В XX–XXI вв. саунд-арт стал одной из важнейших форм медиа-арта, расширяя представления о том, что такое «музыка» и «слуховой опыт».
Истоки (до 1950-х)
Термин появляется позднее, но предпосылки саунд-арта зарождались в авангарде начала века. Футуризм, дадаизм, баухаус, экспериментальная акустика — эти направления подрывали традиционное понимание музыки и открывали путь новым аудиоформам.
1950–1970-е
Рождение саунд-арта как жанра: развитие инсталляции как художественной формы; появление работ, где звук становится самостоятельным объектом. Развитие магнитной ленты, радиопередач, первых синтезаторов.
1980–2000-е
Появление новых направлений: саунд-инсталляции крупных масштабов, интерактивное искусство, саундскейп-исследования, концептуальный саунд-арт. А также произошла институционализация саунд-арта: появились фестивали: (Ars Electronica, Sonar, Transmediale), и саунд-арт-отделения в музеях и центрах медиаискусства.
XXI век Современный этап — постцифровой саунд-арт.
Характеризуется: • Использованием Алгоритмов, AI, нейросетей. • Иммерсивными пространствами, многоканальным звуком. • Биосигналами, датчиками, движением, генеративными системами. • Экологической тематикой: саундскейпами природы.
Типы саунд-арта: • Саунд-инсталляции (пространственные, интерактивные), • Звуковые скульптуры, • Полевые записи, • Тактильные и виброакустические работы, • Звуковое видео-искусство, • Данные → звук (sonification), • Перформативный саунд-арт.
Тренды: • Саунд-арт в VR/AR, • Экологический саунд-дизайн, • Соноры как часть городской архитектуры, • Онлайн-саунд-инсталляции.
Анализ
Респондентам было предложено прослушать 4 композиции и охарактеризовать каждую из них, для выявления паттернов, по которым звуковые характеристики соотносятся с эмоциональными и визуальными.
• Звуковая характеристика: тёплый тембр, легкий пружинистый ритм, «солнечные» гармонии.
• Эмоциональная характеристика: звук «улыбается», вызывает желание двигаться; тёплая, солнечная энергия, поднимает настроение.
• Визуальные ассоциации: улыбки, у многих появляются образы прыгающих пятен, солнечных брызг, пушистых линий. Также большинство видят яркие, но мягкие цвета (жёлтый — солнечность, оранжевый — тепло, розовый — игривость).
• Телесные ощущения: микродвижения и подергивания в руках и ногах, лёгкая вибрация в груди, улыбки, желание прыгать, кружиться.
• Звуковая характеристика: тембр мягко-холодный, плачущая группа струнных, медленное развитие музыки.
• Эмоциональная характеристика: медленная грусть, чувство одиночества и застывшего времени, отстранённость.
• Визуальные ассоциации: большинство видят холодную палитру (серо-голубые, стальные, холодно-фиолетовые оттенки) лед, холодный туман, рассеянный или лунный свет, образ пустой улицы.
• Телесные ощущения: холодок по спине, медленное глубокое дыхание, плавное движение будто через силу, чувство что все сжалось и появился ком в горле.
• Звуковая характеристика: Почти нет резких акцентов — всё растворяется в мягкости, атмосферные природные звуки и шумы, образы спокойной воды, лесной прогулки, рассвета.
• Эмоциональная характеристика: мягкое расслабление, желание глубоко выдохнуть, внутреннее замедление, ровное дыхание, чувство защищённости, спокойствие.
• Визуальные ассоциации: легкий туман в лесу, теплый свет, просеивающийся через листья, плавные линии, как дыхание.
• Телесные ощущения: расслабление тела, тепло в груди, тишина в голове, снижение темпа мыслей, концентрация на дыхании. Чаще всего видят пастельные тона (пастельно-голубой — чистый воздух, кремовый — спокойствие, светло-зелёный — природная свежесть).
• Звуковая характеристика: глубокие, «приземлённые» барабаны, тяжёлые синтетические и оркестровые слои создают густую, туманную атмосферу, хор добавляет накала и повышает напряжение.
• Эмоциональная характеристика: чувство, что «что-то надвигается», усиление тревоги и трепета, ощущение подготовки, ожидание большого события.
• Визуальные ассоциации: движение, полет камеры, большой или многочисленный объект. Густые цвета: графитовые, болотно-зелёные, темно-синие.
• Телесные ощущения: учащается пульс, тело становится тяжелее, напряжение в солнечном сплетении, ощущение что ты становишься меньше, по сравнению с окружающим миром.
Выводы
Таким образом, можно заметить, что между эмоциональными, звуковыми и визуальными характеристиками существует прочная закономерная связь. Использование их комбинаций поможет создавать более выразительные, эмоционально точные и понятные визуальные системы, которые можно будет использовать в мультимедиа, цифровом искусстве и др. Именно поэтому появился и активно развивается саунд-дизайн. Зная комбинации, можно их развивать и дальше, пробуя нетрадиционные решения для передачи пограничных, сложных эмоций и настроений.
Allison Eck. How Music Resonates in the Brain // Harvard Medicine: the magazine of Harvard Medical School. — 2024. — URL: https://magazine.hms.harvard.edu/articles/how-music-resonates-brain (дата обращения: 15.11.2025);
Cymatics: The Visualization of Sound // KEF: The Art & Science of Sound. — 2020. — URL: https://ca.kef.com/blogs/news/cymatics-the-visualization-of-sound (дата обращения: 16.11.2025);
Olga Bogdashina. Synaesthesia in autism // National Autistic Society: Professional practice. — 2016. — URL: https://www.autism.org.uk/advice-and-guidance/professional-practice/synaesthesia (дата обращения: 17.11.2025);
Sean Andrew Day. About synesthesia / Sean Andrew Day, Anton V. Sidoroff-Dorso // Synesthetes: A Handbook. — 2021. — URL: https://psyjournals.ru/nonserialpublications/synaesthesia2021/contents/synaesthesia2021_about_synesthesia.pdf (дата обращения: 19.11.2025);
Zengyao Yang. Music tempo modulates emotional states as revealed through EEG insights / Zengyao Yang, Qiruo Su, Jieren Xie [and etc] // Nature: scientific reports. — 2025. — URL: https://www.nature.com/articles/s41598-025-92679-1 (дата обращения: 17.11.2025);
Аксёнова, О. Синестезия // Гемотест: [сайт]. — Москва. — 2024. — URL: https://gemotest.ru/info/spravochnik/zabolevaniya/sinesteziya/ (дата обращения: 18.11.2025);
Алдошина, И. Основы психоакустики // Оборонгиз. — Москва. — 2000. — URL: https://keklab.ru/buf/ai/psychoacoustics.pdf?ysclid=mi77a6a37w862726712 (дата обращения: 17.11.2025);
Лупенко, Е.А. «Цветной слух» — реальность или миф? // PsyJournals.ru: Экспериментальная психология, 5(3), 32–43. — 2012. —URL: https://psyjournals.ru/journals/exppsy/archive/2012_n3/53991 (дата обращения: 18.11.2025);
Плейстон, С. Психоакустика: как наш мозг воспринимает звук // Dr.Head: [сайт]. — 2025. — URL: https://doctorhead.ru/blog/psikhoakustika-kak-nash-mozg-vosprinimaet-zvuk_abc/ (дата обращения: 18.11.2025);
Столбова, П. А. Возможности применения генеративной модели для создания звуковых ландшафтов в выставочной деятельности // CYBERLENINKA: [сайт]. — 2025. — URL: https://cyberleninka.ru/article/n/vozmozhnosti-primeneniya-generativnoy-modeli-dlya-sozdaniya-zvukovyh-landshaftov-v-vystavochnoy-deyatelnosti (дата обращения: 16.11.2025);
Журавлёва, Л. Знакомьтесь, звук: что такое спектрограмма // Звук Медиа: [сайт]. — Москва. — 2022. — URL: https://go.zvuk.com/v-trende/znakomtes-zvuk-chto-takoe-spektrogramma.htm (дата обращения: 17.11.2025);
Феномены восприятия: синестезия // Планета Здоровья: статьи. — 2024. — URL: https://planetazdorovo.ru/about/articles/fenomeny-vospriyatiya-sinesteziya-454/ (дата обращения: 19.11.2025).
Cymatics: The Visualization of Sound // KEF: The Art & Science of Sound. — 2020. — URL: https://ca.kef.com/blogs/news/cymatics-the-visualization-of-sound (дата обращения: 16.11.2025);
The University of Waikato Te Whare Wananga o Waikato: Sounds can be louder or softer, higher or lower: [сайт]. — URL: www.sciencelearn.org.nz (дата обращения: 16.11.2025);
Trends in Cognitive Sciences: [сайт]. — URL: https://www.cell.com/trends/cognitive-sciences/home (дата обращения: 17.11.2025);
Pinterest: [сайт]. — URL: https://id.pinterest.com/pin/691724823988825335/?utm_medium=organic&utm_source=yandexsmartcamera (дата обращения: 16.11.2025);
Zengyao Yang. Music tempo modulates emotional states as revealed through EEG insights / Zengyao Yang, Qiruo Su, Jieren Xie [and etc] // Nature: scientific reports. — 2025. — URL: https://www.nature.com/articles/s41598-025-92679-1 (дата обращения: 17.11.2025);
Казионова, Л. Ф. Анатомия, физиология и патология органов слуха, речи и зрения: учебное пособие / Л. Ф. Казионова, под науч. ред. С. В. Низкодубовой // ФГБОУ ВПО «Томский государственный педагогический университет». — 2013. — URL: https://fulltext.tspu.ru/OA/m2013-02.pdf (дата обращения: 17.11.2025).
