Original size 1107x1468

Визуализация звука: от нот к авангардному кино и звуковой скульптуре

PROTECT STATUS: not protected
This project is a student project at the School of Design or a research project at the School of Design. This project is not commercial and serves educational purposes
The project is taking part in the competition

Рубрикатор

— Введение — С чего всё началось: Нотные рукописи как визуальная поэзия — Графическая звукозапись — Абстрактная анимация — Саунд-арт и звуковая скульптура: материализация звука — Заключение

Введение

Визуализации звука занимает особое место в истории искусства, объединяя в себе эстетику, технологию и восприятие, являясь очень интересным и красочным виденьем творцов. С момента появления нотного письма и музыкальной записи человек стремился не только слышать, но и видеть музыку. Фиксировать ее «форму», ритм, темп и эмоциональную окраску через зрительные образы. От первых графических нотных листов, где каждый знак соответствовал какому-то ритмическому значению, до современных аудиовизуальных инсталляций и цифровых дорожек, переводящих звук в цвет, движение и свет, путь визуализации звука — это история расширения границ чувств и поиска новых способов восприятия ощущениями.

Музыка и изображение на протяжении веков развивались как взаимодополняющие формы выражения. Уже в эпоху Возрождения композиторы и художники интересовались мелодии в картинах, а теоретики, пытались найти гармонию между акустикой и спектром света. В XVIII веке появляются первые «цветомузыкальные» инструменты, созданные, чтобы превращать музыкальные тона в цветовые комбинации. Однако настоящий бум интереса к звуковым композициям произошёл в XX веке, когда художественные авангарды — от конструктивизма до сюрреализма — начали осознанно работать со звуком, не только как с вещью для создания музыки, пытаясь преодолеть границы привычного понимания шума.

Визуализация звука становится не только техническим процессом, но и философскими идеями. Художники и композиторы авангарда создавали произведения, где звук и изображение существовали в едином целом. Их работы можно рассматривать как визуальные партитуры, в которых линия, цвет и движение становятся чем-то обособленным от чисто музыки и чисто скульптур или картины. Так, «звук» перестает быть исключительно акустическим явлением — он обретает форму, а зрение начинает «слышать».

В середине XX века визуализация звука выходит за рамки статичного изображения и проникает в сферу кино, анимации и пространственных инсталляций. Авангардное кино становится лабораторией для экспериментов с восприятием: режиссёры исследуют синхронизацию света и звука, ритмическую монтажную структуру, изменение формы под воздействием темпа и ритмов. Работы Фишингера, Макларена и других авторов открывают путь к современным музыкальным клипам и визуальному контенту в цифровых медиа. Одновременно с этим в художественных практиках формируется новый жанр — звуковая скульптура, в которой звук становится материальной фигурой, способной формировать пространство. Скульпторы и медиа-художники начинают воспринимать звуковые волны как материал на подобии пластилина, создавая объекты и инсталляции, где взаимодействие звука, формы и зрителя образует единое неразлучное целое.

Современные технологии открывают художникам и исследователям новые горизонты для изучения звука как визуального явления. Программы анализа спектра цветов, генеративная графика, музыка по алгоритмам и системы редактирования аудио позволяют буквально «увидеть» звуковую волну в виде динамических линий, световых потоков и трехмерных моделей. Эти процессы не только расширяют границы языка для художников, но и меняют само восприятие звука: он становится событием, которое можно не только услышать, но и пережить визуально и телесно.

Инсталляция, созданная для музыкального клипа на трек «I Will Never Change»; Бенга (Benga); 2013

Это визуальное исследование направлено на то, чтобы углубится в историю визуализации звука — посмотреть с чего начиналось виденье человеком звука и к чему пришло, затрагивая при этом разные сферы искусства. Главной же целью будет выявить как поменялись не только вид визуализации, но и что хотели донести авторы, их цели.

С чего всё началось: Нотные рукописи как визуальная поэзия

Самыми первоначальными попытками визуализации можно считать «Невмы». До них в основном песни писались лишь в словах, никак не визуализируя саму составляющую музыки.

Original size 1184x740

Образец невменной адиастематической нотации; уже является общественным достоянием, поэтому автора нигде не указывают; средние века

Невмы — это знаки нотного письма, применявшиеся в Европе в средние века. Самый древнее невменное письмо, что было найдено датировано IX веком.

Если считать, что музыка, как и пение является шумом, а шум — это набор звуков, то данные обозначения примерной направлении мелодии для церковных хоров является первой попыткой записать звук в виде текста.

Хоральная нотация; автор также неизвестен; на рубеже XIV и XV веков Армянские невмы; автор также неизвестен; рукопись около IX века

Именно от невм пошли более современные ноты и нотные листы, что были изобретены Гвидо д’Ареццо в 11 веке для более лёгкого распознания звуков детьми его хора.

Для своих певчих он даже создал специальную «Гвидонову руку», на каждой костяшке которой располагалась звук и при разгибании и сгибании определённого пальца указывал на ту или иную ноту.

Мемориальная доска Гвидо в Ареццо; начало XI века Гвидонова рука; Гвидо д’Ареццо; начало XI века

Ноты не встали на месте и продолжили развиваться другими композиторами, более известными людьми: Бах, Моцарт и другие композиторы.

В том числе и Бетховен, что по известному факту начал терять слух в молодом возрасте, но всё равно у него получалось «видеть» музыку и сочинять её в нотах.

Автографическая рукопись Менуэта К.164, номер 5; Вольфганг Амадей Моцарт; 1772 год

Графическая звукозапись

Людям всегда хотелось оставить что-то в истории и если говорить про музыку и звук, то там человечеству недостаточно было оставить лишь ноты и слова на бумаге — этого недостаточно, нужен был сам звук. Отчего стали разрабатываться записывающие машины для улавливания всевозможных шумов и нот.

В этом же исследовании интересует больше цилиндрический фонограф Томаса Эдисона, который был создан в 1877 году.

Original size 640x461

Оригинальный фонограф Эдисона с фольгой; Томас Эдисон; 1877 год

Это изобретение не было бы так интересно в данном исследовании, если бы не способ записи звука у машины. Фонограф записывал голос человека, делая углубление сначала на бумаге, а в конечном вариант на цилиндре с фольгой.

Данный вариант записи помогал буквально проектировать вибрации звуков голоса в виде полос на фольге, чтобы потом их ещё и можно было бесконечно передавать по телеграфу.

Позже фонограф был улучшен, валик с фольгой был заменён на восковой, что был лучше, но всё также оставалась проблема, что для большого количества одинаковых валиков нужно было перезаписывать речь несколько раз и ограниченность времени записи.

Фонограф Edison Home Phonograph; Томас Эдисон; 1878 год

После пика популярности валиков (примерно после 1913) их производство постепенно снизилось (хотя производство их велось до самого закрытия в 1929), уступив нишу дисковым проигрывателям с пластинками. Они, как и их более современные родственники — виниловые пластинки работали по похожему принципу валиков: наносились специальные борозды, которые позже проигрывались иглой.

Дисковой фонограф; Томас Эдисон; 1913 год

В теме звукописи стоит также упомянуть отличный пример для визуализации звука — Оптическая звукозапись.

С помощью колебаний звука происходило движение лампы, которая в свою очередь оставляла аудиодорожку на плёнке, что была похожа на волну из звука.

Original size 1280x853

Фильмокопия чёрно-белого неизвестного звукового фильма на 16-мм киноплёнке

Абстрактная анимация

Звук в кинематографе в принципе появился относительно недавно остальных изобретений человечества, в анимационных проектах так тем более.

Во всех начальных анимационных работах для экранов, что визуализируют звук в основном использовалась музыка, созданная как из обычных инструментов, так и звуков разных предметов.

Loading...

Видео выше: Опусы I–IV; Рутман Вальтер; 1921, 1921, 1924, 1925 года

Очень во многих анимациях звук отображается авторами как разные формы чаще всего на тёмном или однородного цвета фоне перемещаются, смешиваются, меняют размер и форму и разными другими способами пользуются окружением под бит мелодии.

Loading...

Видео выше: Мерцающая пустота; Норман Макларен; 1955 год

Loading...

Видео выше: Оптическая поэма; Оскар Фишингер; 1938 год

Loading...

Видео выше: Этюд No.7; Оскар Фишингер; 1931 год

Если говорить про современную анимацию, то с улучшением оборудования пришло и улучшение качества анимации, и также добавился 3д сегмент в работах.

Техника изображения изменилась тоже, но при этом всё равно заметны некоторые отголоски прошлого, например, абстрактные фигуры на плоском фоне.

Loading...

Видео выше: Pipe dream; Animusic; 2002 год

Loading...

Видео выше: Emergence (extended trailer); Max Cooper; 2016 год

Loading...

Видео выше: Момент из мультфильма «Рататуй»; Брэд Бёрд; 2007 год

Саунд-арт и звуковая скульптура: материализация звука

Скульптура и осязаемые произведения является самым интересным разделом саунд-арта, который, по мнению нескольких экспертов, начал свой путь ещё с древнего Китая или шаманов.

Но если говорить об досягаемом периоде начала развития этого движения, то это начало XX века.

Многочисленные «звуковые скульптуры» созданные с тех времён были генераторами звука и не совсем визуализировали его.

Original size 600x414

Один из первенцев саунд-арта: Интонарумори; Луиджи Руссоло; 1913 год

Визуализация звука же в «скульптурах» различаются темами вещественно, смотря на каждую тяжело найти общее, кроме единственного — звук.

В некоторых работах используется физика и свойство веществ:

Loading...

Видео выше: Использование пластины/фигур Хладни, трубка Рубена, катушка Тесла и феррожидкость. CYMATICS: Science Vs. Music; Nigel Stanford; 2014 год

Original size 1080x600

Пластина из нержавеющей стали, что была «искорёжена» звуком, опасным для человека. Emptyset «Imprint 1-3», series of 3 objects; 2015 год

В других же заложен глубокий смысл, и они являются произведениями современного искусства:

Пластины, на которых визуализировано аудио убийства подростков в Палестине. Слышимость; Лоуренс Абу Хамдан; 2016 год

0

Слепок момента из записей звуков записанных в разных местах Москвы. Пустое место; Анна Мартыненко; 2025 год

Loading...

Видео выше: The planck universe [macro]; Рёдзи Икэда; 2015 год

Loading...

Видео выше: Прометей (Поэма огня); Александр Скрябин; 1908; Концерт 2016 года в Большом зале филармонии Шостаковича

А следующие имеют принцип, который любят использовать пользователи интернета для создания своих VHS, смешных, грустных проектов или же скрытых посланий:

В спектрограмме песнях Window Licker и Equation группы Aphex Twin можно увидеть несколько изображений; 1999 и 1992 года

Заключение

Если глядеть в историю звука, который пытались увидеть глазами, то всё начиналось с попыток на бумаге записать созданные произведения музыки с помощью символов. Продолжилось тем, что у людей встала цель записывать звук так, чтобы его визуализация могла проигрываться раз за разом, сохраняя голос, оригинальный звук или музыкальный инструмент. Далее появилась возможность соединять звук и изображение, так ещё изображение не статичное, а то, что может двигаться по велению руки художника-аниматора. И наконец всё подошло к концептуальному изображению звука путём форм для скульптур, света, анимационных фокусов или же для скрытых передач «информации» звуком для удивления потребителей.

Все произведения были созданиями своего времени и с улучшением технологий — улучшались и творения авторов. Всё начиналось в прошлом с листа бумаги и символов, написанные чернилами, чтобы не забыть мелодию или упростить её поиск, с активным развитием технологий встала цель записать звук как он есть, реализованная с помощью полос на материалах, сделанных вибрацией и проигрывателей, ну и наконец в настоящем визуализация пришла к параллельному наслаждению глаз и ушей красивыми анимациями форм, что идут в мелодичном танце со звуком, концептуальным скульптурам, что заставляют зрителей задумываться о вещах, для которых надо остановиться и отдохнуть от спешки мира и для инструмента неожиданной и неочевидной передачи визуальной информации.

Original size 1357x376
Bibliography
Show
1.

https://propianino.ru/gvido-darecco (дата обращения: 19.11.2025)

2.

https://www.belcanto.ru/nevmy.html (дата обращения: 19.11.2025)

3.4.5.6.

https://vinyloteka.ru/article/kak-rabotaet-vinil (дата обращения: 19.11.2025)

7.

https://www.osnmedia.ru/1000/opticheskaya-zapis-zvuka/ (дата обращения: 19.11.2025)

8.9.

https://emergence.maxcooper.net/ (дата обращения: 19.11.2025)

10.11.

https://annamartynenko.ru/project/2025-pustoe-mesto (дата обращения: 19.11.2025)

12.13.
Image sources
Show
1.

https://alekustn.darkroom.com/ (Дата обращения: 19.11.2025)

2.

https://usfilms.co/portfolio/benga-i-will-never-change (Дата обращения: 19.11.2025)

3.4.

https://dic.academic.ru/dic.nsf/ruwiki/413028 (Дата обращения: 19.11.2025)

5.6.7.8.9.

https://ria.ru/20191120/1561169790.html (Дата обращения: 19.11.2025)

10.11.

https://habr.com/ru/companies/audiomania/articles/364317/ (Дата обращения: 19.11.2025)

12.

https://stereozona.ru/articles/soveti/chto-takoe-fonograf-/ (Дата обращения: 19.11.2025)

13.14.15.16.17.18.

https://youtu.be/bkJwE2Q9Cac (Дата обращения: 19.11.2025)

19.

https://youtu.be/RwahxVC3rDY (Дата обращения: 19.11.2025)

20.

https://youtu.be/wG6G7fgyqD4 (Дата обращения: 19.11.2025)

21.

https://youtu.be/yJ8ZMNX1gec (Дата обращения: 19.11.2025)

22.

https://vimeo.com/29387787 (Дата обращения: 19.11.2025)

23.

https://vk.com/video-167471844_456241165 (Дата обращения: 19.11.2025)

24.

https://vk.com/video68776524_142547068 (Дата обращения: 19.11.2025)

25.

https://youtu.be/hyCIpKAIFyo (Дата обращения: 19.11.2025)

26.

https://youtu.be/--TkkeMj1Yc?si=QXpC0RQVWIcXWAix (Дата обращения: 19.11.2025)

27.

https://youtu.be/B_5AHzczL5A?si=uRjFBRjgnGxLa6FB (Дата обращения: 19.11.2025)

28.29.

https://youtu.be/Q3oItpVa9fs (Дата обращения: 19.11.2025)

30.31.

http://lawrenceabuhamdan.com/earshot (Дата обращения: 19.11.2025)

32.

https://annamartynenko.ru/project/2025-pustoe-mesto (Дата обращения: 19.11.2025)

33.

https://youtu.be/1Nvl-pccUs4 (Дата обращения: 19.11.2025)

34.

https://vk.com/video-19213296_456239208 (Дата обращения: 19.11.2025)

35.
Визуализация звука: от нот к авангардному кино и звуковой скульптуре
We use cookies to improve the operation of the HSE website and to enhance its usability. More detailed information on the use of cookies can be fou...
Show more