Мекият знак има ли звук. Нарисуван звук: от миналото към бъдещето Превеждане на изображение в звук

Творческият човек винаги се интересува от смели експерименти, които отварят нови хоризонти и възможности. Фантастичната идея - да рисувате музика, да създавате уникални картини, които въплъщават графика и звук, датира от началото на 20-ти век. В тази статия ще говоря за историята на проблема, както и за две от моите разработки, които ви позволяват да правите невероятни - запис и възпроизвеждане на звуци в графична форма.

заден план

През 1904 г. френският изобретател Юджийн Огюстин Ласт представя прототипна система за оптичен запис на звук върху филм, а през 1911 г. организира това, което вероятно е първата филмова прожекция, използваща новата техника. Започна ерата на упадъка на нямото кино и революционните открития в областта на синтетичния звук - за първи път беше възможно да се получи прост, удобен и много визуален начин за управление на аудио информация.

В края на 20-те години на миналия век, когато се работи по един от първите съветски звукови филми, предимствата на такава техника са отбелязани от композитора Арсений Авраамов, дизайнера Евгений Шолпо и режисьора-аниматор Михаил Цехановски. Логическата верига е изградена по следния начин: ако ясно видим песен със записана звукова вълна, тогава можем да създадем същата вълна изкуствено, просто като я нарисуваме на ръка. Но какво ще стане, ако поставите орнамент там, сложна комбинация от модели или примитиви от евклидова геометрия? Колко фантастичен ще бъде резултатът? В крайна сметка, по този начин можете да нарисувате напълно уникален звук, който не съществува в природата, и можете да пишете музика без истински инструменти, микрофони и изпълнители.

Няколко лаборатории скоро бяха ангажирани с изследването на тези въпроси. И в резултат на това се появиха синтезатори на оптичен саундтрак: "Вариофон" на Евгений Шолпо, "Виброекспонатор" на Борис Янковски, машината на Николай Войнов за маркиране на "гребени" от хартия - основните фрагменти от синтезирания звук. За ухото всичко това много напомняше на съвременната 8-битова музика, но с по-голяма степен на свобода: всякаква форма на трептене, неограничена полифония, най-невъобразимите ритмични модели. Помислете само за това – оптичен синтезатор, музикален компютър през тридесетте години на миналия век! Но това са само цветя. Мисълта на съветските инженери отиде по-далеч.

За разлика от колегите си, акустикът Борис Янковски е един от първите, които осъзнават, че за да се създадат сложни, близки до живите звуци, не е достатъчно да се опише само една форма на трептене. Най-важната част от акустичната информация е спектърът, който ясно определя честотния състав на звука, неговия цвят, според който даваме субективни определения като светъл, топъл, метален, подобен на човешки глас и т.н.

Янковски започва да структурира основните спектрални графики в своеобразна „таблица на Менделеев“ от звукови елементи, като същевременно разработва алгоритми за тяхната обработка и хибридизация за получаване на нови звуци, базирани на „спектростандарти“. За съжаление промените в страната и войната не позволяват на Янковски да доведе творбата до логичния й край.

Темата беше продължена от неговия приятел, младият изобретател Евгений Мурзин, който беше впечатлен от развитието в областта на „графичния звук“ и замисли грандиозен проект - универсална фотоелектронна машина, способна да синтезира всеки звук, всяка музикална система чрез рисуване на спектрограма (спектър спрямо време) върху специално платно без разсейващи операции, като проявяване и изсушаване на филма. Това би опростило старателната работа на композитора, осигурявайки безпрецедентна свобода на творчеството.

Буквално на колене, работейки вечер в стаята на двуетажна казарма, Мурзин завърши работещ модел на устройството през 1958 г. Устройството тежеше повече от един тон и външно имаше малко общо с музикален инструмент в класическия смисъл. Изобретението е наречено "ANS" в чест на композитора Александър Николаевич Скрябин. Въпреки външния си вид, ANS се превърна в световна сензация, изпреварила времето си с десетилетия и много добре се вписваща в периода на космическа еуфория с уникалния си атмосферен звук.

ANS донякъде напомня модерен скенер, само че в него не се движи лентата за сканиране, а самата повърхност с изображението - голяма стъклена плоча (резулта), покрита с непрозрачна боя. Боята на правилните места се отстранява с тънко длето, образувайки спектрограмен модел на музикално произведение. Партитурата се движи плавно, преминавайки през дупка, от която идва прекъснат "модулиран" лъч светлина от оптико-механичен генератор на чисти звукови тонове, базиран на пет специални диска с оптична фонограма. Част от светлината преминава през прозрачните зони на партитурата, след което се фокусира върху набор от фотоклетки, от които звукът е готов за възпроизвеждане под формата на колебания на електрически ток.

Сърцето на ANS е гореспоменатият диск с шаблон от 144 песни (като на грамофонна плоча), чиято прозрачност се променя по синусоида с определена честота. Честотната разлика между съседни песни е 1/72 от октава. Така един диск съдържа две октави, а една октава е разделена на 72 чисти тона - Мурзин смята класическия 12-тонов темперамент за значително ограничение. По същество всеки диск е оптична реализация на алгоритъма на преобразуването на Фурие, който е в основата на много съвременни софтуерни синтезатори и ефекти. Това е в реда на нещата сега, в дните на гигахерци и гигабайти, но преди 50 години беше просто невероятно - спектрален синтезатор, способен да възпроизвежда 720 чисти тона едновременно! Нищо чудно, че ANS се смята за първия в света полифоничен музикален синтезатор.

Ако си мислите, че никога преди не сте чували звуците на ANS, вероятно грешите. Спомнете си само филмите на Андрей Тарковски "Соларис", "Огледало", "Сталкер", които завладяват с вълшебната музика на Едуард Артемиев. Или кошмарна сцена от комедията на Леонид Гайдай „Диамантената ръка“. Струва си да се отбележи, че кариерата на Артемиев като композитор на електрониката започва именно със запознанството му с ANS и неговия създател през 1960 г. Освен Артемиев, Алфред Шнитке, Едисон Денисов, София Губайдулина, Станислав Крейчи успяха да работят с инструмента, а звуците на ANS в различно време са използвани в музиката им от групи като Coil и Bad Sector.

За съжаление до днес е оцеляло само едно копие на синтезатора ANS, произведен индустриално в края на 1963 г. Намира се в Москва в Държавния музей на музикалната култура на Глинка. Въпреки тежката съдба устройството все още е в работно състояние и от време на време свири за посетителите на музея под стриктния надзор на Станислав Крейчи. За тези, които са далеч от Москва или просто искат да експериментират със звука на ANS у дома, има софтуерен симулатор, наречен Virtual ANS.

Виртуален ANS: графичен редактор

Разработването на Virtual ANS се извършва от автора на тази статия от 2007 г. Целта на програмата е да пресъздаде възможно най-много ключовите характеристики, атмосферата на желязната ANS, като същевременно разшири оригиналната идея, като вземе предвид богатите възможности на съвременните компютри. От основните разлики:

програмата е кросплатформена (Windows, Linux, OS X, iOS, Android), което ви позволява да се насладите на работата с инструмента навсякъде и на всичко: от евтин телефон до мощен студиен компютър;
броят на основните генератори на чисти тонове вече е ограничен само от въображението на потребителя и скоростта на централния процесор;
стана възможно да се преобразува обратно от звук към спектър.

Virtual ANS е графичен редактор с класически набор от инструменти: примитиви, четки, слоеве, ефекти, зареждане/запазване на PNG, GIF, JPEG. Но картината, която ще видите на екрана, всъщност е партитура на музикално произведение (това също е сонограма или спектрограма), която във всеки един момент може да бъде слушана или слушана и нарисувана едновременно. Партитурата разлага композицията на "звукови атоми" - неделими парчета от чисти тонове (синусоидални трептения). Хоризонтално - времева ос X (отляво надясно). Вертикален - височина Y (отдолу нагоре от бас до високи). Яркостта на един пиксел е силата на чист тон с честота Y в момент X. Изображението на спектъра е разделено вертикално на октави, октава на 12 полутона, полутон на още по-малки, едва доловими микротонове, за точно описание на всякаква музикална гама, всеки най-немислим тон. Ако начертаем хоризонтална линия с дебелина един пиксел върху ANS резултата, ще чуем единична синусоида с постоянна честота. Колкото по-дебела е линията - толкова по-чисти тонове ще бъдат включени в нейната композиция, толкова по-сложен ще бъде звукът и толкова по-силен звук ще се доближи до бял шум, наситен с обертонове на всички честоти от звуковия диапазон. Комбинацията от такива линии с други фигури с различна яркост дава неочаквани и интересни звукови вариации.

В процеса на работа по Virtual ANS се появи любопитна мисъл. Фрагмент от аудио файл или, да речем, гласов запис от микрофон може да се преобразува в ANS партитура, тоест в спектрограма - картина със звук, кодиран в него. И този звук може лесно да бъде възпроизведен обратно с помощта на същата програма. Има естествено желание да отпечатате снимка на спектъра на принтер и да получите хартиено копие на вашия глас или музика.

Именно за тези цели е замислен PhonoPaper – още един проект, който наследява идеите на звуковите революционери от миналия век. Какво е PhonoPaper?

Форматът на изображението, в който е кодирано аудиото. Този код се различава от спектрограмата на ANS само по това, че отгоре и отдолу се появяват специални маркери, чрез които четецът точно определя границите на блока със спектъра.
Приложение за скенер за четене на PhonoPaper кодове в реално време с помощта на камерата.
Приложение за записване за конвертиране на 10 секунди аудио в PhonoPaper код. Въпреки че за по-прецизен контрол на трансформацията, най-добре е да използвате виртуалната ANS, описана по-горе.

PhonoPaper-кодът може да се нарече аналогов, тъй като не съдържа цифрова информация и може да бъде записан на всяка достъпна повърхност (хартия, пластмаса, дърво). Поради тази причина различни видове изкривявания не са критични за него: при лошо осветление и смачкана хартия поне ще чуете „очертанията“ на оригиналното съобщение. За да чуете кода, не е необходим достъп до мрежата - цялата необходима информация се съхранява директно върху снимката и възпроизвеждането започва веднага след влизане в зрителното поле на камерата. В същото време, както в ANS синтезатора на Murzin, потребителят контролира скоростта и посоката на играта чрез ръчно сканиране на звуковия код (въпреки че има и автоматичен режим).

Има ли някакъв практически смисъл? Представете си: звукови подкани в детски книжки или учебници; парче от нова песен на диск или рекламен постер за групата; аудио етикети върху стоки; тайни съобщения по стените на сгради; звукови карти и всякакви художествени експерименти. Това би имало смисъл, ако имаше много прост начин за четене на такива изображения. В края на краищата, той трябва да бъде сниман, зареден в програмата и точно да посочи границите на спектъра, основната честота и броя на октавите.

Инструкции за употреба

Инсталирайте приложението PhonoPaper на вашия смартфон с iPhone или Android.

Стартирайте приложението.
Посочете всяка песен.

Вместо заключение

Както можете да видите, следващият завой на спиралата ни връща към началото. И това е естествено, защото светът днес е пренаситен с процеси на обработка на информация, скрити от хората и все повече се потапя във виртуалното пространство, дигитализирано, кодирано и пакетирано. Музикалните инструменти крият своята същност, не можете да ги докоснете или да погледнете под капака, за да се докоснете до магията на раждането на нов звук, да почувствате неговата енергия. Рисуването на музика на „атомно“ ниво и пренасянето на този процес в реалния свят несъмнено е голяма стъпка към намаляване на дистанцията между композитора и въплъщението на неговите творчески идеи. В същото време създаването на музика става достъпно за любителите и представители на сродните изкуства, вече не сме ограничени от строги граници и правила, а музикалната нотация вече е само допълнение. Взимаме химикалка, хартия и започваме да създаваме нов шедьовър.

Човек е изправен пред речта от раждането си. Първоначалното запознаване става със звуци. Звуците на речта са това, което издаваме, когато говорим. Чуваме ги, когато говорят други хора.

Запознаването с буквите започва по-късно. Пишем писма и виждаме, когато четем написания текст.

Невъзможно е да се напише и види звук. И не можете да произнесете буквата. Но всяка буква има свое собствено име: "A", "Be", "Er", "Sha". И те са необходими за обозначаване на звуци в писмен вид.

Ако се опитаме да произнесем писмено звука, обозначен със знака „b“, тогава няма да успеем. В най-добрия случай ще звучи името на буквата "Мек знак". Но никакъв звук не е мек знак. На руски той има съвсем различна роля.

За какво е мекият знак?

Въпреки факта, че тази буква не обозначава звук, тя има няколко функции на руски език.

Индикатор за мекотата на съгласния звук. Ако в написаната дума мек знак е след буквата, обозначаваща съгласна, тогава този звук се произнася тихо при четене. Пример, показващ разликата в произношението на звуци, обозначени с една и съща буква, със и без мек знак, могат да бъдат думите "dal" и "dal".

разделителна функция. При писане мек знак разделя буквата, обозначаваща съгласен звук, и гласните I, E, E, Yu, I. В същото време съгласният звук се чете тихо, а посочените гласни означават два звука: I - [Y , A]; E - [Y, E]; Yo - [Y, O]; Ю - [Y, Y]; И - [Y, I].

Обозначаване на граматически форми на думите. В края на съществителните от женски род единствено число (3 склонения) се изписва мек знак.

Пише се и в неопределени глаголи, вкл. преди TSY. Мек знак се използва във всички глаголни форми след съскане и при глаголи в повелително наклонение, както и при глаголи за сегашно и бъдеще време във второ лице единствено число.

Ако основата на наречието завършва със съскане, те също пишат това писмо.

И въпреки че самата буква „Мек знак“ не означава никакъв звук, тя оказва голямо влияние върху произношението на съгласните звуци.

По принцип наскоро реших да разгледам Уикипедия (наистина неизчерпаем склад на знания) и там попаднах на определението за спектрограма. Както се оказа, има какво да заемем по темата за рисуване със звук. Първо, това е списък с програми, които ви позволяват да синтезирате звук от снимки. Списъкът включва програмата Coagula, която познаваме много добре (между другото, тя е в нашия подраздел със софтуер), но има и други, а именно:

MetaSynth за Macintosh;
Coagula за Windows
Адитивен синтезатор "BeepMap" на FL Studio.

Многоплатформен проект с отворен код показва забавни, но силно образователни преживявания. Програмата ви позволява да превърнете звука в спектрална картина (с определена разделителна способност) и обратно, да синтезирате звук от картината (с посочените параметри).

Други шегаджии са групата Plaid. В песента "3recurring" съдържа логото в своята спектрограма.

И Nine Inch Nails също използват техниката на скриване на картини в спектъра от парчета от албума "Year Zero".

Като цяло този метод очевидно се хареса на някои музиканти. По принцип същият метод може лесно да се използва като инструмент за стеганография.

Тази тема е много интересна и мисля, че ще има още много открития, свързани с рисуването в спектъра и звученето на картини.