vokallyde, farver, klangfarver, psykedelisk

For blæksprutter ville billedkunst være musik

Der er opfundet et apparat der gør det muligt for os at SE med tungen, men hvad med at kunne male med den?

vokallyde, farver, klangfarver, psykedelisk

Jeg har netop udviklet et program, som laver en oversættelse mellem lyd og farve. Det er jo ikke nogen ny ide, at der kan være en relation mellem vores oplevelse af ordenes lydlige byggesten, fonemerne, og oplevelsen af farve. Der skulle være nogle, der oplever bestemte farver, når de hører bestemte lyde, og så taler man om synæstesi. Min interesse var ikke så meget i en subjektiv kobling mellem to adskilte verdener, men mere en måde hvor jeg kunne lave en automatisk ‘farveblind’ oversættelse fra lyd til farve.

Da det jo er os mennesker, som jeg interesserer mig for at arbejde med har jeg taget udgangspunkt i:

  • hvad er vi indrettet til at kunne percipere? Vi kan høre lyde og se farver indenfor et afgrænset antal svingninger
  • vi har også nogle bestemte lyde, som vi både er i stand til at producere og percipere. Det er meget smart, for så kan vi kode information af forskellig slags og sende til hinanden, trådløst gennem luften. Altså er fonemerne det lydmateriale, jeg ville kigge på
  • fonemer bliver beskrevet som klangfarver, så hvorfor ikke lave en klodset 1:1 kobling og sige: klang som farve =lys som farve?
  • da det hele er svingninger, tænkte jeg, at jeg ville tage den ene slags svingninger, lydene, og mappe på den anden slags, farverne.

Jeg ikke er ingeniør, og jeg har oven i købet desværre ikke hæftet mig tilstrækkeligt ved matematikundervisningen i gymnasiet – dengang vidste jeg jo ikke, at jeg ville få brug for epsilon og den slags – så min fremgangsmåde er mere ovre i cowboytrickgenren. Det er sådan noget med at tage nogle kasser, der skulle kunne nogle forskellige ting og så sætte dem sammen på forskellige måder indtil man får det ønskede resultat.

Den ene kasse, jeg har fundet, hedder “bark scale”. Det skulle være en måde at lave en oversættelse af de lyde der omgiver os til nogle størrelser som angiver hvordan vi subjektivt, altså med de måleapparater vi nu er udstyret med – ørerne – opfatter lydene. Så har jeg et program, maxmsp, hvor der er et objekt, der tager lyd ind og spytter 25 værdier ud for hvert 40. milisekund. I beskrivelsen af objektet, står der at det er bark scale, men iflg. Wikipedia er bark scale 24 værdier. Men cowboy-Casper går glad videre: De 25 værdier siger noget om, hvor meget aktivitet vi ved 25 punkter i lyden oplever med vores ører. Hvis du forestiller dig at en vokallyd er en masse toner der bliver afspillet samtidig med forskellig lydstyrke, så går denne metode ind og måler for 25 bestemte tonehøjder, hvor kraftig lyden er dér. Når man så kigger på et diagram, hvor de 25 værdier er afbilledet som 25 skydere, så kan man se at de står og danser op og ned når der kommer lyd ind. Så har jeg siddet og sagt “eeeee”, “iiiiiii”‘, “yyyy” og alle de andre interessante vokallyde vi har på vores mærkelige sprog, indtil min kæreste var ved at få spat, og jeg har så kigget på de 25 skydere, og prøvet at finde et mønster i, hvordan de står når der kommer forskellige klange ind i systemet.

Den anden kasse, jeg har fundet, har at gøre med hvordan nogle kloge mennesker mener at vi opfatter farver. Egentlig kunne jeg godt lide kassen, hvor der står “farvespektret” på, da den siger: rød er den farve der har færrest svingninger, og violet har flest, og imellem har vi en rækkefølge som vi kender fra regnbuen. Men der er ikke noget objekt i mit program, som kan oversætte fra et bestemt antal hertz til farver. Det blev så en anden kasse, jeg måtte hive frem, og på den står der RGBA. R som RED, G som GREEN, B som BLUE, og A som …. sAturation (?).

Det jeg i grove træk er kommet frem til, og som er blevet til foreløbigt et lille program, jeg har valgt at kalde Vocogram, er at jeg har trukket et kabel fra “bark scale-kassen” fra de dybe svingninger til indgangen i “RGBA-kassen” som styrer hvor meget rød der er i farven, fra næste niveau af svingninger i bark-scale-kassen til RGBA-kassens ‘grønne’ indgang, og tallene fra de høje frekvenser fra klanganalyse-kassen til den blå indgang. Og til sidst de allerhøjeste frekvenser – som ikke så ud til at blive påvirket af min evindelige vokalisen, til den sidste indgang, der styrer saturation, altså hvor mættet farven bliver.

20120505-221638.jpg

Her et citat om fonemerne, og hvilke frekvensområder, de vibrerer på:

Normal hørelse

Energien af vores vokaler ligger hovedsageligt i området 250 – 2,000 Hz og stemte konsonanter (b, d, m osv.) mellem 250 – 4,000 Hz. Ustemte konsonanter (f, s, t osv.) varierer betragteligt i styrke og likker i frekvensområdet 2,000 – 8,000 Hz. For at forstå taleklarhed er det derfor vigtigt at have en god hørelse i alle frekvensområder fra 125 – 8,000 Hz.” KILDE

Hvordan virker programmet så? Faktisk er det lykkedes mig at lave et apparat, som er rimeligt trofast i forhold til at oversætte mellem vokallyde og farver. Et problem var, at farven ændrede sig alt efter tonehøjden på vokalen. Det har jeg fået nogenlunde aflivet. Så et /i/ får den samme farve, nogenlunde, uanset tonehøjde. Hvis man siger vokalen kraftigere, intensiveres farven. Men det giver jo god mening. Så det virker efter hensigten.

Hvilke farver får de forskellige lyde så? Et problem er, at forskellige mikrofoner har forskellige ‘personligheder’ og det går ind og farver klangen forskelligt. Jeg har lavet en knap i programmet, som  kalibrerer det, så den almindelige baggrundsstøj i rummet og mikrofonens fortolkning af denne bliver nulstillet. Farverne vil i grove træk ligge i en relation til klangene som er stabil i et givet setup, men det vil lige så givet ændre sig ved andre setup. Det vil altså ikke være sådan, at /i/ altid producerer den særlige lilla, du ser på billedet nedenfor. Men i et givet setup vil farven være stabil og forskellig fra den farve de andre vokaler får. Men her er et eksempel på mappingen:

Vi er over i en stille og dæmpet pastel-verden, kan man se her….

Hvad kan et sådant program bruges til? Måske sprogtilegnelse? Alfabetisering? Intuitive maleprogrammer? Jeg har selv brugt det ved at integrere det i Anthropomorfer (“nu-i-farver!”), og har dermed et element af klangbehandling, som supplement til den måde man hidtil har kunnet forme lydene med sin stemme. Indtil nu har jeg arbejdet med en maskine, der kunne oversætte tone- og lydstyrkeforløb i stemmen til hvad vi oplever som melodi og rytme. Nu er der også en mulighed for at forme lydenes klangfarver, ved at lægge stemmens klange ind som filtre på lydene.

Det har givet mig inspiration til en serie af improvisationer med hvert vokalfonem i det danske sprog (nye improvisationer kommer til i denne spilleliste, efterhånden som jeg laver dem. I skrivende stund har jeg lavet to improvisationer over /i/):

Der er masser af eksempler på komponister, der har ladet sig inspirere af sammenhængen mellem farver og lyd. For bare at nævne et enkelt:

Deep Surrender: Musically Controlled Responsive Video, af Robyn Taylor and Pierre Boulanger. LINK til pdf om værket

Hvis du spørger en biokemiker om, hvad der er det vigtigste for at verden kommer videre vil han svare “biokemi”, og derfor er det ikke så overraskende at jeg som komponist mener, at lyd er noget helt særligt. I mit arbejde med farverne kom jeg til at tænke på at vi kan laver farver med vores stemme, klangfarver, men vi har ikke et organ der kan laver farver. Men blæksprutter kan det!

Download Vocogram (MAC) her.

Lyt til eksempler på hvordan jeg bruger teknologien til at arbejde med lyd-improvisationer: http://akutsk.wordpress.com/2012/05/20/sound-becoming-color/

Advertisements

En tanke om "For blæksprutter ville billedkunst være musik"

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out / Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out / Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out / Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out / Skift )

Connecting to %s