Prosjektbeskrivelse
Rainbow Reality er en lydinstallasjon som søker å utforske en dypere interaktivitet mellom musikere i opptreden og deres publikum ved å utfordre de sosial-konvensjonelle rammene og deres tradisjonelle form. Prosjektets estetikk baserer seg på en integrert relasjon mellom musikalsk estetikk og visuell representasjon, hvorav nettopp dette forholdet har en bro-funksjon mellom publikum og utøver.
Installasjonen presenterer en opplevelse av å være et instrument, i stedet for å anvende et. Rainbow Reality, eller Rainbow Land for de som befinner seg bak brillene, tar derfor utgangspunkt i soundscape- og field-recording-tradisjonene sett i et mer konseptuelt og samtidsrettet lys. Ved å danne og konstruere enkle premisser for en «alternativ virkelighet», briller som registrerer ukjente landskap i kjente omgivelser, resulterer dette i det nødvendige fundamentet for at prosjektets grunnleggende idé får godt fotfeste.
I oppgaven søker jeg å løse to problemstillinger:
* Hvordan kan jeg sonisk fremstille ideen om en alternativt virkelighet hvor en direkte kan høre et større frekvensspekter av lys ?
* Hvordan kan dette best representeres i en interaktiv lyd installasjon?
Praktisk består installasjonen av 2 hovedseksjoner; det musikalske, det visuelle. Det musikalske, alt som har med programmering, lydproduksjon og kontrollenheter, har jeg utviklet til denne oppgaven. Det visuelle, altså den grafiske delen, samt den fysiske manifestering av selve installasjon, vil jeg utelegge av kvalitetsmessige og tidsbaserte årsaker.
Programmering
Del 1
Ideen om å bruke VR briller som fundament for installasjonen er rotet i arbeidet vi har gjort innenfor Pure Data og MobMuPlat i vår. Google sin nye oppfinnelse, «Cardboard VR», gjør det enkelt å gjøre om smarttelefonen din til en VR plattform. Dette, i tråd med MobMuPlat og PD sitt potensiale til å hente ut diverse bevegelsesinformasjon fra en smarttelefon, signaliserte startskuddet i prosjektet.
Det første jeg gjorde var å bestemme hvilke informasjon som best egnet seg for installasjonens hensikt. Ved å ta i bruk en klassisk elimineringsprosess brukte jeg telefonen som en virtuell brille og studerte de ulike informansjonsbolkene og deres kvaliteter på en separat maskin. Problemet som oppsto i denne prosessen var hvordan jeg kunne direkte sende informasjon fra telefonen til en annen maskin. Løsning kom ved bruk av [Send/receive toNetwork]. På denne måten kunne jeg sende informasjon over internett (Se figur 2 og 3). Ved å teste slik fikk jeg et godt og interaktivt innblikk i hvilke informasjon som viste seg hensiktsmessig å anvende. Jeg landet på 3 bolker:
* Kompass data
* Tilt X og Y
* GPS lokasjon
Kompassdata gir gode og nøyaktige målinger på akkurat hvilke retning en bruker står vendt i et rom. Potensiale i denne informasjonstrømmen var noe jeg så undersøkte nøye. Ved å anvende [array] objektet og konseptet bak derivering, hadde jeg plutselig 3 ulike informasjonsbolker som viste meg posisjon, hastighet og akselerasjon på bevegelsene. Deretter oppsto spørsmålet om hvordan jeg skulle anvende denne dataen. Jeg designet et slidersystem hvor kompassdata fra telefonen ble fordelt over 8 ulike slidere. Disse sliderene ble så MIDI-mappet til Ableton med korresponderende volumslidere.
Del 2
Kunstnerisk har science fiction en stor rolle i utviklingen av dette prosjektet. Hovedkonseptet til Rainbow Reality er basert på et premiss om at vi plutselig kan oppfatte et større spekter av lys, en slags alternativ virkelighet. Sonisk skal derfor installasjonen representere et stort og ukjent landskap. I skoleåret 2014-15 tok jeg videre utdannelse ved Norges Musikkhøgskole innenfor Live Electronics. I løpet av skoleåret konstruerte jeg et instrument ved navnet «X1». Med røtter i soundscape og støy tradisjonene generer «X1» et lydbilde av et abstrakt landskap, eller mer spesifikt, en representasjon av en reise til et svart hull. Instrumentet er en sammenslåing av Korg MS-20 synthesizer med et skreddersydd oppsett i Ableton Live hvorav instrumentets hovedfunksjonaliteten er ment som improvisasjonsverktøy i live sammenheng.
Hastighet og akselerasjonsystemet ble nå aktuelt for videre arbeid. Ved å spille på oppsettet følte jeg at akselerasjonen skulle utløse en klang/reverb ved positiv akselerasjon (verdier over 0) og en kjapp delay ved negativ akselerasjon (verdier under 0). Ved å lage to FX return tracks i Ableton, og mappe de korresponderende sliderne i PD, ble dette løst på enklest mulig måte. Denne effekten er enkel, men svært tydelig med tanke på brukeranvendelse og interaktivitet.
Hastighetsdata ble strukturert annerledes. I Ableton dannet et egen effektboks, ved å bruke Audio Effect Rack, for å utforske en slags «template» tekstur. Med dette mener jeg to parameter (effekter) som funksjon er å bidrar til en helhetlig sonisk råd tråd. Spicerack (som effektboksen heter) ble lagt til alle de 4 inputkanalene med lik mapping fra hastighetsslidere. Vreng = positiv hastighet mens kjapp delay = negativ hastighet. All effektprosesseringen i Rainbow Reality tar utgangspunkt i kjappe delays, klang og enkel distortion. Jeg tror at ved å jobbe med en slik begrensing sørger man for kreative løsninger og et skarpere uttrykk.
Del 3
På dette stadiet i oppgaven var det naturlig å tenke gjennomførelse. Hvordan skal jeg manifestere en slik programmering i en lydinstallasjon? Det første jeg måtte ta hensyn til var rom. Frem til dette punktet hadde jeg sett for meg at en bruker, i tillegg til VR-briller, får utdelt et par ørepropper som lydgeneratorer. Dette falt fort gjennom fordi lydgenereringen ikke kommer fra telefonen. Jeg søkte inspirasjon hos minimalismekomponist og soundscape-pioneer Le Monte Young. I 1970 lanserte han et «Continious Electronic Sound Environment» han kalte for «Dream House» (Foundation 2016). Installasjonen tar for seg ulike sinwave generatorer som, via flere høyttalere i rommet, gradvis forandres og utvikles gjennom tid. Jeg bestemte meg at for Rainbow Reality skulle anvende intet mindre enn 8 høyttalere i sin manifestasjon, 1 for hver slider/spor. Naturligvis ledet denne ideen til en total omstrukturering av programmeringen. Hvordan kan jeg splitte informasjon som trigger to identiske slidersystem slik at den ene alltid er 180grader forskjøvet?
Tilt-funksjonen var enda ubrukt. På dette stadiet hadde jeg til sammen 8 lydkilder og 16 effektslidere og følte at en amplitudekontroll var nødvendig. Volumkontroll er en veldig klar effekt som lett tolkes og bidrar til en dynamisk variasjon i uttrykket. Tilt-informasjonen er fordelt på x og y verdier. Telefonen i «brillestilling» viser x: -1 y:-1. Derimot, hvis telefonen peker mot gulvet, vises x: 0 y: 0. Tidligere mappet jeg Tilt-funksjon slik at hvis x og y = -1 er utfallet x: -1 y: 1. Med dette i minnet tilegnet jeg Y verdien til slidersystemene og X verdien til kildegruppen. Effekten av dette er at hvis en bruker ser mot gulvet, blir uttrykk mindre intenst og han opplever et mer kontrollert landskap. På denne måten kan en bruker aktivt «mixe» sitt eget uttrykk.
- Installasjonens Pure Data patcher finner du her
- "X1" sin prosjektbeskrivelse finner du her
Videre arbeid
Gjennom semesteret har dette prosjektet vokst seg nokså stort. Som sagt dreier denne avhandlingen om ca halvparten av det faktiske arbeidet, uten å nevne det praktiske som kreves ved en reell oppsetning. Jeg vil absolutt fortsette med denne installasjonen i perioden fremover og håper å søke stipend og hjelp fra ulike organisasjoner (f.eks NOTAM) slik at det kan realiseres i nærmere fremtid.
Det visuelle aspektet bak Rainbow Reality er en like stor del av sluttproduktet. Med hovedfokus på VR-briller som visuell representasjon av et sonisk uttrykket (en alternativ virkelighet), er det ekstremt viktig at det visuelle og soniske er like godt etablert og har like store roller. Praktisk sett ser jeg for meg å rekruttere en billedkunstner eller grafisk designer til samarbeid og jobbe videre med dette. Med det sagt er den største barrieren her er det tekniske, f.eks hvordan å 3D-modulere et rom, aktivt designe og innrede et slikt rom, få ulike programvarer til å snakke sammen osv.
Konklusjon
Ved å ta utgangspunkt i instrumentet «X1» har det soniske uttrykket til Rainbow Reality en karakter som befinner seg i krysningspunktet mellom støy- og soundscape-tradisjonen. Ved å aktivt programmere et rammeverk med hovedfokus på brukerinteraktivitet, polyfoniske klangmuligheter og dynamisk variasjon, har instrumentet utviklet seg til å bli et reaktivt medium som skildrer et bevegende landskap. Den «harde klangen» til Korg MS-20 synthesizeren bidrar til en slipt, og nesten skummel, lydtekstur som uttrykker det ukjente ved å trå i usikkert territorie.
Å konstruere en lydinstallasjon som gir brukeren en aktiv rolle i å kontrollere sin egen komposisjon, der visuell kunst forsterker en flersanselig opplevelse, tror jeg danner en essensiell illusjonen hvor ideen om en alternativ virkelighet med særegne premisser enklere kan legitimeres av et publikum. I denne konteksten kan brukeren oppleve idéen om å høre et større spekter av lys som en transformasjon i lyd-handlingsforholdet fra et utholdt indirekte mekanisk prinsipp (installasjonens faktiske forhold), til en utholdt indirekte handling, der instrumentet ligger i selve brukeren.