Han samarbeider med et ensemble av KI-agenter: – Tror det kan gi spennende musikkopplevelser

Har du sett fugler fly over himmelen i imponerende mønstre? Eller maurer som ved hjelp av sine egne kropper danner en bro som andre maurer kan gå over?

I naturen kan organismer som vi ellers ser på som enkle, klare komplekse oppgaver når de jobber sammen. For eksempel kan de fly over avstander som ville vært umulige for ett individ alene.

Slik atferd kan gjenskapes i matematiske modeller og algoritmer for at vi skal forstå naturen bedre. Men den kan også gi inspirasjon til systemer med kunstig intelligens (KI), for eksempel innen musikk.

– Med KI-boomen vi har hatt de siste årene, har mange blitt interesserte i hvordan mennesker og maskiner kan lage musikk i samarbeid. Én måte å utforske dette på, er å se på hvordan vi som mennesker kan samarbeide med et ensemble av KI-agenter, sier Pedro Pablo Lucas Bravo.

Studerer samhandlingen mellom agenter og menneske

Lucas Bravo er doktorgradsstipendiat ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse og bruker kunnskapen om dyrs atferd i forskningen sin.

Forskningen er todelt, forklarer han:

– For det første studerer jeg hvordan en sverm av KI-agenter oppfører seg når de er med å lage musikk. Hva gjør de sammen, og hvordan påvirker de musikken?

For det andre studerer han hvordan vi mennesker kan samarbeide med dem.

– Hvis vi klarer å få til et godt samarbeid, tror jeg det kan gi spennende muligheter i musikkproduksjon.

Systemene krever lite data

KI brukes allerede bredt av musikkprodusenter, både som kreativ assistent og som hjelp til å effektivisere arbeidsprosesser. Verktøy som «Suno» lar hvem som helst generere musikk med vokal, instrumenter og tekst, bare ved å gi en kort beskrivelse.

Men hvis slik musikk skal høres realistisk ut, kreves det svært store datasett med millioner av lydopptak eller mange tusen timer musikk.

Jobber du med en sverm av KI-agenter, er ting annerledes. Dette er systemer laget med svært enkle regler, uten at det krever spesielt mye data eller data i det hele tatt, forklarer Kyrre Glette, professor ved RITMO og Bravos veileder.

– Det gir en annen måte å uttrykke seg kreativt på. Dette er en modell av mikroregler som gir en spennende dynamikk, sier Glette.

Prinsippet er at du tar utgangspunkt i en biologisk atferd og formulerer regler utfra det. Vanligvis følger alle agentene det samme enkle settet regler – for eksempel inspirert av maurer. Men når de settes sammen, kan atferden bli både interessant og uforutsigbar og føre til komplekse musikalske mønstre eller harmonier.

En «live» KI-opplevelse

Såkalte svermsystemer, eller multiagentsystemer, blir i dag brukt blant annet for å styre roboter og til å animere datagrafikk. Men foreløpig er det ikke så mange som har brukt det i musikk.

Lucas Bravo har i sin forskning laget og tilpasset svermsystemer som åpner for samhandling med mennesker, såkalte «Human-Swarm Interactive Music Systems» (HS-IMSs). Han har tatt utgangspunkt i, og bygget videre på, tidligere forskning.

Systemene kan gi en «live» opplevelse der mennesket og KI improviserer musikk sammen, forklarer han.

– Svermen produserer sin egen musikk, og brukeren prøver å bruke de interaktive mulighetene til å styre den i en litt annen retning enn det den ville gjort av seg selv. Men brukeren har ikke full kontroll.

Bruker hendene til å påvirke agentene

Når Lucas Bravo utforsker agentenes atferd, jobber han i det som kalles «mixed reality»: Han tar på seg et XR-headset («extended reality») som både lar ham se rommet han er i og agentene – de ser ut som byggeklosser stablet i ulike formasjoner, som svever rundt i rommet.

Han bruker hendene til å legge dem inntil hverandre eller dytte dem bort.

Står du på utsiden, ser det ut som han dytter vilkårlig i luften. Men det han holder på med, er musikk-improvisasjon. Han undersøker hvordan de andre agentene oppfører seg hvis han påvirker én av dem. Hva skjer med lydbildet? Hvilke musikalske uttrykk oppstår? Hvor mye kontroll har han over svermen?

Hvis én tromme feiler, går det likevel bra med de andre

– Agentene vet hvilken gruppe de tilhører og at de må flytte seg hvis en av de andre blir flyttet. Men akkurat hvordan resultatet blir, vet vi ikke, sier Lucas Bravo.

En fordel med svermsystemer er robustheten i systemet, forklarer han. Hvis én agent – for eksempel en tromme – feiler, vil de andre likevel fortsette å gjøre det de skal.

Systemene han har utviklet, er foreløpig ment for musikkimprovisasjon. Tanken er imidlertid at de etter hvert også skal kunne brukes til å utforske musikalske ideer, skape ny musikk og kanskje også åpne for nye typer «live» opptredener, forklarer han.

– Potensialet i disse systemene ligger i å balansere den kaotiske atferden deres med gode kontrollmekanismer. Agentene har en egen atferd, men hvis vi klarer å finne en balanse der menneskene har akkurat passe kontroll over dem, tror jeg at vi kan få spennende musikkopplevelser, sier Lucas Bravo.

Nyhetsbrev fra Forskningsnytt

Få tips om nye funn og innsikt fra Universitetet i Oslo.

Gå til påmelding (via Make)