Hvor mye data trenger en språkmodell?

De siste årene har store språkmodeller (Large Language Models, LLMs) basert på dyplæringsarkitekturer blitt stadig mer populære innen språkteknologi (NLP). Det gjør at programmer blir bedre til å løse oppgaver som har med språk å gjøre. Mens en modell pleier å lære mer av et språk ettersom mengden treningsdata øker, vet vi ikke når kostnadene ved mer data blir for høye sammenlignet med hvor mye bedre modellen blir. – Jeg ser på hvor godt modellen lærer seg forskjellige språk underveis i treningen, om noen språk er vanskeligere å lære enn andre ut ifra hvordan de er bygget opp, og om vi trenger ulik mengde treningsdata for ulike språk.

Kombinerte to oppgaver

Alle som tar en master i Språkteknologi skriver oppgaven med forskningsgruppen Language Technology Group (LTG). – Jeg så på listen av ledige oppgaver de foreslo og sto mellom to forslag. Så etter at LTG holdte presentasjonen over ledige masteroppgaver, spurte jeg veilederne som foreslå de to oppgavene om jeg kunne kombinere de.

Victoria er interessert i det tekniske og lingvistiske som oppgaven innebærer.

– I tillegg er jeg veldig opptatt av etikk og tenkte at dette var en mulighet til å forstå LLMs bedre.

– Kanskje det kunne hjelpe med å løse noen av de problemene som kommer med å bruke store data. 

Et tverrfaglig felt

Victoria synes en ting som er fint med masterprogrammet i Språkteknologi er at feltet er tverrfaglig, og at hun dermed har mulighet til å jobbe med mye forskjellig. – Jeg skriver om LLMs, men det betyr ikke at jeg nødvendigvis må jobbe med dette. Utdanningen og oppgaven min har vært innom mange forskjellige områder som utvikling/informatikk (spesifikt High-Performance Computing), datavitenskap, lingvistikk, og statistikk.