Innvilgede utviklingsprosjekter

Teksthuben lyser ut og bevilger midler til småskalaprosjekter fire ganger i året. Projekter som har fått støtte annonseres her.

Innholdsfortegnelse

Norsk litteraturkritikk – databaseutvikling

  • Prosjektansvarlig: Sissel Furuseth

  • Node: 5 - Databaseutvikling og modeller 

Norsk litteraturkritikk er en bibliografisk database som driftes av Universitetsbiblioteket i Oslo i samarbeid med Institutt for lingvistiske og nordiske studier. Databasen, også kjent som «Beyer-basen», har røtter i forskningsprosjektene Den norske litteraturkritikkens historie 1830–1940 (UiO 1980-1984) og Norsk litteraturkritikks historie 1870–2000: verdiforvaltning og mediering (NTNU 2009-2015), og har de siste førti årene gjennomgått flere tekniske oppgraderinger (se https://ub-baser.uio.no/norsk-litteraturkritikk/historikk). Den digitale utviklingen har synliggjort noen typologiske svakheter ved bibliografien. Metadata og brukergrensesnitt har ikke vært godt nok tilpasset behovene til dagens kritikkforskere og -studenter.

I 2019 ble det derfor igangsatt et arbeid for å kvalitetssikre basestrukturen, fastsette mer relevante metadata, tydeliggjøre typologi, rydde og korrekturlese poster, og lenke enkeltposter til eventuelle fulltekstversjoner i Nasjonalbibliotekets digitale bokhylle. To vitenskapelige assistenter ble engasjert for å bistå ILNs kritikkforskere, webutvikler og aktuelle fagreferenter ved UBO i dette arbeidet.

Prosjektet befinner seg stadig i en test- og tilbakemeldingsfase. Målet er å ha etablert en databasestruktur ved utgangen av 2020 som er stødig nok til at det videre arbeidet kan konsentreres om korrekturlesing og innføring av nye poster.

Resultater: ub-baser.uio.no/norsk-litteraturkritikk 

International Comparable Corpus (ICC-NO)

Et historisk fullformsystem for analyse av eldre tekster, del 1 tidlig nynorsk og Aasen-normalen.

Arbeidet går ut på å sette opp bøyingsmønster for verb i Aasen-normalen basert på Aasens Norsk Grammatik 1864 og Aasens ordbok fra 1873.

Bakgrunn
Verktøyene som finnes for maskinell analyse av norsk språk er lagd med fokus på nyere norsk. Dette er forståelig ut fra behovet for språkteknologiske applikasjoner som støtte i hverdagen, men disse verktøyene er lite brukbare i analyse av norsk tekst frå før 1938. Begge de norske skriftspråkstandardene har gjennomgått store endringer gjennom de siste 150 årene. Moderne bokmål har siden 1907-reformen utviklet seg vekk fra dansk, og grunnlaget for nynorsk, Aasen-normalen fra 1864-1873, skiller seg vesentlig fra moderne nynorsk. Det betyr at desto eldre tekster vi prøver å analysere ved hjelp av eksisterende verktøy desto dårligere resultater får vi.

Mangelen på verktøy er en hemsko i studiet av eldre norsk tekst. Dette merkes godt i arbeidet med den norske delen av Cost Action, CA16204: Distant Reading, som skal bygge opp et korpus/tekstsamling med romantekster fra perioden 1850-1920. Den mer generelle tekstsamlingen til Nasjonalbiblioteket sliter med tilsvarende problemer. For bokmålstekster fra før 1917 vil en antakelig få best resultater ved å bruke rene danske analyseverktøy. For nynorsk finnes det ikke verktøy som gir brukbare resultater for tekster før 1938.

Prosjektet
Vi har i lengre tid sett på hvordan en kan bygge opp ressurser for å bøte på problemene. Vi har bygd opp en basis gjennom Metaordboka og Ordbokshotellet for å studere den historisk-ortografiske utviklingen i norsk. Dette materialet er registrert med grunnform og ordklasse, som i ordbøker og ordlister, og har fått interessante resultater i et meta-leksikografisk perspektiv. Men til analyse av løpende tekst en også ha tilgang til de bøyde formene. Vi arbeider derfor med å bygge opp et historisk fullformsregister som basis for verktøy for maskinell analyse av (litterære) tekster i perioden 1880 og fremover. I første omgang konsentrerer vi oss om nynorsk siden det er der manglene er størst, men også fordi den beste historiske dokumentasjonen allerede er tilgjengelig for nynorsk.

Fictional dialogues in Norwegian and Italian

I would like to create a pilot Italian-Norwegian parallel corpus. The corpus will include fictional dialogues from: 1) Italian novels and their Norwegian translations; and 2) Norwegian original dialogues and their Italian translations. Fictional dialogues are written reconstructions of spoken language. Studies on this corpus can be connected to studies on spoken language and, hence, to the corpora of Italian and Norwegian spoken language that already exist. To select the novels I will use the following criteria: dialogues in novels written by modern authors (1980-2020) translated recently (2000-2020), addressed to different readership (e.g., children’s books, criminal novels, awarded novels, bestsellers). In addition to the morphological tagging, the replies in dialogues can also be tagged based on pragmatic features (e.g., participants’ properties, type of communicative situation, emotional state). It can be a new additional tool that will be developed in future research. This corpus will be the first Italian-Norwegian parallel corpus and will create many new possibilities of collaboration with Italian universities and research projects. It will provide useful material for teaching Italian at the UiO and at other Scandinavian universities. 

Koreferanse-korpus for norsk: en pilot

  • Prosjektansvarlig: Erik Velldal

  • Node: 4 - Maskinlæring, annotering (tagging, parsing) og statistikk 

Målet med dette pilotprosjektet er å utarbeide retningslinjer for annotasjon av koreferanse for norsk tekst og å annotere en delmengde av Norsk Dependenstrebank i henhold til dette. De annoterte tekstene vil så kunne benyttes som trenings- og test-data for maskinlæringsmodeller for automatisk koreferanse-resolusjon. Både retningslinjene og dataene vil bli gjort åpent tilgjengelige, og blir de første av sitt slag for norsk. Prosjektet ledes av Erik Velldal og Lilja Øvrelid.

Automatisert analyse av store tekstmengder forutsetter en rekke språkteknologiske verktøy, eksempelvis ulike former for morfologisk og syntaktisk analyse, navnegjenkjenning og sentimentanalyse. For norsk språk har vi etter hvert fått støtte for flere av disse verktøyene, men på et sentralt område mangler vi fortsatt ressurser for norsk, nemlig koreferanse.

Såkalt koreferanse er helt sentralt for menneskers tolkning av naturlig språk da det innebærer å avgjøre hva ulike språklige entiteter refererer til. Eksempelvis vil pronomen være helt avhengig av å kobles mot en antesedent i teksten for å kunne gis en tolkning.

Innenfor språkteknologi, er såkalt koreferanse-resolusjon (alternativt anaforresolusjon) et viktig forskningsfelt, der målet er å automatisk bestemme antesedenter for ulike lingvistiske entiteter i tekst. Som regel løses dette ved bruk av maskinlæring, mer spesifikt veiledet læring, der man er helt avhengig av manuelt annoterte data til trening og testing av ulike metoder.
Mens man i mange språkteknologiske verktøy kun opererer på setningsnivå, uten å ta hensyn til konteksten som setningen inngår i (f.eks. et dokument eller en dialog), så er en interessant utfordring ved koreferanse er at analysen nødvendigvis må skje på tvers av setningsgrenser. Vi kan ta følgende setninger som eksempel:

`Camilla Stoltenberg uttalte at R-tallet går kraftig opp. FHI-direktøren viser til at det i oktober har vært oppe i 1.3, men hun sier videre at spredningen trolig er langt høyere i Oslo.'

Målet med koreferanse-resolusjon vil være å kunne identifisere at `Camilla Stoltenberg', `FHI-direktøren', og `hun' her har samme referanse. Ved å manuelt annotere større tekstmengder med denne informasjonen kan man altså benytte maskinlæring til å automatisere slik analyse. Mens slike annoterte data foreligger for en rekke andre språk som f.eks. Engelsk, har vi per i dag ingen slike ressurser for norsk.

Nettverksanalyse av Ibsens brev

Vi ønsker å tilrettelegge Ibsens samlede korrespondanse for ulike typer analyse og visualiseringer ved hjelp av DH-verktøy. Dette brevmaterialet inngår i de digitale ressursene ved Senter for Ibsen-studier og vil egne seg godt for slike analysemetoder, men de trenger bearbeidelse for å kunne fungere som fullverdig datasett. Vi vil rense og supplere filene med nødvendige metadata og lage visualiseringer på grunnlag av dem, som eksempler på bruk av DH-metoder på tekstkorpus.

Prosjektet vil resultere i et datasett som vil egne seg godt som pilotmateriale for å prøve ut visualiseringer og digitale analyser av ulike slag, og vil derfor kunne bidra til kompetansebygging både i node 1 og 3. Det planlagte arbeidet vil være særlig relevant for teksthuben ved at det vil etablere et verdifullt datasett og opparbeide kompetanse på sentrale områder innenfor DH. Det vil legge til rette for erfaringsutveksling for andre som ønsker å tilrettelegge datasett for nettverksanalyser og grafiske fremstillinger, samtidig som det vil åpne opp hele brevkorpuset for å teste ut ulike analysemetoder på materialet.

Følelser i PANTERA

  • Prosjektansvarlig: Diana Santos

  • Node: 4 - Maskinlæring, annotering (tagging, parsing) og statistikk

PANTERA er et norsk-portugisisk parallellkorpus som har som mål å omfatte utvalg av alle verk som er oversatt mellom de to språkene. Korpuset er under arbeid, men har allerede mange tekster, og har alt tjent som grunnlag for en del kontrastive studier. Ett av problemene ved PANTERA er at annoteringen av den portugisisk delen av materialet er mye rikere, slik at det alltid er lettere å søke på portugisisk. Vi ønsker å gjøre noe med dette, nærmere bestemt på området 'følelser', og vi ønsker å ansette en forskningsassistent for å utvikle et leksikon og regler for å annotere følelser i den norske delen av korpuset ved hjelp av det verktøyet vi har utviklet.

LangMix Database: flerspråkiga och flerskriftliga inskrifter från det medeltida Skandinavien

Syftet med projektet är att utveckla en databas som ska samla och tillgängliggöra alla flerspråkiga och flerskriftliga inskrifter från det medeltida Skandinavien, och utarbeta ett gränssnitt som ska möjliggöra sökningar i denna korpus. Det epigrafiska materialet från medeltidens Skandinavien omfattar tusentals inskrifter på olika språk, som latin och de nordiska fornspråken, och på olika skriftsystem, främst runor och det latinska alfabetet. Många av dessa inskrifter tillhör tydligt antingen den folkspråkiga eller den latinska skrifttraditionen, och uppvisar antingen en väntad kombination av folkspråk och runor eller av latin och latinska bokstäver. Emellertid består denna korpus även av texter som uppvisar varierande kombinationer av de ovannämnda språken och alfabeten. Dessa inskrifter vittnar om det komplexa mötet mellan de två skrifttraditionerna under 1100–1500 och är viktiga källor till medeltida språk- och skriftkontakt, skandinavisk skrifthistoria och medeltida literacy. Trots detta har materialet aldrig samlats på en och samma sökbara plattform, vilket har gjort det svårt att utnyttja det i forskningen. Dessa flerspråkiga och flerskriftliga texter undersöks nu inom Marie Curie-projektet LangMix, där de annoteras med avseende på vilka formulaiska element de innehåller, vilka språk och alfabet som används samt beträffande inskrifternas datering, proveniens och textbärande artefakt. Databasen och gränssnittet som ska utvecklas tack vare forskningsmedel från Teksthub kommer att göra korpusen användbar till olika forskningssyften, exempelvis belysa mönster i de språk- och skriftval bakom inskrifternas produktion, studera kronologiska och geografiska tendenser i materialet samt variationen kopplad till olika sociokulturella miljöer.

NorDial: A Corpus of Written Norwegian Dialect Use

  • Prosjektansvarlig: Samia Touileb

  • Node: 3 - Skriftspråkstekst/korpus

Norway has a large amount of dialectal variation, as well as a general tolerance to its use in the public sphere. There are, however, few freely available resources to study this variation, its change over time, and in more informal areas, as e.g. on social media.

In this annotation project, we plan to create a corpus of dialectal variation of written Norwegian. We will collect a corpus of tweets and manually annotate them as Bokmål, Nynorsk, any dialect, or a mix. We will also  identify and annotate the dialectal traits which can give us even more insights into the written variations. The annotated corpus and annotations will be made available to the research community, and will later be used to train state-of-the-art Natural Language Processing models, which will also be made available.

This project intends to build on our previous work, where we built a small preliminary corpus for Norwegian Dialects (see https://www.aclweb.org/anthology/2021.nodalida-main.51.pdf for the paper describing our preliminary efforts, and https://github.com/jerbarnes/norwegian_dialect for the data)."

Annotation of historical semantic change test set for Norwegian

  • Prosjektansvarlig: Andrey Kutuzov

  • Node: 3 - Skriftspråkstekst/korpus 

Words in human languages change their meaning over time. These changes (diachronic semantic shifts) can be captured automatically. In particular, this is often done by analyzing changes in the behavior of large-scale neural language models trained on texts created in different time periods. There are several survey papers on the topic, an ACL workshop in 2019 and a SemEval shared task in 2020. The findings in these studies are important both for general linguistics and for practical applications like web search and digital humanities.

However, this is mostly done for English and a few other languages. We would like to fill in the lack of annotated data in data-driven detection of diachronic semantic change for Norwegian.

Thus we are organizing the compilation of human-annotated test set of Norwegian words which acquired a new sense or lost an old sense over time. We plan to annotate about 80 words for two time period pairs:

1929:1968 – 1968:2020 (long-term semantic changes)

1980:1990 – 2010:2020 (short term semantic changes).

The sentences will be sampled from publicly available Norwegian corpora, in particular, the NBdigital corpus and the Norsk Aviskorpus.

The creation of this dataset will be an important step for Norwegian language technologies, considering the growing popularity and importance of semantic change detection tasks in the global NLP community. The dataset (and the models trained and evaluated on it) can also be valuable for general linguistics and digital humanities (“culturomics” on Norwegian material, etc).

Ordforsk - nettside som analyserer tekster med Oslo-Bergen-taggeren

  • Prosjektansvarlig: Anne Golden og Ingebjørg Tonne

  • Node: 2 og 3 - Talespråk/korpus/(automatisk) transkripsjon og Skriftspråkstekst/korpus

Ordforsk-prosjektet vil gjøre det enkelt å sammenenlikne ordforrådet i ulike norske tekster produsert av ulike brukere i ulike kontekster. Til dette trengst det å utvikle et program som studenter (og forskere) enkelt kan bruke for å tagge og lemmatisere norske tekster (inkl ortografiske transkripsjoner, som ved ELAN).

Et slikt program eksisterer ikke for norsk og det vil gjøre det mulig å sammenlikne lengre tekster og dermed får en (langt) bedre innsikt i ordbruken i norsk. Mye verdifull studentforskning går i dag tapt fordi studentene ikke har kapisitet til å undersøke lengre tekster.

I prosjektet skal det lages en webside der man kan laste opp tekst (i ulikt format), få den tagget av Oslo-Bergen-taggeren (http://tekstlab.uio.no/obt-ny/index.html), deretter lemmatisere og så få ut diverse nedlastbare frekvenser og statistikk.

NoTaPhon: Phonetic time-alignment of NoTa

  • Prosjektansvarlig: Nathan Joel Young

  • Node: 1 og 4 - Talespråk/korpus/(automatisk) transkripsjon og Maskinlæring, annotering (tagging, parsing) og statistikk, Databaseutvikling og modeller

This project seeks to pilot an expansion of the NoTa corpus that would result in *time-aligned phonetic annotations*. This sort of annotation has thus far not been performed on Norwegian natural speech, so we wish to perform a trial run that – if successful – would achieve the following two goals:
1. Construct *a brand new dataset for NoTa that contains phonetic annotations* along with time stamps for every phoneme produced. This would enable the first "big-data" acoustic analysis of Oslo Norwegian phonetics and phonology
2. Expand NoTa's existing function. NoTa has up to now only been available for syntactic and discursive purposes. This pilot would *expand* its use into *phonetics and phonology*
3. Share the results with the phonetics research community, which would result in expanding TekstLab's and Teksthuben's impact.

Korpus av Ovansiljanmålen

  • Prosjektansvarlig: Piotr Garbacz

  • Node: 2 og 3 - Talespråk/korpus/(automatisk) transkripsjon og Skriftspråkstekst/korpus

Syftet med projektet är att undersöka möjligheten till att utveckla en externfinansierad korpus med transkriberade inspelningar av och skrivna texter på de sju svenska Ovansiljanmålen (som talas i och omkring orterna Mora, Ore, Orsa Sollerön, Venjan, Våmhus och Älvdalen i centrala Dalarna). Alla dessa mål (med undantag för Älvdalsmålet) är mycket lite utforskade språkvetenskapligt, men bildar en av de mest intressanta germanska dialektgrupperna i Norden som utvecklat sin egenart sedan medeltiden och som uppvisar både mycket gamla drag kända igen från bl.a. fornnordiska och en rad unika novationer, av vilka flera är helt frånvarande (eller i bästa fall mycket sällsynta) i de övriga nordiska dialekterna.

Projektets mål är att kartlägga det befintliga språkmaterialet i form av äldre och yngre inspelningar och texter samt undersöka möjligheter för externfinansiering för att utveckla en korpus över talade och skrivna Ovansiljanmålen. En sådan korpus skulle väsentligt underlätta forskning på dessa sju varieteter, både för nordiska och internationella forskare, i synnerhet som detta lingvistiska material har ett stort värde och som antalet aktiva talare av Ovansiljanmålen har minskat drastiskt de senaste hundra åren.

eMunch meets Linked Open Data. Extracting, Enriching, and Exchanging Correspondence Metadata

  • Prosjektansvarlig: Annika Rockenberger

  • Node: 1 og 5 - Litteraturlesing med digitale verktøy og Databaseutvikling og modeller 

eMunch Correspondence Metadata-prosjektet er en pilot og case study for det mer omfattende prosjekt “NorKorr - Norske Korrespondanser” som utvikles av søkeren i samarbeid med forskere ved Nasjonalbiblioteket, Munch Museet, Universitetet i Bergen bibliotek, Universitetet i Trondheim bibliotek, Universitetet i Tromsø bibliotek og KODE Bergen.

Pilotprosjektet skal undersøke og praktisk gjennomføre i hvorvidt det kan automatisk hentes ut (extracting) metadata som beskriver korrespondanser (brev, telegram, postkort) fra en digital utgivelse laget i XML/TEI P5. eMunch har publisert alle kjente brev fra og til Edvard Munch som del av Munchs tekster. Her kan en søke etter enkle brev, lese dem, studere faksimile og søke i selve brevteksten. Men for å kontekstualisere Munch som brevskriver og -mottaker er det nødvendig å koble sammen hans korrespondanse med andres, dvs. å knytte korrespondansemetadata fra eMunch til andre utgivelser av brev og korrespondanser, ikke bare i Norge og Norden, men i Europa og den internasjonale verden. Utgivelsens brevmetadata skal berikes (enriching) med koblinger til Linked Open Data-entiteter som Virtual International Authority File og GeoNames. Det lages dermed en ny XML-fil i Correspondence Metadata Interchange Format (CMIF) som er egnet til å integrere og tilgjengeliggjøre (exchanging) eMunch i den internasjonale søke- og analysetjenesten CorrespSearch.

Transkribus-transkripsjon av Ibsens regnskapsbøker

  • Prosjektansvarlig: Nina Marie Evensen

  • Node: 1, 3 og 5 - Litteraturlesing med digitale verktøy, Skriftspråkstekst/korpus og Databaseutvikling og modeller 

I perioden 1870-1901 førte Henrik Ibsen nøyaktig regnskap over alle sine inntekter og utgifter i to regnskapsbøker som nå eies av Nasjonalbiblioteket. Disse bøkene har aldri vært transkribert og er bare tilgjengelig som digitale faksimiler, til tross for at de er av stor kultur- og litteraturhistorisk verdi. Vi ønsker å bruke maskinlæringsprogrammet Transkribus til å gjøre dem tilgjengelig som maskinlesbar XML-kodet tekst og etablere et økonomisk datasett på grunnlag av informasjonen i dem.

  • PANDEVAL: Oppbygging av dokumentkorpus over koronakommisjoner og deres tekstlige ringvirkninger i Norge og internasjonalt

  • Prosjektansvarlig: Hilde Reinertsen

  • Node: 1, 3, 4, 5 - Litteraturlesing med digitale verktøy, Skriftspråkstekst/korpus, Maskinlæring, annotering (tagging, parsing) og statistikk og Databaseutvikling og modeller

PANDEVAL skal bygge et åpent korpus med alle eksisterende evalueringsrapporter om nasjonale og overnasjonale myndigheters håndtering av coronapandemien. Prosjektet er tilknyttet NFR-prosjektet EVALUNATION og utføres i samarbeid med Nasjonalbiblioteket.

Korpuset vil ha to deler som ideelt inneholder følgende: (1) Det norske datasettet skal i tillegg til selve rapportene og tilhørende materiale (oppnevning, mandat, vedlegg, nettside, pressemateriale, lansering etc) inneholde alle tilgjengelige digitale dokumenter knyttet til rapportenes underlag, formelle oppfølging i storting og regjering/embetsverk, samt mediedekning underveis og etterpå. (2) Det internasjonale datasettet skal inneholde alle eksisterende rapporter og tilknyttede dokumenter og nettsider for formell oppfølging av rapportene. Begge datasettene skal ideelt sett oppdateres fortløpende og høste materiale også framover.

Formålet med PANDEVAL-korpuset er å samle og tilgjengeliggjøre dokumenter på tvers av formater og plattformer, og slik muliggjøre forskning om koronaevalueringer spesielt og myndigheters pandemirespons generelt i Norge og internasjonalt.

  • NorQuAD: Norwegian question answering dataset for machine reading comprehension

  • Prosjektansvarlig: Lilja Øvrelid

  •  

  • Node: 4 - Maskinlæring, annotering (tagging, parsing) og statistikk 

Machine reading comprehension is one of the key problems in natural language understanding. The question answering (QA) task requires a machine to read and comprehend a given text passage, and then answer questions about the passage. There is progress in reading comprehension and question answering for English and a few other languages. We would like to fill in the lack of annotated data for question answering for Norwegian.

We would like to organise the compilation of human-created training, validation, and test sets for the task for Norwegian. To our knowledge this would be the first question answering dataset in Norwegian.

Creation of the dataset will be an important step for Norwegian natural language processing, considering the importance and popularity of reading comprehension and question answering tasks in the NLP community.

  • Kvinnelig Handelsstands Blad i OCR format for DH-analyser

  • Prosjektansvarlig: Eirinn Larsen

  • Node: 3 - Skriftspråkstekst/korpus 

"Kvinnelig Handelsstands Blad (1918-1963) i OCR format for DH-analyser " er et prosjekt som ønsker å tilrettelegge foreningsbladet til Kristiania / Oslo Kvinnelige Handelsstandsforening (1890-1997) for ulike typer analyse og visualiseringer ved hjelp av DH-verktøy, og samtidig gjøre materialet digitalt tilgjengelig for allmennheten. Foreningens blad som kom ut i perioden 1918 - 1963 hver andre uke, er arkivert i Asta gjennom Anno-Museum avd. Kvinnemuseet https://www.arkivportalen.no/entity/no-KVMA_arkiv_000000000178?ins=KVMA. Men materialet er ikke digitalisert og allment tilgjengelig. Det er svært synd, fordi KKHF/OKHFs foreningsblad gir unik innsikt i et nærings- og kvinnepolitisk nettverk som er lite kjent. Spesielt gir bladet innsikt kvinners forretningsvirksomhet, noe som er svært lite utforsket i Norge inntil søkeren begynte å forske på dette rundt 2011. Dette resulterte i flere vitenskapelige artikler. Samtidig har materialet som KKHF/OKHF etterlot seg ikke blitt digitalisert slik for eksempel Nylænde har, foreningsbladet til Norsk Kvinnesaksforening, (1884-). Det forsterker den skjevheten som eksisterer i fremstillingen av kvinners fortidige liv, og gjør norske kvinners forretningsvirksomhet i fortiden mer usynlig enn nødvendig. Dette prosjekter ønsker å bidra til å endre dette gjennom å OCR scanne materialet slik at det ikke bare blir offentlig tilgjengelig gjennom Asta, men mulig å utforske ved hjelp av DH-metoder.

  • Annotasjon av animathet i et norsk skriftspråkkorpus

  • Prosjektansvarlig: Anu Laanemets

  • Node: 2 og 3 -Talespråk/korpus/(automatisk) transkripsjon og Skriftspråkstekst/korpus 

Formålet med dette pilotprosjektet er å utføre en annotasjon av kategorien animathet av nominalfraser i et norsk skriftspråkkorpus. Nærmere bestemt skal det i rammene av prosjektet utarbeides en manual for annotasjon av animathet og det skal annoteres en andel av Norsk Dependenstrebank (NDT, Nasjonalbiblioteket) i henhold til retningslinjene.
Animathet er en semantisk egenskap ved nominaler som angir om den pågjeldende entiteten refererer til noe levende eller ikke-levende. Animathet er en helt grunnleggende kategori i alle menneskelige språk og den har relevans for mange grammatiske kategorier og syntaktiske funksjoner (bl.a. dativalternering, passiv, kongruens, kasusmarkering m.m.). Overordnet sett kan animathet betraktes som en binær kategori (levende : ikke-levende), mens i mer nyanserte tilnærminger beskrives animathet som et kontinuum eller et hierarki. Et eksempel på animathetshierarkiet kan være som dette: HUMAN > ANIMAT > INANIMAT.

Siden animathet er en svært relevant kategori i menneskelige språk og mange språklige valg vi foretar oss, er betinget av dette, vil et korpus hvor nominale ledd er annotert for animathet, utgjøre en viktig empirisk basis for ulike forskningsprosjekter. Det ferdigannoterte materialet skal gjøres fritt tilgjengelig for forskningsformål.

Nyutviklinger for TRAWL-korpuset (Tracking Written Learner Language)

  • Prosjektansvarlig: Hildegunn Dirdal
  • Node: 3 og 4, Skrifspråkstekst/korpus og Maskinlæring, annotering og statistikk

TRAWL-korpuset er et longitudinelt korpus av tekster skrevet av elever i norsk skole på de fem største språkfagene, dvs. norsk, engelsk, fransk, spansk og tysk. Tekster har blitt samlet inn over flere år og en første nettutgave av korpuset ble lansert i februar 2023 og er tilgjengelig for forskere, lærere og lærerutdannere: https://tekstlab.uio.no/trawl/. Tekstlaboratoriet ved UiO har tilrettelagt Glossa for korpuset, men det er noen funksjoner vi ønsker oss som krever nyutvikling. Dette gjelder for det første et system for å kunne dele opp tekstene og søke på individuelle sjangre, samt å kunne søke på oppgavekoder og få opp tekstikoner i vinduet med oversikt over tekster og metadata slik at man kan gå direkte til individuelle tekster derfra (uten å måtte bruke en søkestreng som har treff i teksten). For det andre, trenger vi et program som gjør det mulig for oss i prosjektet å selv finne og rette feil i sammenstillingen av originaltekster og rettede tekster slik at vi raskere kan få utvidet korpuset med de resterende tekstene vi har samlet inn fra skolene.

Integrasjon og samarbeid i epigrafikk: EpiDoc eksport/import-funksjon for DAMOS, Database of Mycenaean at Oslo

  • Prosjektansvarlig: Federico Aurora
  • Node: 5 - Databaseutvikling og modeller 

DAMOS (Database of Mycenaean at Oslo, https://damos.hf.uio.no/) inneholder annoterte transkripsjoner av de eldste bevarte gammelgreske tekster (ca. 1350-1150 f.Kr.). Dataene er lagra i en relasjonell MariaDB-database og publisert på websida https://damos.hf.uio.no/, som har blitt et standardverktøy i feltet. Dette prosjektet tar for seg å utvikle muligheta til å eksportere og importere dataene fra og til DAMOS i EpiDoc-formatet. EpiDoc er et undersett av TEI (Text Encoding Initiative)-standardene for XML-koding av tekster og er standardformatet for den digitale representasjonen av tekster i gresk og latin papyrologi og epigrafikk. Den blir også stadig mer brukt i andre språks epigrafikk (egyptologi, assyriologi, runologi, m.m.). EpiDoc eksport/import-funksjonen har som formål å: 1) integrere dataene fra DAMOS i det større landskapet av de greske og latinske dokumentariske kildene ved å tilgjengeliggjøre dem for gjenbruk i andre databaser i feltet; 2) forenkle arbeidet med oppdateringa av tekstene i DAMOS i anledning nye utgaver og nye funn: den nye import-funksjonen vil gi et langt bedre arbeidsflyt og samtidig støtte samarbeidet med kollegaer i feltet, sia det vil bli mulig for enhver forsker å lage en ny versjon av en eller flere tekster uten å trenge direkte tilgang til DAMOS-databasen. EpiDoc-XML utgjør også et bærekraftig alternativ for langtidslagringa av dataene i DAMOS.

Training HTR-Models for a Bilingual Digital Edition of the Ethica Complementoria

  • Prosjektansvarlig: Annika Rockenberger
  • Node: 1, 5 og 6 - Litteraturlesing med digitale verktøy, Databaseutvikling og modeller og Nettdugnad

Prosjektet skal danne datagrunnlag for en tospråklig digital vitenskapelig utgave av en av de mest populære bøkene om 'skikk og bruk' i tidlig moderne Tyskland og Nordeuropa: Ethica Complementoria. Opprinnelig laget på tysk, fant boken sin vei til Norden via den danske oversettelsen fra 1678. Denne første danske utgaven skal gis ut i en paralleledisjon sammen med den tyske utgaven som ble benyttet for oversettelsen.

Utviklingsprosjektet er del av et større prosjekt om Ethica Complementorias bok- og revisjonshistorie, ledet av Annika Rockenberger. En sammenstilling og stemmatologisk analyse av alle utgaver har blitt publisert digitalt: http://diglib.hab.de/ebooks/ed000738/start.htm.

Manuell transkribering av to 300+ siders tekster er uaktuelt. Men, klassisk OCR (Optical Character Recognition) leverer altfor dårlige resultater for eldre trykte bøker. Derfor skal det testes ut, evalueres og forbedres, og bygges videre på NorFraktur-modellen fra Nasjonalbiblioteket. NorFraktur er en HTR modell (Handwritten Text Recognition). Den ble trent opp på HTR-algoritmen READ Coop har utviklet for automatisk gjenkjenning av håndskrifter og eldre trykk.

Utviklingsprosjektet bidrar både til en digital vitenskapelig utgave med åpen tilgang (planlagt som del av Det Norske Språk- og Litteraturselskapets utgivelser på bokselskap.no), men også til å forbedre og utvide en åpen HTR-modell som gjenbrukes av fagfelleskapet for norske (inkl. danske og tyske) tidlig moderne trykk. 

Database of Palestinian Political Thought

  • Prosjektansvarlig: Erik Skare

  • Node: 5 - Databaseutvikling og modeller 

The Database of Palestinian Political Thought is an Arabic text database containing the most important entries in modern Palestinian political thought. The main aim of the corpus is to facilitate computational text analysis of Palestinian historical texts in order to compare historical and political developments the last century. The database will also be used to further develop computational text analysis of Arabic text.

NDT i Glossa

  • Prosjektansvarlig: Anu Laanemets
  • Node: 2 og 3 Talespråk/korpus/(automatisk) transkripsjon og Skriftspråkstekst/korpus 

Utviklingsprosjektet – NDT i Glossa – har som formål å videreutvikle og tilrettelegge søkegrensesnittet Glossa for å gjøre den eksisterende språkressursen – Norsk Dependenstrebank – lettere tilgjengelig for alle interesserte.

Norsk dependenstrebank (NDT) inneholder en samling av tekster på moderne norsk (både bokmål og nynorsk). Tekstene er annotert for både morfologisk og syntaktisk informasjon, og foreligger i CoNLL-format. Annotasjonene holder en «gullstandard», dvs. at den maskinelle annotasjonen er kvalitetssikret og manuelt korrigert av to fagpersoner. På denne måten utgjør NDT en nyttig språkressurs av svært høy kvalitet som vil kunne benyttes av både forskere, studenter og andre språkinteresserte i både forskning og undervisning. NDT er offentlig tilgjengelig via Nasjonalbibliotekets hjemmeside, men i et format (CoNLL) som er beregnet for datamaskiner, og er vanskelig å lese og nesten umulig å søke i uten en viss kompetanse i programmering.

Glossa er et svært bra søkegrensesnitt som tillater både enkle og utvidede søk for «vanlige» brukere uten spesielle kompetanser i korpussøk. En siste utvidelse av Glossa inneholder også søkemuligheter for syntaktiske kategorier som man kan søke på både alene og i kombinasjon med PoS-tagger. Dermed vil søkegrensesnittet Glossa gi mulighet for full utnyttelse av den grammatiske informasjonen som NDT er annotert med. Dessuten kan søkeresultatet i den nye Glossa-versjonen vises som et syntaktisk tre.

NoMusic: Norwegian Multi-Parallel Slot and Intent Detection Corpus

  • Prosjektansvarlig: Yves Scherrer
  • Node: 3 og 4, Skriftspråkstekst/korpus og Maskinlæring, annotering og statistikk

Over the last decades, extensive research into Norwegian dialects has given rise to a variety of textual resources. We propose to create yet another Norwegian dialect dataset, yet with some unique properties that set it aside from previous work.

We will ask 12 annotators from the major Norwegian dialect areas to translate English sentences into their dialects. This will result in a multi-parallel corpus (i.e. the sentences have the same meaning in all dialects), which can be used for various purposes both in dialectology (e.g., to investigate digital writing practices) and natural language processing (e.g., to enable machine translation between dialects). Since all translations are created during the project, we will be able to make the resource openly available.

As a basis, we will use the xSID corpus, which consists of natural prompts asked to digital assistants (e.g., "Is it going to rain today?", "Change tomorrow morning’s alarm to 6 am.") The utterances are annotated with intents (find_weather, modify_alarm) and slots (today=datetime, rain=weather_attribute, tomorrow morning=datetime, 6 am=datetime). These annotations will be semi-automatically transferred to the Norwegian translations, providing thereby new challenging test sets for dialog system development.

The Norwegian Learner English Corpus (NLEC)

The project aims to compile a corpus of texts written by Norwegian junior and senior high school students. What will set NLEC apart from most other available learner corpora is that it (i) will include texts written by students at the intermediate level and that it (ii) will include detailed information about the students’ extramural English (EE) activities (i.e., English-language activities that students engage in outside of the classroom). Specifically, the corpus will include information on how many hours per week students spend on the following EE activities: reading, watching audio-visual materials, conversing, using social media, and playing computer/video games. The design criteria of NLEC will follow closely those of some other L2 and L1 English corpora currently being compiled: SLEC (Sweden), CLEC (China), and USEC (US). Together, these comparable corpora will allow us to empirically study relations between the linguistic properties of student texts and various extralinguistic and learner variables. NLEC differs from the Tracking Written Learner Language (TRAWL) Corpus (Dirdal et al., 2022) in that it will comprise EE data that have been collected more consistently than what was done for TRAWL. In addition, NLEC, unlike TRAWL, will in its initial version include texts on one single topic.

Prosjektets nettside.

Creating NorGenEval: a generative evaluation dataset for Norwegian from scratch

  • Prosjektansvarlig: Andrey Kutuzov
  • Node: 3 og 4, Skriftspråkstekst/korpus og Maskinlæring, annotering og statistikk

The purpose of this project is to create a high-quality prompt-based dataset for  evaluation of large Norwegian language models: NorGenEval. Generative language models have become critical in understanding and producing human language. However, the development of such models in Norwegian lags behind, mainly due to the lack of specialized datasets. Specifically, evaluating conversational language models (similar to ChatGPT) requires benchmarking datasets which test language generation capabilities of the model. Unfortunately, no native Norwegian dataset of this type exists now.

Our project seeks to bridge this gap by creating a high-quality and diverse Norwegian resource of prompts and expected responses. Importantly, we here are  focusing on creating it from scratch, not relying on machine-translated data and avoiding any influence from similar datasets for other languages. Native Norwegian speakers employed within the project will be asked to brainstorm and “generate” a diverse set of Norwegian tasks with input and output examples. The resulting dataset can be used for evaluating large generative language models.

Publisert 13. nov. 2020 10:05 - Sist endret 10. juni 2024 07:43
Del på e-post