Kunstig intelligens er i ferd med å erstatte eller supplere mennesker i flere ulike bransjer. Jurister er ikke noe unntak. I juni i år lanserte tjenesten Lovdata et eget KI-søk som besvarer juridiske problemstillinger.
Nå blir KI-søket utfordret av forskning fra Det juridiske fakultet på Universitetet i Oslo.
– Svar som framstår som nyttige og informative, kan være beheftet med alvorlige svakheter og mangler, advarer forsker Hans Christian Farsethås og professor Anders Løvlie.
I en ny artikkel publisert i Lov og Rett går de tjenesten etter i sømmene. Forskerne hevder det ville være foruroligende dersom juridiske råd og avgjørelser i privat eller offentlig sektor skulle baseres på KI-søket.
– Tenker ikke på riktig måte
Lovdata er en privat stiftelse som eier Norges største database for lover, forarbeider, forskrifter og dommer. Betalingstjenesten Lovdata PRO brukes daglig i juridisk arbeid og av jusstudenter, og kan også abonneres på av andre. Det nyeste tilskuddet er et KI-basert søk i Lovdata PRO 2.
«Vi kombinerer teknologi og tillit, og gir deg trygghet i møte med juridisk problemløsning», reklameres det.
I KI-søket kan du stille spørsmål som «Kan politiet kreve at jeg åpner mobiltelefonen min med ansiktsgjenkjenning?». Svaret ser ut som det er skrevet av en jurist, og er samtidig lettfattelig presentert med henvisninger til både lov, forarbeider og rettspraksis.
Nyheten fanget interessen til Løvlie og Farsethås som i en tid har jobbet med språkmodeller og juss. Med god hjelp fra Lovdata har de to kartlagt og dokumentert den tekniske løsningen bak søket.
– Databasen til Lovdata er bunnsolid. Problemet er at KI-søket ikke klarer å ta den i bruk. Modellen tenker ikke på riktig måte og søker ikke de riktige stedene, oppsummerer Løvlie.
– Advarslene må følges
Etter du har stilt et spørsmål, følger KI-søket en rekke trinn. Det henter fram og sorterer kilder, plukker ut ifra kilder og syr det hele sammen til et svar.
Mens du venter på svaret, dukker det opp advarsler som «KI kan gi svar som er overbevisende, men ikke korrekte. Sjekk alltid fakta og referanser selv» og «KI kan finne på ting som ikke stemmer».
Lovdata tar altså selv tydelige og gjentatte forbehold.
Når svaret kommer, kan det likevel være lett å tenke at advarslene var unødvendige. For språket er godt og tillitvekkende, argumentasjonen overbevisende og svaret henger tilsynelatende logisk sammen.
Men advarselen må følges, understreker forskerne. For måten den tekniske løsningen er satt opp på gjør at svaret som lyder så overbevisende, fort kan være feil. Systemet behersker nemlig ikke juridisk metode. Altså måten jurister går fram på når de skal besvare et juridisk spørsmål.
Juridisk metode handler om å finne, tydeliggjøre og sammenlikne ulike rettskilder for å formulere en rettsregel:
– En rettsregel er et fortolkningsprodukt basert på ulike rettskilder. Lovtekst kan gi uttrykk for rettsregelen, men det er ikke sikkert at den treffer på regelens innhold. Dessuten kan vi ha rettsregler uten lovtekst, forklarer Løvlie og illustrerer:
– Det finnes ingen lov om betingelsene for erstatning. Vi har en skadeerstatningslov som regulerer sider ved erstatning og utmåling, men ikke grunnvilkårene for erstatning. Disse reglene er ulovfestede, noe som betyr at man for eksempel kan finne dem i en Høyesterettsdom.
I tilfeller der svaret på spørsmålet ikke er regulert i lov, kommer Lovdata KI til kort, viser forskerne.
Chat GPT ga bedre svar
KI-søket vil alltid først starte i lov. Står det ikke noe om problemstillingen i loven, går søket seg bort og finner ikke fram til relevante ulovfestede rettskilder.
Da forskerne spurte «Er prostitusjonsinntekter erstatningsrettslig vernet?», fikk de feil svar.
Søket fant nemlig ikke Høyesterettsdommen som fastslår at krav om erstatning for tapte inntekter fra salg av seksuelle tjenester ikke har erstatningsrettslig vern. Tvert imot svarte det at «Det foreligger ingen eksplisitte lovbestemmelser eller rettsavgjørelser i det aktuelle søket som direkte omtaler om inntekter fra prostitusjon er erstatningsrettslig vernet.»
De gangene KI-søket refererer til Høyesterettsdommer, er det fordi den først har gått i loven, og deretter brukt de koblingene i Lovdatas database.
Noen ganger fungerer annen KI bedre enn Lovdata-søket.
Da forskerne stilte spørsmålet «Er det straffbart å importere en sexdokke som ser ut som et barn? Vis meg rettspraksis og dommer», fikk de korrekt svar av Chat GPT. Lovdata avviste spørsmålet, da det ble ansett som et mulig brudd på plattformens retningslinjer.
– Vi finner det paradoksalt at en utenlandsk språkmodell som trolig har dårligere tilgang til norske juridiske tekster enn Lovdata, likevel ga et bedre svar, sier Farsethås.
Feilkildene er flere
Å tenke som en jurist forutsetter menneskelige egenskaper. Men selv innenfor de begrensede rammene man kan jobbe innenfor, er ikke Lovdata KI optimalt utformet, vurderer forskerne.
– Det er påfallende hvor lite moderne språkteknologi som brukes til å forstå spørsmålet og å finne og tolke rettsgrunnlaget, sier Farsethås.
Kjernen i Lovdatas KI-søk er en språkmodell for vektorisering av dokumenter, forklarer han. Vektorisering er kort forklart en måte å håndtere dokumenter og søk matematisk. Dokumenter og spørsmål representeres ved tall, og så letes det matematisk fram til dokumentene som ligger nærmest spørsmålet. Derfra sendes resultatet til en språkmodell fra OpenAI som syr sammen et svar, beskriver Farsethås.
På veien kan det gå galt på flere måter. Fordi systemet baserer seg på språklig likhet, kan det føre til treff i bestemmelser som språklig sett er like, men som har vidt forskjellig rettslig mening. Dermed blir også svaret feil.
KI-søket har også utfordringer med tidsforståelse, og kan derfor gi utdaterte svar. Forskerne fant eksempelvis at søket refererte til strafferettens utdaterte krav om «vinnings hensikt» i medvirkningsansvaret for tyveri, framfor det nye kravet om «vinnings forsett».
Nok en svakhet forskerne trekker fram, er at søket overser overordnede regler. Her viser de til at KI-søket unnlot å minne om at folketrygdloven skal tolkes i samsvar med EØS-avtalens prinsipper.
Generelt finner de at søket sliter med å konkretisere rettsregler, og at det ikke gir konkrete svar på komplekse rettsspørsmål.
– Ikke klart til bruk
Alt er ikke helt krise. Hadde man sendt Lovdatas KI-søk gjennom jusstudiet, kunne løsningen oppnådd gode karakterer på mange besvarelser. Spesielt på lovregulerte områder.
– Poenget er at man ikke kan stole på at svaret man får er riktig. Man er nødt til å dobbeltsjekke og revidere svaret, poengterer Løvlie.
Ikke ulikt det som gjelder for all annen bruk av kunstig intelligens, med andre ord. Likevel er det verdt å være ekstra kritisk akkurat her, mener de to:
– Lovdata er den mest spesialiserte leverandøren av norske rettskilder. Nettstedet er et område for profesjonelle aktører og en betalingstjeneste. Det gir jo grunn til å ha visse forventninger, bemerker Løvlie.
Forskerne konkluderer med at potensialet opplagt er til stede, men at Lovdatas KI-søk ikke er helt klart til bruk enda. Som sammenligning viser de til en tilsvarende svensk løsning, JUNO AI. Denne benytter en annen språkteknologisk framgangsmåte, som ifølge forskerne ser ut til å gi bedre resultater.
– Det er viktig å forske videre på denne teknologien også i Norge. En observasjon vi har gjort oss her, er hvor avgjørende det er at jurister og programmerere samarbeider tett, sier Farsethås og Løvlie.
Forskerne takker Lovdata for å ha gjort forskningen på systemet mulig. De understreker at funnene deres kan sees som en konkretisering av forbeholdene Lovdata selv gjør brukerne oppmerksomme på.
Lovdata: En del er blitt utdatert
Lovdata, ved direktør Odd Storm-Paulsen, er tilbudt å kommentere forskningsfunnene overfor Forskningsnytt. Direktøren påpeker at noen av manglene forskerne har spilt inn, allerede er fikset:
– Lovdata har støttet forfatterne gjennom arbeidet med artikkelen og gitt dem bred innsikt. Artikkelen representerer tilstanden til KI-søket i ukene rundt lanseringen i juni 2025. En del beskrivelser og funn er blitt utdatert i perioden frem til publiseringen i november. På KI-feltet kan en slik ledetid være uheldig, og dette burde vært klarere i artikkelen, skriver Storm-Paulsen.
Han fortsetter:
– Samtidig reiser artikkelen mange gode problemstillinger som rettsinformasjonsløsninger må løse. Vi vil understreke at flere av disse ikke bare angår vårt KI-søk, men står uten løsning i dagens fagfelt. KI er ikke en magisk løsning på alt, og vi utvikler systemet med den teknologien som gir best resultater, om det er KI eller ikke.
Referanser
Hans Christian Farsethås og Anders Løvlie: Lovdatas nye KI-søk Lov og Rett, 2025, https://doi.org/10.18261/lor.64.9.4