Spådommene til Jørgen Bølstad, professor ved Institutt for statsvitenskap, er overraskende nøyaktige. Allerede et halvt år før Stortingsvalget 2021, lanserte han nettstedet Estimite, hvor tall fra flere hundre spørreundersøkelser, i tillegg til resultater fra tidligere stortingsvalg, blei fora inn i en modell som spytta ut prognoser i den andre enden.
Det gikk ikke lang tid før han blei kontakta av NRK, som ville ha med statsviteren på å utvikle en prognosemodell som kunne brukes i valgsendinger og i nyhetssaker.
Bølstads modell utgjør i dag grunnlaget for rikskringkasterens valgprognoser.
– Det er flere utfordringer med å lage en slik modell, fordi den helst skal fange opp nok nyanser til å gi presise prediksjoner samtidig som den må kjøre raskt. Datagrunnlaget er også ei utfordring, og man veit heller ikke hvordan tilgangen på data vil være før opptellinga er i gang, sier Bølstad.
– Jeg har forsøkt å utvikle en modell som skal møte disse utfordringene, og så har NRKs dyktige utviklere tilpassa rammeverket rundt modellen og laga et system for å sikre stabil og effektiv kjøring gjennom en valgkveld.
I grenseland
Teoretisk sett går det alltid an å bli bedre, enten ved å bruke mer data, eller ved å bruke dataene smartere. Finnes det likevel ei grense hvor tilfeldig variasjon ikke tillater å øke presisjonen ytterligere?
– Det er ikke sikkert at vi er helt der ennå, men det er mulig at vi ikke er så langt unna heller, sier Bølstad.
– Estimite gir i alle fall et mye mer realistisk bilde av usikkerheten enn enkeltmålingene eller et snitt av målingene.
Bølstad forklarer også at det er forskjell på forecasts og nowcasts: Noen modeller har kort eller ingen tidshorisont i prediksjonene (nowcasts). Andre modeller prøver å se lengre frem i tid (forecasts).
– Når man lager en nowcast basert på reelle stemmetall slik prognosemodellen vi brukte i NRKs valgsending gjorde, blir presisjonen ganske høy. Denne prognosen avvek fra de endelige stemmeandelene med mindre enn 0,1 prosentpoeng i gjennomsnitt helt fra den blei publisert like etter kl. 21 på valgkvelden, sier Bølstad.
– Prognosen vi leverte i år er nok den klart mest nøyaktige som har blitt vist i en norsk valgsending til nå, og setter kanskje en ny standard for hvor godt man kan treffe.
Venstre blei den store overraskelsen
Sett i retrospekt, er det tydelig for Jørgen Bølstad at meningsmålingene i år undervurderte FrP og overvurderte Venstre. At de overvurderte Rødt og MDG er ifølge statsviteren som forventa, og noe modellen hans tok høyde for.
– Rødt og MDG har historie med å bli overvurdert på målingene. Det kan handle om at de har noe yngre velgergrupper med lavere frammøte i valget. Det kan være en del som oppgir hva de ville stemt hvis de skulle stemt, men som ikke faktisk stemmer, sier Bølstad.
– For FrP er det vanlig at partiet undervurderes en del, og det kan skyldes at FrP-velgere sjeldnere svarer på spørreundersøkelser relativt til hvor ofte de møter opp i valg.
Estimite-modellen ga 92,6 prosent sannsynlighet for rød-grønt flertall. Nettsida viste 90 prosent prediksjonsintervaller for antall mandater, og resultatene for 8 av 9 partier ligger innafor intervallene. At 1 av 9 ligger litt utafor er omtrent som forventa når det er snakk om 90 prosent-intervaller, ifølge Bølstad.
Modellen ga Rødt og MDG over 95 prosent sannsynlighet for å komme over sperregrensa, noe de også klarte. KrF fikk en sannsynlighet på 81 prosent, og kom også over. Venstre fikk en sannsynlighet på 85 prosent, men kom likevel under, og dette var ifølge Bølstad en av de store overraskelsene i valget.
Like fullt mener han at det statistisk sett ikke er krise for modellen at noe som har 15 prosent sannsynlighet for å skje faktisk inntreffer.
– Men man kan lure på hvorfor målingene overvurderte Venstre og om dette er noe det ville vært mulig å fange opp. En mulig forklaring er alltid at oppslutninga endres fra de siste målingene og fram til valgdagen. Det kan hende at noen Venstre-velgere rett og slett ombestemte seg i siste liten.