Rapport STV1020 V24

Author

Håvard Strand

Introduksjon

STV1020 våren 2024 hadde 322 studenter oppmeldt. 263 av disse gjennomførte den obligatoriske oppgaven og 278 avla eksamen, hvilket betyr at en del studenter hadde eksamensrett fra tidligere semestre.

Vi hadde ti forelesninger med samme foreleser og 15 teoriseminargrupper bemannet med fire forskjellige gruppeleder.

Nytt av året var:

R-seminarene var lagt ned og erstattet med R-arbeidsbøkene, og noen R-fokuserte seminaruker.
Teori-seminarrekken ble utvidet fra 7 til 10 ganger
R-prøven var faset ut og erstattet med en R-komponent i hjemmeoppgaven
Eksamen ble lagt om til utelukkende flervalgsoppgaver
En del ad hoc tiltak

Vurderingen er basert på tre momenter:

Samtaler med seminarledere
Samtaler med emnekontaktene
En kort survey som stort sett ble besvart på siste forelesning.

Helhetsinntrykket er at STV1020 fortsatt er på rett vei. Omleggingen som ble gjort for noen år siden har vært vellykket, men det er løpende behov for evaluering og forbedringer. Vi foreslår noen endringer:

Dele ansvaret for forelesningene på flere
Revurdere rekkefølgen på seminargruppene
Bruke mer ressurser på å støtte opp under oppgaveskrivingen

Tilbakemelding fra emnekontaktene

Våren 2024 besto referansegruppen av 15 emnekontakter – en fra hver seminargruppe. Kommunikasjonen mellom emnekontakter og undervisere var ikke så god som vi hadde håpet på, og det er grunn til å rekrutere færre emnekontakter neste år.

Referansegruppen møttes to ganger, men siste gang var det bare tre av femten som møtte opp.

Tilbakemeldingene fra studentene er overveiende positive. De klareste og mest konkrete ønskene om forbedring gjelder tidspunktet for forelesningen og øvingsmateriell til eksamen.

Våren 2024 gikk forelesningene tirsdag 14.15-16.00. Mange av studentene hadde forelesninger både 10.15 og 12.15, og energien var dermed lav når dagens tredje forelesning startet.
Flervalgsoppgaver som eksamensform var noe flere var skeptisk til og enda flere ønsket å ha muligheten til å trene på. Det ble lagt ut et begrenset test-sett kort tid før eksamen, men det var et sterkt ønske om å ha det tilgjengelig mye tidligere.
R-opplærningen var mangelfull. Mange slet med å komme igang og opp til det stadiet der arbeidsbøkene startet.

Vurderingen av hjemmeoppgaven er positiv. Samskriving er populært blant mange, men studentene etterspør større samskrivingsgrupper.

Vurderingen av den nye seminarformen var overveiende positiv, men det er en utfordring at de siste seminarene kommer inn i eksamensperioden.

Survey-resultatene

96 studenter har svart på et lite skjema rundt læringsutbytte og læringsmål. 88 av disse svarte i pausen under siste forelesning.

Kurset som helhet

På spørsmål “Hvor stort læringsutbytte føler du at du har hatt fra STV1020 som helhet?” svarer nesten halvparten Stort eller Veldig Stort, mens 2% svarer veldig lite. Sammenligner vi med våren 2023 er det en klar tilbakegang. Spesielt er det klar færre som er veldig fornøyd og klart flere som er misfornøyd. Det er ikke bra.

Forelesninger

Utbyttet fra forelesningene er isolert sett ikke spesielt dårlig, men sammenlignet med V23 er det en svært stor tilbakegang.

Våren 2023 holdt emneansvarlig 5 av 10 forlesninger, mens to andre forelesere holdt hhv. 2 og 3 hver. Tilbakemeldinger fra emnekontakter og gjennom seminarene tyder på at det var spesielt forelesning 7-9, om regresjonsanalyse som ikke holdt mål.

Det er også mulig at det er en sammenheng mellom at forelesningene for mage kom som den tredje på rad, og at mange studenter var slitne. Det er det vanskelig å teste.

Teoriseminar

Omleggingen av seminarene var en stor endring fra våren 23 til i år, og her er ikke svarene helt sammenlignbare. I 2023 hadde vi to seminarer og spurte om læringsutbytte fra begge, mens våren 24 har vi ett seminar, og dermed bare ett spørsmål.

Sammenligner vi teoriseminarene våren 23 med seminarene i år ser vi en klar forbedring i rapportert læringsutbytte, som er veldig gledelig og tyder på at endringene i seminarene har vært vellykket.

Sammenligner vi tilbakemeldingene på R-seminarene med årets seminarrekke ser vi en enda tydeligere forbedring. Tilbakemeldingene i fjor var en sentral årsak til at vi la om seminarene, og det er gledelig å se at det har hatt effekt.

R-Arbeidsbøkene

Vi er godt fornøyd med læringsutbyttet av R-arbeidsbøkene, samtidig som vi har fått tilbakemeldinger på at vi bør gjennomgå sentrale konsepter i seminarene før studentene starter på arbeidsbøkene. Dette er en endring vi vil gjøre til neste semester.

Hjemmeoppgaven

Læringsutbyttet fra hjemmeoppgaven er generelt sett positivt, men det er en klar tilbakegang fra våren 2023. Det er bekymringsverdig, all den tid vi satset stort på å øke læringsutbyttet fra hjemmeoppgaven.

Alle studenter fikk tilbud om tilbakemeldinger i to omganger, og vi flyttet også den praktiske delen av R-opplæringen til hjemmeoppgaven. Det at såpass mange flere rapporterer lite læringsutbytte fra hjemmeoppgaven er derfor overraskende og skuffende.

En mulig årsak er at vi brukte alt for lang tid på å gi tilbakemeldinger, og at studentene dermed ikke fikk godt nok utbytte av tilbakemeldingene. Dette er åpenbart frustrende. Neste semester bør vi vurdere å ha en mer strukturert tilbakemeldingsrunde, og hente inn ekstra ressurser for å kunne gi tilbakemeldinger raskere.

Prioriterte læringsmål

Den primære bestillingen fra daværende undervisningsleder etter våren 23 var å få studentene til å fokusere på å lære seg metode, og at R er et underordnet verktøy i den sammenhengen. Våren 23 var det en klar tendens til at studentene prioriterte R-opplæringen høyest. Spørreskjemaet framsto ulikt på PC og mobil, og vi endret derfor spørsmålsformuleringen til å være mer likt på de to plattformene. Dette gjør at vi ikke kan sammenligne tallene direkte, men vi ser allikevel en klar tendens.

R-ferdighter er klart høyest prioritert i svarene fra våren 2023, mens å forstå hvordan vi kan trekke kausale slutninger er rangert som nummer fire. Endringene vi har gjort i emnet har hatt som hensikt å flytte fokus fra R til metode, og det er gledelig å se at dette har hatt effekt.

#| echo: false
#| warning: false
z <- Sys.setlocale()

plot2 <- ggplot(top_prioritet_v24, aes(x = Læringsmål, y=n, fill = values)) +
  geom_bar(stat = "identity") +
  coord_flip() + 
  scale_x_discrete(limits = rev(Rekkefoelge), labels = wrap_format(20))

plot2

Grafene er altså ikke dirkete sammenlignbare, men å forstå hvordan vi kan trekke kausale slutninger er nå klart prioritert blandt studentene, fulgt av kjennskap til viktige begreper innen metodelæren. R-kunnskap er nå rangert lavest av de seks læringsmålene.

Eksamen

Vi la om eksamen til utelukkende flervalgsoppgaver. Dermed har vi spart store ressurser som kan brukes til mer læringsfremmende tiltak. Vi er godt fornøyd med responsen på eksamen, og vi ser omtrent den samme karakterfordelingen som tidligere år.

Noen forbedringspunkter har vi notert oss. Enkelte av oppgavene ble misforstått. De vil bli tatt ut av spørsmåls-poolen. Vi skal også lage en prøve-eksamen i Inspera. Våren 2024 var det en test-eksamen i Canvas, men det er mye bedre å ha en prøve-eksamen i Inspera. Da kan man gjøre seg kjent med ekamens-systemet og eventuelle støttesystemer før eksamen.

En del mindre tiltak

Vi gjorde en del mindre endringer i emnet våren 2024. Noen av disse var vellykkede, mens andre var mindre vellykkede.

Det var tidlig tydelig at mange studenter hadde problemer med å konsentrere seg etter å ha hatt sammenhengende forelesninger fra 10.15 til 16.00. Vi la derfor om forelesningene til tre ganger 30 minutter med to pauser istedenfor det tradisjonelle to ganger 45 minutter med en pause. Om det hadde noen positiv effekt er uklart, men vi fikk tilbakemeldinger på at det ble tolket som en aksept av det opplevde problemet.

En forelesningssal med flere hundre studenter er ikke et trygt sted å stille spørsmål. Denne innsikten har jeg ikke i tilstekkelig grad tatt til meg tidligere. Jeg fikk Eli til å være med som digitalassistent på en forelesning, der studentene kunne sende anonyme spørsmål til henne som hun i sin tur kunne stille til meg. Det fungerte, men resulterte ikke i veldig mange flere spørsmål. Forsøket var ad hoc og det er vanskelig å vurdere effekten basert på ett enkelt forsøk. Vi planlegger å gjenta forsøket i tre forelesninger våren 2025, og varsle dette bedre på forhånd.

Vi hadde også en del ad hoc tiltak i seminarene. Vi hadde en egen kodekafe der studentene kunne komme og få hjelp til å løse r-biten av hjemmeoppgaven helt på slutten av semesteret. Dette var en suksess, og vi planlegger å gjenta dette til neste semester.

Samlet vurdering av endringene i STV1020 våren 2024

Vi her i sum godt fornøyd med endringene vi gjorde våren 2024. Vi har forbedret læringsutbyttet fra teoriseminarene, og vi har flyttet fokus fra R til metode. Dessverre ser vi at læringsutbyttet fra forelesningene har gått ned, og at læringsutbyttet fra hjemmeoppgaven har gått ned. Dette er skuffende, og vi må jobbe hardt for å forbedre dette til neste semester.

I sum ser vi at det samlede læringsutbyttet er vurdert lavere enn våren 2023, og det er ikke bra.

Forslag til endringer

Vi foreslår følgende endringer til neste semester:

Dele ansvaret for forelesningene på flere. Ina og Eli tar over ansvaret for regresjonsforelesningene, 7-9.
Revurdere rekkefølgen på seminargruppene. Vi trenger å få studentene i gang med R-arbeidsbøkene, og det er en del sentrale konsepter som bør gjennomgås før studentene kan få utbytte av arbeidsbøkene. Noe av dette er grunnleggende forståelse av hvordan en datamaskin fungerer (filsystem, lagring, etc.), og noe er mer spesifikt for R (vektorer, dataframes, etc.)
Bruke mer ressurser på å få raskere tilbakemedlinger på hjemmeoppgaven. Vi har også fått frustrerte tilbakemeldinger fra studenter som opplever at de har blitt ensomme i arbeidet med hjemmeoppgavene. Vi planleggere å arrangere en egen speed-dating for hjemmeoppgaven, der studentene kan møte andre som jobber med samme oppgave.

Endring av vurderingsform

Det er helt klart noe læringsutbytte i at studentene forbereder seg til eksamen i sin nåværende form. Samtidig er det store kostnader knyttet til sensur, begrunnelser og klagebehandling. Vi tror at læringsutbyttet ved en individuell veiledning knyttet til hjemmeoppgaven vil være større og en bedre bruk av ressursene.

Flervalgsoppgaver kan utformes på mange kreative måter som til sammen kan dekke det samme behovet som kortsvarsoppgavene gjør i dag. En mulighet er å bruke mye av det materialet som er utviklet for R-prøven til å generere dynamiske flervalgsoppgaver.

Den større helheten som kortsvarsoppgavene kan brukes til å teste kan vi forhåpentligvis dekke minst like godt gjennom hjemmeoppgaven. Det ligger en potensiell utfordring i at hjemmeoppgaven vurderes som bestått/ikke bestått, og at denne forståelsen dermed ikke vil gjenspeiles direkte i karakteren.

En erfraring fra årets hjemmeoppgaver er at for mange studenter gjør den lave listen i vurderingsformen at de føler seg friere og er mindre redd for å gjøre feil. Vi så med stor glede at veldig mange skrev hjemmeoppgaver som gikk betydelig utenfor de rammene vi hadde satt og viste spor av stor læringsglede. Denne læringen kunne vært forsterket gjennom en formativ veilledning.

Evaluering

Vi jobber målrettet videre med evaluering

Systemet med en emnekontakt per seminargruppe var ikke vellykket og vi går tilbake til å rekruttere et sett med emnekontakter fra plenumsgruppen
Vi fortsetter å bruke emne-evalueringsskjemaet mer eller mindre uendret. Det at informasjonen er sammenlignbar fra år til år gjør den til et interessant verktøy
Vi utnytter variasjon i eksamensresultatene på enkeltspørsmålsnivå for å se på utvilkningstrekk innad i forelesningsrekken