Spørreskjema

Bruk av spørreskjema som evalueringsform

En av fordelene med en evalueringsform som spørreskjema er at metoden gjør det enkelt å sammenlikne emner eller programmer med hverandre og over tid. Imidlertid kan slik standardisering føre til at studentene opplever evalueringen som rutinepreget og at de derfor mister interessen for å gi konstruktive tilbakemeldinger. På grunn av dette er det bedre å lage få, men gode spørreskjemaer fremfor flere mindre hvor studentene må svare flere ganger på spørsmål som dekker forhold de ulike emnene har til felles. Videre er det rimelig å forvente at studenter flest primært forholder seg til sin totale studiesituasjon (ikke isolerte emner) slik at ved å fokusere på den totale aktiviteten for et semester, vil evalueringen kunne oppleves som mer meningsfull for studentene. I denne sammenheng er det også viktig å huske at studentenes motivasjon for å delta i evaluering av studietilbudet er svært avhenging av at resultatene tilbakeføres og kommenteres fra lærestedets side.

Det anbefales at de ulike emne- og programansvarlige samarbeider om å utarbeide ett felles spørreskjema som involverer flere typer evaluering samtidig, for eksempel flere emner eller et/flere emner i kombinasjon med evaluering på programnivå (se eksempel under). Dette er særlig aktuelt innen programmer hvor studentene i all hovedsak har den samme studieprogresjonen .

Spørreskjema som metode for informasjonsinnhenting kan gjennomføres på forskjellige måter; man kan sende ut elektroniske spørreskjemaer via e-post, man kan legge ut lenker på emnets semesterside eller programmets hjemmeside hvor studentene kan fylle ut online spørreskjemaer, eller man kan sette av tid i undervisningstiden til å svare på enten papirbaserte eller elektroniske spørreskjemaer. Utsendelse av spørreundersøkelser via ordinær postgang er både for kostbart og tidkrevende til at det kan anses som en egnet fremgangsmåte til bruk i forbindelse med studentevaluering innen UiOs kvalitetssikringssystem.

I de senere årene har elektroniske spørreskjemaer blitt mer vanlige. Det finnes mange gode argumenter for å ta nettet i bruk for å innhente informasjon og tilbakemelding fra studenter. De fleste studenter er i dag relativt habile PC-brukere og elektroniske spørreskjemaer har en rekke fordeler: de er tidsbesparende å administrere og kode, studentene kan selv velge når de vil svare noe som igjen gjerne gir mer utfyllende fritekstsvar (sammenlignet med papirbaserte spørreskjemaer), de gjør rapporteringen effektiv og kostnadene lave.

Eksempel: periodisk evaluering av flere emner

Hva synes du om vanskelighetsgraden av studielitteraturen knyttet til emnene under?

 

  Altfor høy Litt for høy Passe Litt for lav Altfor lav Ikke deltatt
FYS 9070            
FYS 9080            
FYS 9090            

 

 Råd til praktisk gjennomføring av undersøkelser

Elektroniske undersøkelser

Både for å sikre best mulig svarprosent og for å få et best mulig spørreskjema, har vi samlet noen praktiske råd:

  • Det er tidkrevende både å lage og å bearbeide spørreskjemaer. Tenk derfor nøye gjennom på forhånd hva du søker tilbakemelding på og hvordan du har tenkt å bruke informasjonen du samler inn.
  • Legg evalueringen til et tidspunkt der studentene har rukket å gjøre seg erfaringer.
  • Annonser evalueringen på forhånd slik at studentene får mulighet til å forberede seg.
  • Forklar overfor studentene betydningen av deres tilbakemeldinger, samt hvordan informasjonen vil bearbeides og brukes av personalet.
  • Dersom du planlegger å sende spørreskjemaet direkte til studentene via e-post, sjekk at lister over e-postadresser er oppdaterte. Dette kan gjøres blant annet ved å sende eksisterende liste rundt i undervisningen slik at studentene evt. kan korrigere denne med den e-postadressen de bruker til daglig.
  • E-posten som sendes ut sammen med spørreskjemaet bør være kort, presis og informativ. Henvendelsen bør også inneholde informasjon om hva man skal gjøre og hvem man kan kontakte dersom det oppstår problemer, for eksempel av teknisk art. Dette vil kunne bidra til å unngå at de mest datakyndige studentene får et fortrinn.
  • Det vil ofte være nødvendig å sende ut en påminnelse. Unngå å gjøre dette mer enn en gang da gjentatte purringer vil kunne skape unødvendig irritasjon blant studentene. Som et resultat av dette vil en del kunne sende inn svar kun for å slippe å bli mast på. Slike svar inneholder ofte lite informative tilbakemeldinger og kan dessuten gi et feilaktig inntrykk av studentenes synspunkter.

Det finnes flere ulike verktøy/typer programvare som kan brukes til å gjennomføre elektroniske spørreundersøkelser, som for eksempel Nettskjema.

Papirbaserte undersøkelser (i undervisningstiden)

  • Legg evalueringen til et tidspunkt der studentene har rukket å gjøre seg erfaringer.
  • Annonser evalueringen på forhånd slik at studentene får mulighet til å forberede seg.
  • Spørreskjemaer som skal besvares i undervisningstiden bør være relativt korte; en god regel er å ikke la spørreskjemaet overskride det man får plass til på én A4-side (som oftest gir dette plass til mellom 10 og 15 spørsmål). Hovedgrunnen til dette er at studentene i en slik setting har begrenset med tid og ro til å svare.
  • Husk å sette av nok tid til å la studentene svare.
  • Det kan lønne seg å gjennomføre evalueringen i begynnelsen av eller midtveis i en undervisningssekvens. Dette vil kunne gjøre at flere svarer og ikke forsvinner ut av undervisningslokalet med evalueringsskjemaet i hånden på slutten av timen.

Utforming av spørsmål og svaralternativ

Gode spørsmål og svaralternativ er nøkkelen til et godt spørreskjema. Start med å kartlegge og prioritere hvilke områder du ønsker studentenes tilbakemelding på. Deretter lager du utkast til spørsmål som dekker disse områdene. Nedenfor finner du en rekke tips og anbefalinger for hvordan man kan utforme gode spørsmål og svaralternativer:

1. Unngå å ta med spørsmål som du ikke har andre intensjoner med enn at det "hadde vært kjekt å vite". Spør bare om forhold som gir informasjon du har en intensjon med.

2. Formuler spørsmål som bare spør om én ting om gangen.

Eksempel:
"I hvilken grad synes du foreleseren klarte å skape engasjement og diskusjon i klassen?"

Alternativ:
"I hvilken grad synes du at foreleseren klarte å skape engasjement?"

3. Unngå ledende og svært verdiladde spørsmål. Husk at også rekkefølgen på spørsmålene kan virke ledende.

4. Varier mellom enkle spørsmål (for eksempel bakgrunnsvariabler som kjønn og alder), påstander (enig/uenig) og vurderinger (stor grad/liten grad, viktig/uviktig, tilfreds/utilfreds). Ved bruk av påstander og vurderinger - tenk nøye gjennom bruken av hhv. positive og negative formuleringer.

Positiv formulering:
"Jeg har stort sett fått svar på det jeg lurer på ved å henvende meg i informasjonsskranken."

Negativ formulering:
"Det har ikke vært tilbudt nok undervisning dette semesteret."

Dersom du blander positivt formulerte påstander med negative er det viktig at du velger svaralternativer som er ballanserte i forhold til hverandre. Dersom studentene er fornøyde vil de i eksemplene ovenfor svare omvendt for de to påstandene; de vil være enige i den positive påstanden og uenige i den negative. Hvis påstandene for eksempel skal vurderes langs en skala som ser slik ut (enig - litt enig - uenig) får man problemer med å sammenligne svarene fordi skalaen kun har ett alternativ for det å være uenig og to for å være enig. Sørg for at du har like mange muligheter for å være enig som uenig. Et annet eksempel på en ballansert skala er bruk av tall.

Man kan bruke en partalls- eller oddetallsdelt skala uavhengig av om man bruker tall eller verbalt formulerte svarkategorier. Ved bruk av partall vil studentene ikke kunne velge et nøytralt svar, mens det vil man kunne gjøre for eksempel ved bruk av en 3-, 5- eller 7-delt skala.

Vurder nøye hvor findelt skala du trenger i forbindelse med slike spørsmål. Hvis du likevel vil komme til å slå sammen kategorier ved rapportering, kan du med fordel velge en mindre findelt skala. De ekstra svaralternativene gir ikke nødvendigvis mer nøyaktig tilbakemelding.

5. Det vil ofte lønne seg å unngå for mange spørsmål uten svaralternativer, dvs. spørsmål med åpne svar. Det krever mer innsats fra studentene å formulere egne svar enn det gjør å krysse av for et passende alternativ. I mange tilfeller vil det selvfølgelig være vanskelig å lage forhåndsdefinerte svarkategorier, men det kan like ofte være verdt en ekstra innsats for å få tilbakemelding overhodet. I en del tilfeller er det likevel mest naturlig å ikke forhåndsdefinere svarkategorier, som for eksempel "Har du konkrete forslag til hvordan undervisningen kan bli bedre?".

6. Sørg for å lage utfyllende svaralternativer som oppleves som meningsfulle for samtlige av de studentene evalueringen omfatter. Det kan skape unødvendig irritasjon blant studentene dersom de ikke kjenner seg igjen i de forhåndsdefinerte kategoriene. Som et resultat av dette vil en del kunne miste motivasjonen og svare mer eller mindre vilkårlig. Slike tilbakemeldinger kan bidra til å gi et feilaktig inntrykk av studentenes synspunkter.

7. Svaralternativene bør så langt som mulig være gjensidig utelukkende. Hvis dette ikke lar seg gjøre bør studentene få muligheten til å sette flere kryss - hvilket bør presiseres i spørsmålet.

Eksempel:

"Hvilke måter å jobbe på benytter du deg vanligvis av i ditt studiearbeid utenom den organiserte undervisningen? Sett flere kryss dersom det passer."

 

Chat og andre nettbaserte diskusjoner  
Jobber med egne notater  
Leser studielitteratur  
Løser oppgaver  
Leser tilleggslitteratur  
Skriver sammendrag av pensum  
Kollokvier  
Lager tankekart  
Annet:________________________  

 

8. Etterstreb en logisk struktur i spørreskjemaet. Det er som regel en god idé å gruppere de ulike spørsmålene tematisk.

Eksempel:

  1. Bakgrunnsinfo
  2. Informasjon
  3. Undervisningen
  4. Arbeidsvaner

Hvis spørreskjemaet inneholder mange spørsmål kan man vurdere å gjøre skjemaet mer oversiktlig og ryddig ved hjelp av overskrifter. Overdreven bruk av spørsmål av typen "Dersom du svarte nei på forrige spørsmål, kan du angi hvorfor du valgte å ikke delta i denne undervisningen?", kan bidra til at skjemaet oppleves som innfløkt og lite oversiktlig. Legg også litt jobb i layout og korrekturlesing. Et rotete og lite gjennomarbeidet skjema tas ofte useriøst slik at både svarprosent og validiteten på svarene blir skadelidende. I tillegg bør man være klar over at svarene som gis på ett spørsmål ofte kan farges av det forrige spørsmålet, slik at spørsmålsrekkefølgen i mange tilfeller vil få betydning.

9. Det kan være en god idé å teste spørsmålene på en utenforstående og be om tilbakemelding før du sender det ut. Ofte er det vanskelig å se at et begrep kan ha flere betydninger eller at det "mangler" svaralternativer el.l.

The University of Idaho har laget en liste over "menu items", dvs. ikke direkte forslag til spørsmål, men til tematikk for hva spørsmålene i en studentevaluering kan dreie seg om kan dreie seg om. Disse kan være til hjelp i arbeidet med å operasjonalisere temaene som skal dekkes i de ulike evalueringene innenfor kvalitetssystemet.

Analyse av resultater fra spørreskjema

Når tilbakemelingene er gitt og spørreskjemaene samlet inn gjenstår arbeidet med å sammenstille informasjonen. Et spørreskjema gir gjerne både kvantitativ og kvalitativ informasjon som et resultat av at det ofte vil inneholde svar både i form av avkrysninger og i skrevet tekst. Husk at de tilbakemeldingene studenten gir gjenspeiler den enkelte students subjektive opplevelse av noe. Resultatene forteller derfor ikke nødvendigvis hvordan noe er, men hvordan noe oppleves.

  • I de tilfeller man mottar åpenbart useriøse besvarelser, bør disse lukes ut før du setter i gang med analysearbeidet.
  • Det er viktig å lese studentenes svar i lys av eventuelle kontekstuelle faktorer som kan ha påvirket tilbakemeldingene. Dersom det i løpet av perioden det spørres om har vært sykdom i lærerstaben, nyansettelser, reformer, ombygginger, endringer i rutiner, el.l, kan dette påvirke studentenes tilbakemeldinger, både direkte og indirekte.
  • Vær klar over hva et evt. tallmateriale faktisk sier noe om og hva det ikke gir grunnlag for å si noe om. Hvis for eksempel 43% av et studentkull på 250 studenter har svart at de er svært enige eller enige i påstanden "Jeg er fornøyd med min egen studieinnsats dette semesteret" betyr dette bare at nesten halvparten av studentene er fornøyd med sin egen studieinnsats dette semesteret. Resultatet bør ikke generaliseres til å gjelde noe annet enn akkurat dette.
  • Man bør være forsiktig med å trekke slutninger om årsaker og virkninger. At eksempelvis et kurs får svært dårlige tilbakemeldinger trenger ikke bety at undervisningen her er dårlig. Det kan tenkes andre forklaringer til denne typen tilbakemeldinger som for eksempel at tema for kurset er vanskelig og/eller at det over tid viser seg at svært få studenter er engasjert i den spesifikke tematikken kurset tar opp.
  • En høy svarprosent er selvfølgelig alltid ønskelig, men i tilfeller der denne er dårligere enn forventet bør du forsøke å skaffe deg informasjon om hvorfor den er lav og hvilke eventuelle konsekvenser dette kan ha for dine konklusjoner. Dersom det er systematiske skjevheter i hvem som svarer, kan det tenkes at man får et feilaktig inntrykk av hva den totale studentmassen egentlig mener.

 

Publisert 26. mars 2012 15:39 - Sist endret 6. juni 2016 09:11