Det varslede NOKUT-tilsynet av UiOs studiekvalitetssystem er i full gang. UiO leverte nettopp sin dokumentasjon til vurderingskomiteen, basert på en helhetlig systembeskrivelse og med eksempler fra utvalgte programmer. UiO-styret innførte fra 2021 en revisjon av kvalitetssystemet med blant annet tydeligere fokus på ansvarslinjer og utdanningsledelse på alle nivå av institusjonen og en større vekt på det kollegiale fellesskapet omkring undervisning. Sist, men ikke minst også en tydeligere markering av hvor viktig det er med et godt kunnskapsgrunnlag for beslutninger om endringer.
Har gjort en kjempejobb
Fra SV-fakultetet er det tverrfaglige BA-programmet i Offentlig administrasjon og ledelse ved Institutt for statsvitenskap valgt ut av NOKUT som eksempel i systembeskrivelsen. Programleder og studiekoordinator ved ISV og studiekvalitetsansvarlig på fakultetet har gjennom sommeren gjort en kjempejobb med å beskrive og dokumentere hvordan man innhenter relevante kvalitetsdata, hvordan disse bearbeides både på enhet og fakultet, og hvordan dette igjen brukes til å gjøre begrunnede endringer i programmet. I skriveprosessen har det blant annet vært å få fram hvordan en kvalitetskultur ikke bare avhenger av formelle, referatførte møter og dokumenter, men også er bundet sammen av gjensidig respekt for kompetanse, holdninger og løpende uformelle dialoger mellom aktørene.
UiO er en stor og desentralisert organisasjon der fagmiljøene får utvikle sine egne måter å gjøre ting på.
Samtidig som dette er blant styrkene ved UiO, blir det interessant å se om det framstår som et helhetlig system for utenforstående.
NOKUT vil i november gjennomføre et institusjonsbesøk, der de trolig ønsker å snakke med representanter fra de utvalgte programmene, studentene og enhetsledelse, i tillegg til ansvarlige personer på studiesiden på UiO. Ferdig innstilling fra NOKUT med konklusjoner kommer i første halvdel av februar 2023. Selv om det er UiOs systematiske kvalitetsarbeid og ikke det enkelte programmet som er under revisjon her, blir det spennende å få tilbakemeldingene på det som er sendt inn. Erfaringen så langt er at det har vært lærerikt å beskrive hva man gjør og hvorfor, og vi vil uansett bruke tilbakemeldingene til å lære og forbedre systemet ytterligere.
Pilotering av nytt emneevalueringssystem
NOKUT-prosessen har tydeliggjort betydningen av å ha et godt beslutningsgrunnlag for kvalitetsarbeid. Emneevaluering utgjør en grunnstamme i kunnskapsgrunnlaget for UiOs kvalitetssystem. UiO har i år anskaffet et emneevalueringssystem som integreres i Canvas, og som er tenkt som et tilbud til emneansvarlige og utdanningsledelse for å kunne lette datainnhenting og gi muligheter for sammenligninger av resultater på tvers av emner og programmer. Første runde med pilotering av systemet på enkeltemner ble foretatt i vår. En andre pilotrunde, der man vil tester ut funksjonaliteten med flere emner (klynger) som kan sees i sammenheng, gjennomføres nå i høst.
Flere av våre enheter er involvert i piloteringen av dette systemet. Så langt virker det som om man får noe høyere svarprosent når emneevaluering foretas på denne måten. Systemet tillater både spørsmål som stilles på tvers av flere emner, og spørsmål som stilles spesifikt til studenter på ett bestemt emne. Et avgjørende poeng for kvaliteten av dataene man får ut av systemet, er at studentene stilles gode spørsmål på områder der man også er i stand til å fange opp endringer man har gjort i undervisningen. Her burde vårt fakultet være særlig egnet til å komme med faglig funderte spørsmål som kan brukes på tvers av emner. Fakultetet ved EILIN vil i løpet av høsten se på hvordan våre fagfolk kan bidra med gode forslag til en slik felles spørsmålsbase.
Skal forstå læringsprosessen
Nå studentene bruker digitale virkemidler som Canvas, emneevalueringssystem og FS i studiene, legger de igjen digitale spor. Disse kan, forutsatt at vi utnytter det riktig og godt, brukes til å forbedre undervisningen for den enkelte student. Dette kalles ‘Læringsanalyse’, som innebærer ‘registrering, innsamling, analyse og rapportering av data om elever i en kontekst, der målsettingen er å forstå og forbedre læringsprosessen og det sosiale miljøet der læring foregår’ (ICLA & Siemens 2011, ref. av Langford 2022). Det har nylig kommet ut to aktuelle rapporter om læringsanalyse som kan anbefales for interesserte.Den ene rapporten er gjort på oppdrag av regjeringen og beskriver ulike bruksområder der læringsanalyse kan være til nytte i kvalitetsutviklingsarbeidet. En funksjon som allerede ligger i Canvas, er å bruke data deskriptivt til å informere underviseren om studentenes aktivitet i oppgaver man har lagt ut. Er det mange som enda ikke har sett på den videoen man la ut, eller hvor mange har besvart den forberedende quizen man har bedt studentene forberede seg med? En annen funksjon er at man kan sammenstille data for å forstå sammenhenger og identifisere relevante indikatorer for læring. Har studentene forstått de aktuelle begrepene, hvor ligger svakhetene, og hvor bør vi legge inn mer innsats for å øke forståelsen? En tredje (og her henter jeg formuleringer fra den regjeringsbaserte rapporten) mer prediktiv variant kombinerer historiske data for å finne mønstre og benytter statistisk modellering for å finne sammenhenger mellom ulike datasett og dermed gi prognoser om blant annet frafall, for eksempel gjennom å vise trender og framskrivinger.
Hva er typiske risikofaktorer for frafall, eller hva er viktige innsatsfaktorer for bedre læringsmiljø?
Et siste anvendelsesområde det pekes på i samme rapport, er det som kalles preskriptiv analyse, som gir anbefalinger basert på kunstig intelligens. På grunnlag av fortløpende analyser av flere datakilder kan man få opp varslinger, beskjeder eller forslag til handlinger rettet mot indikerte studenter enkeltvis eller undergrupper. Eksempelvis kan det gå beskjed til lærer eller studenten selv hvis studenten sine digitale spor i systemet tilsier at studenten er i risiko for frafall eller forsinket studieprogresjon.
Lite brukt i høyere utdanning
Læringsanalyse er så langt lite brukt i høyere utdanning, mye på grunn av utfordringer knyttet til personvern og GDPR . Disse viktige spørsmålene er nå grundig drøftet i en UiO-intern rapport, ledet av Malcolm Langford ved Det juridiske fakultet/CELL. om forholdet mellom læringsanalyse og GDPR. Der identifiseres et mulighetsrom innenfor GDPR-reglementet opp mot argumentet om allmenn nytteverdi. Rapporten, som nå er på høringsrunde på UiO, inneholder ulike modeller for hvordan vi som institusjon kan håndtere forvaltningen av disse hensynene i konkrete prosjekter for studiekvalitetsforbedring.
Dilemmaene i dette feltet er mange.
Som institusjon og som ledere og undervisere i høyere utdanning har vi en plikt til å fortløpende søke kunnskap om kvaliteten på den undervisningen vi tilbyr, og å bruke dette som grunnlag for tiltak for å bedre studiekvaliteten. Slik kunnskap kan innhentes på ulike måter, og det er i stor grad opp til den enkelte enhet med emneansvarlige, sammen med programleder, programråd og utdanningsleder og øvrige kolleger, å vurdere hva som gir det beste og mest relevante grunnlaget for kvalitetsutvikling. Med økt bruk av digitale virkemidler i undervisningen ser vi interessante potensialer gjennom læringsanalyse til for eksempel å kunne tilpasse undervisningen bedre for ulike undergrupper av studenter som har ulike måter å lære på og lærer i ulikt tempo.
Samtidig skal vi ikke samle data for rapporteringens egen skyld. Ingen er heller interessert i digitalisering for digitaliseringens skyld.
Bruk av slike virkemidler må være begrunnet i pedagogiske hensyn. Vi skal også til enhver tid ha gode begrunnelser for hva slags data som sammenstilles hvorfor, og det må være gode koblinger fra analyse til tiltak. Og sist, men ikke minst: Vi er helt avhengige av studentenes tillit til det vi gjør. Studentenes perspektiver og interesser må være sentrale i alle ledd i disse prosessene.
Editorial: An autumn with a focus on the quality of education
There are many ongoing activities relating to quality of education this autumn at the University of Oslo, the various faculties and the individual units, Dean Trine Waaktaar writes in this editorial.
The pre-announced Norwegian Agency for Quality Assurance in Education (NOKUT) audit on the quality of education system at the University of Oslo is fully under way. The University of Oslo recently submitted its documentation to the assessment committee, based on a comprehensive system specification and examples from selected programmes. The University Board has been carrying out an audit of the quality system since 2020 and this work includes a clearer focus on lines of responsibility and education management at all levels of the institution, as well as greater emphasis on the working community relating to teaching. Finally, it also includes a clearer demonstration of how important it is to have a proper platform of knowledge to make decisions relating to changes.
Have done a great job
From the Faculty of Political Sciences, the BA programme in Public Administration and Management at the Department of Political Sciences has been selected by NOKUT as an example for the system specification. The Head of Programme and Programme Coordinator at the DPS and the Educational Quality Manager at the Faculty have done a great job over the summer to specify and document how relevant quality data is collected, how the data is processed at unit and faculty level, as well as how the data is then used to make justified changes to the programme. The process has, among other things, looked at how to foster a quality culture that is not only dependent on formal, minuted meetings and documents but that is also tied together through mutual respect for expertise, attitudes and informal ongoing dialogue between the involved parties.
The University of Oslo is a large, decentralised organisation in which the academic environments have the opportunity to develop their own ways of doing things.
While this is one of the strengths of the University of Oslo, it will be interesting to see to what extent it comes across as a comprehensive system to external parties.
In November, NOKUT will conduct a visit to the institution and will likely wish to speak with representatives from the selected programmes, students and unit management, as well as the staff responsible for the programmes at the University of Oslo. The final recommendations, with conclusions, from NOKUT are expected to arrive during the first half of February 2023. Even though the audit looks at the University of Oslo’s systematic quality work rather than individual programmes, it will still be interesting for us to receive feedback on what we have submitted. Experience to date teaches us that it has been useful for us to describe what we do and why and we will absolutely use the feedback to learn and further improve the system.
Piloting of new course evaluation system
The NOKUT process has highlighted the importance of having a good decision-making basis in relation to quality work. Course evaluations constitute one of the foundations of the platform of knowledge for the University of Oslo quality system. This year, the University of Oslo has acquired a course evaluation system that integrates with Canvas and will be offered to course coordinators and programme managers to facilitate data collection and provide opportunities to compare results across courses and programmes. The initial piloting of the system for individual courses took place this spring. A second pilot round, during which the functionality will be tested with multiple courses (clusters) that can be contextualised will take place this autumn.
Several of our units are involved with the piloting of the system. So far, it appears that there is a somewhat higher response rate when course evaluations are carried out in this way. The system allows for both questions asked across multiple courses and questions asked specifically to students on a particular course. One crucial point relating to the quality of the data generated by the system is that students must be asked appropriate questions in connection with areas for which we are able to identify the changes we have made to teaching. In this context, the Faculty should be well-placed to propose academically founded questions that can be used across courses. This autumn, the Faculty, represented by EILIN, will look at how our academics can contribute suitable proposals for such a shared question database.
Learning analytics
When students use digital tools, such as Canvas, the course evaluation system and FS in their programmes, they leave behind digital traces. Provided we utilise them correctly and properly, these can be used to improve teaching for the individual students. This is referred to as ‘Learning analytics’, which involves ‘registering, collecting, analysing and reporting data about students in a context with the aim of understanding and improving the learning process and the social environment in which learning takes place’ (ICLA & Siemens 2011, referenced by Langford 2022). Recently, two relevant reports were published in relation to learning analytics and we can recommend the reports for y interested readers. One of the reports was commissioned by the government, and describes various areas of application in which learning analytics can be useful for quality development work. One function that is already available in Canvas relates to using data descriptively to inform the teacher about student activity in ongiong assignments. How many students have yet to watch the video you posted or how many have completed the preparatory quiz they were asked to complete? Another function allows you to compile data to understand correlations and identify relevant learning indicators.
Have the students understood the relevant concepts, where are the weaknesses and where should we increase our efforts to improve understanding?
A third (and here I have taken the wording from the government-commissioned report) and more predictive variant combines historical data to identify patterns and uses statistical modelling to identify correlations between different datasets in order to generate prognoses relating to e.g. dropout. What are the typical risk factors associated with dropping out , or what are the key input factors for improving the learning environment? A final area of application that is highlighted in the same report is what we refer to as prescriptive analysis, which provides recommendations based on artificial intelligence. On the basis of continuous analyses of multiple data sources, we can configure alerts, notifications or suggestions for actions aimed at indicated students, individually or by groups. A message can, for example, be sent to the teacher or student themselves if the student’s digital traces in the system indicate that the student is at risk of dropout or delayed academic progress.
Limited use
So far, there has been limited use of learning analytics in higher education, largely due to challenges relating to privacy and GDPR. These important issues have now been thoroughly addressed in an internal University of Oslo report, led by Malcolm Langford from the Faculty of Law/CELL,. One opportunity is identified within the GDPR in connection with the argument relating to the public interest. The report, which is now undergoing a consultation process at the University of Oslo, includes a number of models for how we, as an institution, can manage the administration of these considerations in specific projects intended to improve the quality of education.
There are numerous dilemmas in this field.
As an institution and as managers and teachers in higher education, we have a duty to continuously seek out knowledge regarding the quality of the teaching we deliver and use this as the basis for improving the quality of education. There are many different ways to collect such knowledge, and it is largely up to the individual units and the course coordinators, together with the programme coordinators, programme councils and programme managers and other colleagues, to assess what results are the best and most relevant basis for quality development. With the increasing use of digital tools in teaching, we can see the interesting potential of using learning analytics to e.g. better facilitate teaching for various student subgroups that learn in different ways and at different paces.
At the same time, it is important not to collect data purely for the sake of reporting. Nor is anyone interested in digitalisation for the sake of digitalisation. The use of such tools has to be justified on educational grounds. We also need to have proper justifications at all times in relation to the data that is compiled , and there must be reasonableconnection between analysis and action. Last, but not least: We are completely reliant on students having faith in what we do. The perspectives and interests of students must be key at all levels of these processes.