En del av dere har spurt oss om hva det forventes at dere kan/husker av formler til eksamen, under følger en oversikt. Generelt er tommelfingerregelen at jo mer tid vi bruker på en formel i forelesning, jo mer detaljert kunnskap forventer vi at dere har om den.
Vektorrom
- Generell vektornotasjon
- Lengde (norm) og lengdenormalisering
- Avstands-/likhetsmål; euklidsk avstand, kosinus, prikkprodukt
- TF-IDF
- Sentroidevektor
- Evaluering av klassifikasjon: Nøyaktighet, presisjon sensitivitet, F1-mål,
- Klyngeanalyse: klyngeintern kvadratsum (within-cluster sum of squares)
Lineær og logistisk regresjon
Alle formlene som vi har gått gjennom i forelesningene er pensum. Det inkluderer:
- grunnformelen for lineær regresjon
- Gjennomsnittlig kvadratfeil
- Lineær og logistisk regresjon i matriseformat
- Matriseoperasjoner, deriblant matriseprodukter
- Logistisk regresjon, enten med 2 klasser (med sigmoid) eller > 2 klasser (med softmax). Dere må kunne sigmoid og softmax-funksjoner.
- Binær og kategorisk kryssentropi
Nevrale nettverk
- Her forventer vi at dere kjenner og kan anvende formlene for beregningene av ut-verdi i perseptronet, og formelen for oppdatering av vekter i perseptron.
- For flerlags nevrale nettverk forventer vi at dere kjenner og kan anvende formlene som brukes i forover-fasen. Bakoverfasen (tilbakepropagering) forventer vi at dere kjenner intuisjonen bak, og at dere vet hvordan den fungerer på høyt nivå inkludert hvordan den henger sammen med gradientnedstigning - men ikke at dere kjenner matematikken her.
- Aktiveringsfunksjoner: Vi forventer at dere kjenner intuisjonen bak og kan anvende aktiveringsfunksjonene gjennomgått i forelesning. Terskel-funksjonen og ReLU er såpass enkle, at her regner vi med dere også kan huske formelen hvis dere kjenner intuisjonen.
Beslutningstrær og ensembler
- Beslutningstrær: Intuisjonen for hvordan vi velger trekk å splitte på i noder, og hvordan vi steg for steg bygger treet forventer vi at dere kjenner. Akkurat hvordan vi beregner splitten varierer mellom ulike beslutningstre-algoritmer, så vi forventer ikke at dere husker spesifikke formler her, men det kan hende vi gir dere en formel (f.eks. for entropi) og ber dere bruke den til å finne den reneste splitten i et datasett.
- Ensembler: Her er også intuisjonen det sentrale, dere må kjenne til hvordan vi kan bygge ensembler og bruke dem til å ta flertallsavgjørelser, og vektede flertallsavgjørelser i myk avstemming - men her inngår det ikke noen nye formler.
ML i praksis
Alle formlene fra forelesningen er pensum, deriblant:
- gjennomsnitt, medianen og typetallet
- standardavviket
- One-hot encoding
- Skalering
- L1 og L2 regularisering
Forsterkende Læring
Her er det ikke mye ny matematikk, men viktige konsepter å skjønne - formuleringen av problemer i forsterkende læring, med agent, tilstander, belønning, handliger og miljø må dere naturlig nok kjenne til, samt hva vi mener med en Markov-beslutningsprosess og en policy. Formlene vi forventer at dere kjenner og kan anvende er:
- Formel for beregning av fremtidig diskontert belønning
- Formlene for å oppdatere Q-verdier i Q-læring og sarsa
- Formlene for de ulike strategiene for handlingsvalg (grådig, epsilon-grådig og softmax)