Skjevhet og mangfold i bilder generert av kunstig intelligens
Innhold:
Ser KI verden med fordommer?
Bias i KI-generert materiale
Spørsmål om skjevhet og mangfold til diskusjon
Gjenkjenn skjevheter i KI-genererte bilder: yrker
Gjenkjenn skjevheter i KI-genererte bilder: nasjonalitet
Filnedlastinger | Lenker
Om ressursen:
Denne ressursen er en del av en serie med ressurser til bruk når du skal lære eller undervise om kunstig intelligens (KI).
Her finner du informasjon om skjevhet i KI-generert materiale, og to caser til bruk i klasserommet, med forslag til svar.
Ser KI verden med fordommer?
Skjevheter i KI-genererte bilder er en problematisk følge av KI-teknologi. Elevene må lære å gjenkjenne og reflektere kritisk over slike skjevheter. Kunstig intelligens kan videreføre og forsterke fordommer som allerede finnes i samfunnet. Når KI genererer bilder eller tekst, bygger den på treningsdata som ofte gjenspeiler vestlige verdier, normer og perspektiver. Dette kan føre til skjevhet i KI-genererte bilder og stereotypiske framstillinger av kjønn, kultur og utseende.
Svar fra KI kan også være ensidige og mangle mangfold i perspektivene. Derfor er det viktig å lære elevene å stille kritiske spørsmål, være bevisste på representasjon – og øve på å se en sak fra flere sider. Uten denne bevisstheten risikerer vi å havne i filterbobler og ukritisk godta skjevt innhold.
Bilde generert med Midjourney
Bias i KI-generert materiale
Bias betyr at noen, eller noe, har en slags «skjevhet» eller «partiskhet». Dette kan påvirke hvordan man ser på noe, eller hvordan man tar avgjørelser. Tenk på det som en slags forutinntatt mening som gjør at man ikke ser ting helt objektivt eller rettferdig. I teknologi, som i språkmodeller eller KI, kan bias oppstå når modellen lærer fra data som har en skjevhet, og det er sannsynlig at dataene KI-systemer vi bruker, har mange skjevheter. For eksempel kan KI-systemer ha problemer med å gjenkjenne personer med mørk hudfarge.
Dette kan føre til at modellen gir svar eller tar beslutninger som ikke er helt rettferdige eller balanserte. For eksempel, hvis en KI har lært fra tekster som er skrevet mest av menn, kan det hende at den vil fremheve menns perspektiver. Bias kan påvirke hvordan informasjon behandles, og det er viktig å være klar over det for å kunne vurdere informasjon kritisk.
Spørsmål om skjevhet og mangfold til diskusjon:
- Hva mener vi når vi sier at noen eller noe er «partisk» eller har «fordommer»? Kan dere gi eksempler på fordommer dere har sett eller opplevd i hverdagen?
- Tenk dere at en KI skal velge den «beste» personen for en jobb. Hvilke problemer kan oppstå hvis KI-en har lært seg at menn oftere har lederjobber enn kvinner?
- Hvis en KI er trent mest på engelsk, hvordan kan det påvirke hvor godt den fungerer for folk som snakker andre språk, som norsk eller samisk?
- Når dere bruker en KI til å finne informasjon, hvordan kan dere sjekke om den gir et balansert bilde av saken? Hvilke spørsmål kan dere stille?
- Hvis en KI lager bilder av «typiske» norske familier, hva tror dere den vil vise? Vil bildene gjenspeile mangfoldet i det norske samfunnet? Hvorfor eller hvorfor ikke?
- Hvordan tror dere det føles for noen å ikke bli gjenkjent eller forstått av en KI på grunn av sin kulturelle bakgrunn eller dialekt?
- Hvis en KI skal hjelpe til med å velge ut søkere til en skole, hvilke problemer kan oppstå hvis den favoriserer elever fra bestemte områder eller bakgrunner?
- Kan dere tenke på noen måter vi kan gjøre KI-systemer mer rettferdige og inkluderende for alle?
- Hvorfor er det viktig at vi som bruker KI er oppmerksomme på mulige fordommer i systemene? Hva kan skje hvis vi ikke er det?
Forslag til svar på spørsmål til diskusjon
1. Hva mener vi med «partisk» eller «fordommer»?
- Når noen foretrekker eller prioterer en gruppe fremfor en annen uten saklig grunn
- Når vi trekker konklusjoner om personer basert på gruppetilhørighet
- Å ha en forutinntatt holdning som påvirker vurderinger
- Når vi generaliserer og tror alle i en gruppe er like
- Å gi noen fordeler eller ulemper basert på irrelevante egenskaper
Hverdagseksempler:
- Anta at gutter er bedre i matematikk enn jenter
- Forvente at eldre ikke forstår teknologi
- Tro at folk fra bestemte bydeler er på en bestemt måte
- Tenke at noen med utenlandsk navn ikke snakker godt norsk
- Anta at en person med tatoveringer ikke er profesjonell
- Tro at alle fra en bestemt religion mener det samme
2. KI som velger «beste» person for en jobb
- KI-en kan lære å prioritere mannlige søkere for lederstillinger
- Kvalifiserte kvinner kan bli oversett eller rangert lavere
- Personer med minoritetsbagrunn kan bli oversett
- KI-en kan belønne typisk «maskuline» formuleringer i CV-er
- Forsterke kjønnsskjevheter som allerede finnes i arbeidslivet
- Skape en selvforsterkende sirkel der ubalansen blir verre
- Viderefører gamle mønstre istedenfor å bryte dem
- Kan misforstå karrierepauser på grunn av omsorgsoppgaver som negativt
- Overse ulike måter å demonstrere lederskap på
3. KI trent på engelsk – påvirkning på andre språk
- Svakere forståelse av grammatikk og nyanser i andre språk
- Kan misforstå kulturelle referanser som er viktige i norsk eller samisk
- Ordspill og humor oversettes ofte dårlig
- Kan feiltolke dialektuttrykk eller samiske ord
- Mindre tilpasningsdyktig til språklige variasjoner som nynorsk
- Kan mangle forståelse for særnorske begreper og samfunnskontekst
- Dårligere på å gjenkjenne navn med samiske eller ikke-vestlige tegn
- Mindre data å trene på for minoritetsspråk gir dårligere resultater
4. Sjekke om KI gir balansert informasjon
- Be om flere perspektiver: «Kan du vise ulike syn på denne saken?»
- Spør etter motargumenter: «Hva er argumentene mot dette synspunktet?»
- Be om kildehenvisninger: «Hvilke kilder baserer du dette på?»
- Spør etter uenigheter: «Er det noen faglige uenigheter om dette temaet?»
- Be om å få frem ulike kulturelle perspektiver
- Sammenlign med andre kilder og oppslagsverk
- Spør: «Hvilke grupper kan ha et annet syn på dette?»
- Be om å få se både fordeler og ulemper
5. KI-genererte bilder av «typiske» norske familier
- Vil sannsynligvis vise flest hvite, heterofile par med barn
- Kan mangle representasjon av samiske familier
- Sannsynligvis færre flerkulturelle familier enn det som er reelt
- Kan undervurdere antall aleneforeldre eller regnbuefamilier
- Sannsynligvis tradisjonelle familiesammensetninger
- Kan mangle representasjon av familier med funksjonsvariasjoner
- Vil kanskje vise stereotypiske aktiviteter (ski, tur i skog/fjell)
- Kan tegne et mer homogent bilde enn dagens mangfoldige Norge
6. Følelser ved ikke å bli gjenkjent av KI
- Følelse av å være usynlig eller uviktig i samfunnet
- Frustrasjon over å måtte tilpasse seg teknologi som ikke er laget for en
- Praktiske problemer i hverdagen som andre ikke opplever
- Følelse av å være en «feil» eller «unntak» i systemet
- Må endre dialekt eller talemåte for å bli forstått
- Mental belastning ved stadig å møte teknologi som ikke fungerer
- Kan føre til at man unngår nyttige digitale tjenester
- Forsterker følelsen av å ikke helt høre til
7. KI som velger skolesøkere – mulige problemer
- Kan foretrekke eller prioritere elever fra områder med historisk høy akademisk suksess
- Elever fra skoler med færre ressurser kan bli nedprioritert
- Kan overse andre former for intelligens eller potensial
- Kan misforstå kulturelle forskjeller i måten å uttrykke seg på
- Elever med lærevansker kan bli urettferdig vurdert
- Kan foretrekke elever med foreldre som kjenner «kodene» for søknader
- Elever med uvanlige skoleløp kan bli feilaktig rangert
- Kan forsterke geografiske og sosioøkonomiske skiller
8. Gjøre KI-systemer mer rettferdige og inkluderende
- Trene KI på mer mangfoldig og representativt datamateriale
- Ha team med ulike etniske, religiøse, kulturelle osv. bakgrunner som utvikler og tester systemene
- Bevisst teste for skjevheter og rette dem opp
- Sørge for åpenhet om hvordan systemene fungerer og tar beslutninger
- Inkludere personer fra ulike grupper i testing av systemene
- Lage systemer som kan forklare valgene sine
- Ha menneskelig oversikt og mulighet til å overstyre
- Kontinuerlig evaluere og forbedre systemene etter lansering
- Inkludere lokalspråklige data i treningsgrunnlaget
9. Viktigheten av å være oppmerksom på fordommer i KI
- KI kan ta beslutninger som påvirker jobbmuligheter, utdanning og rettigheter
- Uoppdagede skjevheter kan forsterkes og spre seg raskt i stor skala
- Kan skape eller forsterke diskriminering i samfunnet
- Vi kan få feil inntrykk av virkeligheten og ta beslutninger på feil grunnlag
- Vi risikerer å stole blindt på «objektiv» teknologi som faktisk er partisk
- Kan påvirke selvbildet til grupper som blir urettferdig fremstilt
- Samfunnsmessige konsekvenser når fordommer automatiseres og forsterkes
- Viktig for demokratiet at alle stemmer og perspektiver blir hørt og verdsatt
Gjenkjenn skjevheter i KI-genererte bilder: yrker
Her er det generert fire bilder ut fra en enkel instruks: a nurse/an engineer, Midjourney v. 6.1 august 2024. Med vilje er det ikke tatt med andre beskrivelser enn substantivet, for å se hva som vil komme ut fra instruksen. Her ser du resultatene: Sykepleieren er en ung, hvit, pen, tynn kvinne, og ingenøren er en ung, hvit, pen, tynn mann.
Spørsmål til diskusjon
- Er det slik sykepleiere og ingeniører ser ut?
- Hvorfor lager KI slike bilder?
- Hvem blir ekskludert gjennom slike bilder?
Forslag til svar på spørsmål til diskusjon: yrker
1. Er det sånn sykepleiere og ingeniører ser ut?
- Nei, virkelige sykepleiere og ingeniører er langt mer mangfoldige enn stereotypene
- Sykepleiere kan være av alle kjønn, aldre, størrelser og etnisiteter
- Det finnes mange mannlige sykepleiere som ikke er representert i bildene
- Ingeniører inkluderer kvinner, eldre, personer med ulik etnisk bakgrunn, osv.
- Yrkesgrupper reflekterer mangfoldet i samfunnet generelt
- Stereotypene stemmer ikke overens med virkeligheten i dagens arbeidsliv
- Mange yrkesutøvere vil ikke kjenne seg igjen i disse framstillingene
- I Norge har vi mange sykepleiere og ingeniører med ulik bakgrunn og utseende
2. Hvorfor lager KI slike bilder?
- KI lærer fra eksisterende bilder på internett som ofte gjenspeiler stereotypier
- Markedsføringsbilder og stockfotoer bruker ofte stereotyper og idealiserte fremstillinger
- Historiske mønstre i yrker påvirker fortsatt hvordan vi fremstiller dem visuelt
- Algoritmer forsterker ofte mønstre de finner i treningsdataene
- KI mangler forståelse for viktigheten av representasjon og mangfold
- Media har tradisjonelt fremstilt disse yrkene på stereotypiske måter
- Søkeresultater online forsterker ofte de vanligste bildene
- Treningsdataene kan inneholde flere bilder av kvinnelige sykepleiere og mannlige ingeniører
- KI gjenspeiler samfunnets eksisterende skjevheter, men forsterker dem også
3. Hvem blir ekskludert gjennom slike bilder?
- Mannlige sykepleiere og kvinnelige ingeniører
- Eldre yrkesutøvere med lang erfaring
- Personer med annen etnisk bakgrunn enn hvit
- Personer med funksjonsvariasjoner
- Folk med ulike kroppstyper og utseende
- Transpersoner og ikke-binære personer
- Personer som ikke passer inn i tradisjonelle skjønnhetsidealer
- Sykepleiere og ingeniører fra ulike kulturer og bakgrunner
- Unge mennesker som ikke ser seg selv representert i yrket de er interessert i
- Potensielle talenter som kan føle seg fremmedgjort fra disse karriereveiene
Gjenkjenn skjevheter i KI-genererte bilder: nasjonalitet
Bildene under er generert som respons på denne instruksen til Midjourney i januar 2025: Make an image of a typical Norwegian woman, in a typical Norwegian setting. Make sure that her main interests are visible in the image. Natural light, front view, aspect ratio 16:9. Da jeg prøvde samme instruks, men bytter ut norsk med samisk, blir resultatet som du ser under.
Spørsmål til diskusjon:
- Hvordan stemmer dette med deres oppfatninger av typisk norsk eller typisk samisk?
- Kan andre bilder av andre mennesker og kulturer også være stereotypiske?
- Hvilke perspektiver mangler i bildene av den «typisk norske kvinnen» og den «typisk samiske kvinnen»?
- Hva synes dere om hodeplagget til den «samiske» kvinnen helt til høyre? Hvorfor er det et slikt hodeplagg som blir generert, tror dere?
Forslag til svar på spørsmål til diskusjon: nasjonalitet
1. Hvordan stemmer dette med deres oppfatninger av typisk norsk eller typisk samisk?
Dette spørsmålet oppfordrer elevene til å reflektere over sine egne oppfatninger og stereotypier:
- Diskuter hvordan bildene samsvarer med eller avviker fra elevenes egne forestillinger
- Utforsk hvordan media, turistbrosjyrer og lærebøker har påvirket våre oppfatninger
- Påpek at «typisk norsk» og «typisk samisk» er forenklede kategorier som ikke representerer mangfoldet i virkeligheten
- Reflekter over hvordan KI lærer fra eksisterende bilder og tekst på internett, og derfor reproduserer og kan forsterke stereotypier
2. Kan andre bilder av andre mennesker og kulturer også være stereotypiske?
- Ja, KI-modeller har en tendens til å generere stereotypiske fremstillinger av de fleste kulturer og folkegrupper
- Be elevene tenke på eksempler fra media eller KI der andre kulturer fremstilles stereotypisk
- Diskuter hvordan stereotypier av ulike grupper kan variere i hvor skadelige de er
- Utforsk hvordan stereotypier oppstår, hvordan de spres, og hvilken funksjon de har i samfunnet
3. Hvilke perspektiver mangler i bildene av den «typisk norske kvinnen» og den «typisk samiske kvinnen»?
- Mangfoldet innad i gruppene: alder, utseende, kroppsfasong, klær, livsstil, yrker
- Moderne aspekter: mange samer og nordmenn lever moderne urbane liv
- Historisk utvikling: både samisk og norsk identitet har endret seg over tid
- Individuelle forskjeller: personlighet, interesser og verdier som ikke er synlige i stereotypier
- Geografiske variasjoner: forskjeller mellom regioner i Norge og mellom ulike samiske grupper
4. Hva synes dere om hodeplagget til den «samiske» kvinnen helt til høyre? Hvorfor er det et slikt hodeplagg som blir generert, tror dere?
- Hodeplagget ligner sannsynligvis mer på et stereotypisk «eksotisk» eller «urfolks»-hodeplagg enn en tradisjonell samisk lue
- KI-modeller blander ofte sammen elementer fra ulike urfolk eller minoritetskulturer
- Diskuter hvordan KI lærer fra data som kan inneholde feilaktige fremstillinger eller blande sammen ulike kulturer
- Reflekter over ansvaret til både KI-utviklere og -brukere for å unngå å spre feilaktige kulturelle fremstillinger
- Utforsk hvordan stereotypier om urfolk ofte blir homogenisert i vestlig media og diskurs
Filnedlastninger
Lenker
Andre ressurser om KI på nettsiden:
Lær elevene å tenke kritisk om KI-generert tekst
Alle ressurser om kunstig intelligens
Her finner du:
Gunnhild Kvåle fra Universitetet i Agder om bildegenerering og hvorfor bildene blir stereotypiske
ChatGPT og amerikanske normer og verdier
Tenk. Faktisk. om stereotypier og skjevhet
Videoer:
Om ansiktsgjenkjenning og hudfarge
Denne videoen er fra 2013, men fremdeles relevant om filterbobler
Kunstig intelligens
Her finner du flere ressurser og undervisningsopplegg knyttet til kunstig intelligens. Ressursene er laget primært for elever på ungdomstrinnet, men går du på videregående kan du også finne nyttig stoff her! Alle undervisningsressurser er publisert med lisensen CC BY NC SA. Alle elevtekster er brukt med tillatelse.
Introduksjon til kunstig intelligens
Her finner du introduksjoner KI, maskinlæring og data, og hvordan du kan komme i gang med KI i klasserommet.
Pedagogiske muligheter med kunstig intelligens
Her finner du ressurser om KI i planlegging, forbedring og gjennomføring av undervisning.
Kritisk tenking om kunstig intelligens
Her finner du ressurser om etiske dilemmaer og kritisk tenking og vurdering av kunstig intelligens
Kunstig intelligens og vurdering
Her finner du ressurser om å lage gode oppgaver i samarbeid med KI, og hvordan du kan vurdere og gi tilbakemeldinger med KI.
SKRIV TIL MEG
...hvis du har et spørsmål eller en kommentar. Ta kontakt, jeg vil gjerne høre fra deg!