Den nye forskningsoversigt ’Store sprogmodeller og AI-chatbots på videregående uddannelser’ giver et indblik i de muligheder og udfordringer, som brugen af generativ AI-teknologier fører med sig – og den lægger op til fornyet diskussion om, hvilke begreber om læring vi ønsker at arbejde ud fra.

Den gennemgår den eksisterende forskning på området og omhandler især de humanistiske og samfundsvidenskabelige uddannelser. Mange af pointerne og problemstillingerne er dog principielle og derfor relevante for hele uddannelsesområdet, forklarer Maja Hojer Bruun, lektor ved DPU, Aarhus Universitet.

Hun har skrevet oversigten sammen med Cathrine Hasse, professor ved DPU, Aarhus Universitet og Jakob Krause-Jensen, lektor ved DPU, Aarhus Universitet.

Forskningen i udvikling og brug af AI-chatbots har primært været drevet af datalogiske og tekniske interesser i, hvordan man fx kan optimere deres performance.

Som et lille tankeeksperiment kan man spørge, om en medicinalvirksomhed ville få lov til at sende et nyt produkt på markedet uden forudgående forskning i dets formodede praktiske effekter.

”Det kan handle om at få AI-chatbottens output til at ligne menneskeskabt tekst mest muligt, eller om at gøre den i stand til at løse isolerede opgaver som at bedømme studerendes eksamensopgaver. Men det er stadig sparsomt med pædagogisk forskning i disse teknologier, der tager afsæt i, hvordan læring foregår, og hvordan undervisere og studerende faktisk arbejder,” siger Maja Hojer Bruun.

Det er en udfordring, fordi teknologien breder sig med rivende hast i uddannelsessystemet.

”Studerende og undervisere verden over har taget de nye teknologier til sig så hurtigt, at vi ikke har nået at opbygge et pædagogisk forskningsberedskab til at undersøge sammenhængen mellem generativ AI og læring eller konsekvenserne af at bruge den nye teknologi. Som et lille tankeeksperiment kan man spørge, om en medicinalvirksomhed ville få lov til at sende et nyt produkt på markedet uden forudgående forskning i dets formodede praktiske effekter,” siger Maja Hojer Bruun og tilføjer:

”At anvende generativ AI til at lære noget nyt er noget helt andet end at anvende det på arbejdspladser til at optimere velkendte opgaver ud fra velkendte kvalitetskriterier. Derfor er der brug for mere forskning i AI i praktiske uddannelsessammenhænge.”

Snyder de?

Selvom de store sprogmodeller og AI-chatbots kun har få år på bagen, er kunstig intelligens ikke af ny dato. Forskningsoversigten fortæller historien om vejen fra de allerførste AI-programmer med sprogmodeller fra tiden efter 2. Verdenskrig og frem til Chat GPT og andre aktuelle Generativ AI-teknologier.

Den første tid med Chat GPT var præget af frygt for, at nu ville det blive nemmere for de studerende at snyde. Derfor har en del af forskningen da også handlet om at udvikle metoder til at skelne mellem AI-genereret tekst og menneskeskabt tekst, så man kan afsløre snyd.

Én ting er, at det er svært for dem at se forskel, noget andet er det problematiske i, at de er mere optaget af at gætte, om teksten er menneske- eller maskinskabt end af at vurdere, hvad den studerende faktisk har lært.

Det kan ifølge Maja Hojer Bruun virke paradoksalt i lyset af, at den datalogiske forskning omvendt har arbejdet på at gøre den AI-genererede tekst så menneskelig som mulig, så det i praksis er umuligt at se forskel.

”I forskningsoversigten omtaler vi forskellige eksperimenter, hvor undervisere og eksaminatorer prøver at vurdere, om en given tekst er skrevet af en maskine eller af et menneske. Én ting er, at det er svært for dem at se forskel, noget andet er det problematiske i, at de er mere optaget af at gætte, om teksten er menneske- eller maskinskabt end af at vurdere, hvad den studerende faktisk har lært, ” siger Maja Hojer Bruun.

Og vi mangler fortsat viden om, hvordan de nye teknologier kan understøtte, at de studerende faktisk lærer det, som det er meningen de skal lære på deres uddannelse, mener Maja Hojer Bruun.

”Som underviser på en videregående uddannelse i pædagogisk antropologi kan jeg se, at vores studerende får meget ud af at bruge Chat GPT, men spørgsmålet er, hvor meget de faktisk lærer om fagets hovedbegreber og om at analysere sociale sammenhænge – det, der er fagets kerne. Den særlige AI-problematik kan derfor kaste lys over en større problematik: At vi endnu ikke ved nok om, hvordan mennesker egentlig lærer,” siger hun.

Lær for dig selv

Ifølge Maja Hojer Bruun er mange af de studier, der findes om brugen af AI i uddannelsessammenhæng, båret af et individualiseret læringssyn. Disse studier opererer med begrebet selvreguleret læring, som bygger på, at der sidder et individ over for en maskine og interagerer med den for at lære noget. Læringskonteksten er helt fraværende i dette syn på læring, og det tager ikke højde for undervisningsformer, vi i hvert fald i dansk sammenhæng lægger vægt på, fx holdundervisning og studiegrupper.

Det er urealistisk - og heller ikke ønskværdigt - at tage menneskeunderviseren ud af ligningen. Blandt andet fordi underviserens opgave er at ”forstyrre” den studerende.

”Det er et gennemgående problem i denne type forskning, at den for at kunne måle læringseffekten af at bruge AI laver nogle kontrollerede eksperimenter, der reducerer læringsbegrebet kraftigt ved at afkoble forbindelsen til den bredere pædagogiske sammenhæng, læringen indgår i,” siger Maja Hojer Bruun.

Mennesket eller maskinen

Forskningsoversigten viser, at en stor del af forskningen på området har været optaget af, hvordan teknologien kan erstatte lærere og undervisere. I stedet for at se teknologien som et redskab til læring og som et supplement til underviseren tager disse studier afsæt i en ide om, at man i vid udstrækning slet ikke behøver menneskelærere, men kan erstatte dem med t-bots (teacherbots eller lærerrobotter, red.) eller anden teknologi.

Hvis man kan udvikle de rigtige pædagogiske greb, kan teknologien til gengæld blive et rigtig godt og relevant supplement til lærere og undervisere.

”Det er urealistisk - og heller ikke ønskværdigt - at tage menneskeunderviseren ud af ligningen. Blandt andet fordi underviserens opgave er at ”forstyrre” den studerende. Hendes rolle er at bringe noget ind i læringssituationen, som den studerende ikke kendte til i forvejen. Der er brug for en menneskeunderviser, der kan understøtte de studerendes læreprocesser og som med sin erfaring, sit personlige kendskab til dem og sin evne til at improvisere i situationen kan tilpasse sig den enkelte studerendes læring og afkode, hvilke forskellige steder de hver især er på vej hen,” siger hun.

Cathrine Hasse er enig:

”I dialogen med Chat GPT bliver det hele overladt til den individuelle studerendes egne tanker og forestillinger om tingene, hvor den fælles, faglige kontekst er fraværende og der derfor kan opstå et læringstomrum. Men hvis man kan udvikle de rigtige pædagogiske greb, kan teknologien til gengæld blive et rigtig godt og relevant supplement til lærere og undervisere,” siger hun og tilføjer:

”Under corona-pandemien opdagede vi, at det er en katastrofe, når man fjerner de menneskelige relationer fra læringsrummene. Vores samfund har været gennemstrømmet af en teknooptimisme, som har gjort det svært at få nogle nuancerede og kritiske diskussioner om fordele og ulemper ved fx de nye AI-chatbots. Men vi mangler at finde ud af, hvad teknologien kan bruges til, og hvad den ikke kan bruges til – og hvordan vi finder den rette balance i vores måde at bruge den på,” siger Cathrine Hasse.

Podcast: ”Et apparat, der kan udfordre dem – ikke en automat med hurtige svar”

Sammen med forskningsoversigten udgiver DPU en podcast, hvor Cathrine Hasse og Maja Hojer Bruun fortæller om muligheder og udfordringer i brugen af store sprogmodeller og AI-chatbots på de videregående uddannelser. Du møder også Annette Pedersen, der er specialkonsulent i e-læring ved TEACH, Universitetspædagogisk Center på Københavns Universitet.

Hun fortæller om arbejdet med at lave pædagogisk udvikling på universitetet, så de nye generative AI-teknologier kan bruges til at styrke de studerendes læring. Vi har endnu ikke nogen klar fornemmelse af, hvad vi opnår, og hvad vi mister ved at bruge dem, mener hun. Udfordringen er at hjælpe de studerende til at lave gode læringsstrategier, hvor de ser AI-chatbotten som et apparat, der kan udfordre dem og hjælpe dem til at lære mere – og ikke bare som en automat, de kan trække et hurtigt og nemt svar i.