LLM & SFT (Små Faglige Tekstmodeller)

De store språkmodellene, Large Language Models – LLM, synes å ha nådd taket. Nesten alt som er tilgjengelig på Internett er nå avlest og avkodet som multidimensjonale sannsynlighets-matriser for sammenhengen mellom småord og tegn-kombinasjoner. Det koster mye i opplæring, men også det å bruke dem for å generere nye tekster.

Det viser seg at mindre og mer målretta språkmodeller koster mindre, kan kjøres lokalt og gir bedre resultat på sine avgrensede og spissede områder. Det vil f.eks. gjelde litteraturen i et undervisningfag.

Dette er en grunn til at UH-sektoren burde fått fagstoffet sitt “under plogen” under kontrollerte forhold gjennom de siste 10-15 åra. Dette har dessverre vært overlatt til kontrollen fra kommersielle amerikanske selskaper som Canvas og Microsoft. Digitalisering har vært håndtert som et studieadministrativt problem.

Når det nå skal brukes noen hundre millioner på å utvikle sentre og fagmiljøer for KI-forskning i Norge, bør denne problemstillingen settes på dagsorden:

Hvordan bygge forsvarlig KI-bruk på ulike utdanningsnivåer med støtte i åpne faglige tekster som også gir langsiktig kunnskapsutvikling formulert i norsk språkdrakt?