Högskoleprovet

September 2019 vaknar jag hög som ett hus efter en nyckelbensoperation och tar upp telefonen. I mitt feed ser jag att det kommit en ny modell(Albert, A lite Bert) som slår snittmänniskan i läsförståelseuppgfiter på Engelska för Högstadie och gymnasieelever i Kina. Detta fick mitt höga huvud att flumma ännu mer. Vad var möjligheterna? Tänk om jag höll på med detta? Jag måste göra detta!

Genombrottet kom ifrån en modell skapad för maskinöversättning och dess fortsättningar i form av GPT och Bert. De nya modellerna fullständigt krossade många av ledartavlorna som forskare tävlar om på olika uppgifter. Jag hade gjort lite experiment på Engelska men det var Svenska som var mest intressant och det fanns inga bra modeller.

I November, någorlunda återhämtad startade jag en resa för att utforska vad de senaste genombrotten inom Artificiella Neurala Nätverk för språkförståelse innebar för mitt språk, Svenska. Vad som fascinerade mig mest var inte de höga resultaten på text och meningsklassificering, utan att de klarade av att göra tester på läsförståelse. Trots att implementeringarna är otroligt lika på en teknisk nivå så är det väldigt spännande när det verkar ha uppstått en annan typ av läsförståelse än den vi har men som fortfarande kan "resonera" (mönsterigenkänning) över texter och svara på frågor. Detta var extremt spännande, vad innebar det för mig? Hur fungerar det? Vad spottar den ut? Finns det några likheter med hur vi gör det?

Definition
Den här uppgiften liknar mer någon form av givet ett ord, en kombination av ord eller en fras välj det mest lika i betydelse. Det är inte så lätt som att bara ha lista på ord, för här förekommer ordspråk och annat.

Träning
Den får läsa orden från svenska wiktionary. Jag använder en cosine similarity loss. Splittar 80 / 10 / 10 och får ~0.91 i cosine pearson

Reflektion
Det som är intressant med denna uppgift är att man kan se hur modellen/metoden generaliserar utöver listan på synonymer som enbart består av ett ord till att klara av fraser och även ord som inte är med i synonymlistan. När jag testade modellen på 3 högskoleprov fick jag runt 84% rätt på orden. Jag testade även sen att köra standardsättet för encoders och fick som bäst runt 89%. Jag använder dock inte resultatet därifrån då jag använde 3 högskoleprov som ett dev set och detta blir fusk. Det jag vill göra är att träna den på att ganska generellt lösa liknande uppgifter som HP och bara använda HP som ett sluttest. Det som är intressant förutom generalisering är att denna uppgift är förmdligen ett väldigt bra mått på hur bra modellen delar upp tokens. Rätt delord -> mer generalisering.

Definition

Läs en text som har flera tomma platser, i dessa platser kan ett eller flera ord vara. Välj från 4 alternativ vilket som är bäst.

Träning

Här gjorde jag ingen träning alls. Modellen har redan från sin basförståelse av svenska en riktig talang för detta! Ni kan ovan testa att se vad modellen spottar ut när ni byter ut olika ord. Även om den tror att det ordet ni bytt ut kan vara där så blir den generellt sätt mer osäker på orden runt omkring. Så genom att titta på en ruta runt orden har man en ganska bra grund för om orden är utbytta. Detta gav 78% rätt på 3 prov.

Reflektion

Här finns mycket man förmodligen kan hämta. Dels genom att träna den på att hitta utbytta ord i texter med extremt hög kvalité och inte random-sidor från internet. Man skulle sedan kunna lägga på en klassificerare och träna den på att välja rätt alternativ. Detta går dock lite emot syftet, att testa hur bra den generaliserar på högskoleprovet.

Definition
Läs en text och en fråga. Välj svar från 4 alternativ vilket som är bäst.

Träning
Här kommer det svåra. Högskoleprovet är förmodligen den största datamängden som finns på läsförståelse som ligger uppe. Kanske att det finns för nationella prov eller hos något företag som erbjuder träningsmaterial för detta. Jag valde att titta på vad det fanns för material på Engelska. jag tränade en modell på att översätta från Engelska till Svenska. Den modellen fick översätta läsförståelseuppgifter på engelska. Sedan tränade jag en Svensk modell på att göra uppgifterna. Koden för att träna i Tensorflow har jag lagt upp på Huggingface github. Det bästa resultatet jag fick med denna metoden var 1.0. Jag tror det finns en del att hämta genom att använda bättre data och använda en större modell tyvärr var detta både resurskrävande i form av compute men även i tid. Jag hoppas kunna fortsätta experimentera med detta framöver. Det finns en modell på Engelska, UnifiedQA. Den är tränad på T5, en modell som finns i "extrema" storlekar. De tränade en modell att göra väldigt breda läsförståelseuppgifter, Jag gör tester med deras 3B-variant i fortsättningen och översätter med en modell som matar in de svenska texterna på engelska för att se var gränsen verkar gå.

Reflektion
Den största begränsningen här är data och modellstorlek. Läsförståelse kräver mycket av modellen. Ju fler mönster modellen kan hitta desto bättre resultat. Om man har många exempel på de mönster som krävs för att göra uppgiften ökar också chansen. Det jag hade möjlighet att göra var i princip en modell med 12 lager baserade på mina dåvarande kunskaper om träning. Jag började experimentera med att ge mig in i hur man kan få plats och optimera för större modeller. Att använda UnifiedQA 11B skulle ev. höja accuracyn med ca 5%.

Om man kollar på resultatet nedan så verkar det fortfarande vara bättre att ev. träna en mindre modell på svenska och fortfarande slå den stora engelska med översättning. Skall bli spännande att se om jag fortsätter! Man skall även ta i beaktning att de engelska uppgifterna på hp är av enklare karaktär jämfört med de svenska.