Hur fungerar ChatGPT?

ChatGPT fungerar genom att dela upp din text i småbitar som kallas tokens, bedöma sammanhanget mellan dem med en mekanism som kallas attention, och sedan skriva sitt svar bit för bit genom att förutsäga nästa token. I denna artikel går vi igenom varje steg, från hur den tolkar text till hur den skapar svar. Vi tittar också närmare på vad ChatGPT egentligen vet och hur dess tänkande skiljer sig från vårt.

Vad betyder GPT?

Namnet ChatGPT består av två delar. Chat syftar på chattgränssnittet, och GPT står för Generative Pre-trained Transformer. Det beskriver tekniken bakom verktyget, där generativ betyder att modellen skapar text, förtränad att den tränats i förväg på enorma textmängder, och transformer den arkitektur som gör tolkningen möjlig. I grunden är ChatGPT alltså en stor språkmodell med ett chattgränssnitt ovanpå.

Det börjar med tokens

När du skickar en instruktion till ChatGPT börjar den med att dela upp texten i mindre enheter som kallas ”tokens”. Tokens är inte samma sak som ord. En token kan representera ett helt ord eller bara en del av ett ord. Ibland består ett ord alltså av flera tokens.

Ta ordet ”hej” som exempel. Det representeras troligen av en enda token. Men ett längre ord som ”transformermodell” skulle antagligen delas upp i flera tokens, kanske ”transform”, ”er” och ”modell”.

Tokeniseringen är grunden för hur ChatGPT bearbetar text. Den möjliggör en mer nyanserad förståelse av språkets struktur och gör det lättare för modellen att hantera nya ord och olika språk genom att kombinera mindre delar.

Hur tolkar ChatGPT texter?

Efter uppdelningen i tokens börjar den verkliga tolkningen. Här kommer ”attention” in i bilden. Tänk på attention som ett system av strålkastare. Varje token riktar sina strålkastare mot alla andra tokens, och AI:n bedömer hur starkt dessa strålkastare ska lysa mellan varje par av tokens. De tokens som blir mest upplysta får störst betydelse i sammanhanget.

Attention gör det möjligt för AI:n att fånga upp och förstå sammanhang över längre textstycken mycket bättre än tidigare modeller kunde. Till exempel kan den koppla ihop information som nämns i början av en artikel med något som kommer mycket senare, precis som vi människor gör när vi läser.

I meningen ”Katten som jagade musen var snabb” förstår ChatGPT att ”var snabb” hänvisar till ”katten” och inte till ”musen”, trots att ”musen” nämns närmare ”var snabb”. Detta är möjligt tack vare attention, som korrekt identifierar relevansen och relationerna mellan orden.

Hur skriver ChatGPT svar?

Med hjälp av attention-mekanismen har ChatGPT förstått sammanhanget och nu kan den börja generera ett svar. Den svarar genom en process som kallas ”Next-Token Prediction”. Modellen gissar vilken token som bör komma näst, baserat på alla tidigare tokens och den kontext den har förstått.

Här är en förenklad version av hur ChatGPT kan tänka om den har fått frågan ”Vilken är huvudstaden i Frankrike?”:

1. Den bryter ner texten i tokens till exempelvis ”Vil” ”ken” ”är” ”huvud” ”staden” ”i” ”Frankrike” ”?”.
2. Den identifierar nyckeldelarna ”huvudstad” och ”Frankrike”.
3. Baserat på sin träning vet ChatGPT att dessa ord ofta förekommer tillsammans med ”Paris”.
4. Den börjar svaret med ”Huvudstaden i Frankrike är”, eftersom att detta är ett vanligt sätt att börja ett svar på en sådan fråga.
5. Därefter väljer den med hög sannolikhet ”Paris” som nästa token.
6. Den fortsätter sedan att generera ytterligare information om Paris, om den bedömer att det passar in i sammanhanget.

Detta sker blixtsnabbt, token för token, tills ChatGPT bedömer att svaret är klart.

Vad vet ChatGPT?

När ChatGPT svarar att Paris är huvudstaden i Frankrike kan det verka som om den besitter faktisk kunskap. Men ChatGPTs ”vetande” skiljer sig fundamentalt från mänsklig kunskap. ChatGPTs träningsprocess bygger på analys av mönster i enorma textmängder. Det den har lärt sig är statistiska samband mellan ord och fraser, men detta är inte detsamma som verklig förståelse.

ChatGPT har ingen djupare förståelse för ordens faktiska betydelse eller koncepten de representerar. När ChatGPT kopplar ihop ”Paris” med ”huvudstad” och ”Frankrike”, är det för att den har identifierat ett starkt statistiskt samband mellan dessa orden i sin träningsdata.

Detta innebär att ChatGPT saknar den interna representationen av vad en ”huvudstad” är, eller vad ”Frankrike” betyder som du utgår ifrån om du besvarar samma fråga. Den kan inte resonera om dessa begrepp som en människa. Om du frågar ”Vad skulle hända om Paris inte längre var Frankrikes huvudstad?”, kan ChatGPT ge ett svar som verkar förnuftigt. Men svaret baseras helt på mönster i dess träningsdata, inte på en verklig förståelse av politiska system eller geografi.

Hur tänker ChatGPT?

ChatGPT ”tänker” helt annorlunda än vi människor. Vi kan fundera, planera och ändra våra tankar innan vi skriver för att komma fram till bästa sättet att formulera en mening. ChatGPT fokuserar enbart på att välja nästa token baserat på tidigare tokens och uppfattad kontext. Det kan liknas vid att skriva varje ord som dyker upp i huvudet utan att planera meningen i förväg.

Resonemanget genereras alltså inte mellan varje token, det byggs upp successivt. Nyare resonemangsmodeller adresserar delvis detta genom att skriva ett internt resonemang innan de formulerar svaret, men grundmekaniken är densamma, nästa token förutsägs utifrån de föregående. Detta tillvägagångssätt leder till intressanta konsekvenser. ChatGPT kan ofta ge sammanhängande och till synes genomtänkta svar. Den har lärt sig mönster för hur meningar och stycken vanligtvis struktureras. Men den kan ibland motsäga sig själv eller byta spår mitt i en mening eftersom den saknar en övergripande plan för vad den ska skriva.

Därför kan ChatGPT vara övertygande i många ämnen, men samtidigt göra misstag som vore uppenbara för en kunnig människa. Den kan producera text som låter korrekt och insiktsfull. Men den kan inte verifiera sanningshalten i det den säger som en mänsklig expert skulle kunna.

Reflektioner

Att använda ChatGPT effektivt handlar om att förstå både dess möjligheter och begränsningar. Den är ett kraftfullt verktyg för textgenerering och olika uppgifter. Men den ersätter inte mänsklig kunskap, kritiskt tänkande och beslutsfattande. Vi bör alltid vara beredda att verifiera viktig information från pålitliga källor.

Vill du och ditt team lära er mer? Läs om vår ChatGPT kurs för företag.