[{"data":1,"prerenderedAt":2335},["ShallowReactive",2],{"article-hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley":3,"series-hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley":495,"recommended-hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley":496},{"_path":4,"_dir":5,"_draft":6,"_partial":6,"_locale":7,"title":8,"description":9,"order":10,"translationSlug":11,"img":12,"date":13,"tag":14,"featured":15,"author":16,"body":20,"_type":489,"_id":490,"_source":491,"_file":492,"_stem":493,"_extension":494},"/article/sv/hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley","sv",false,"","Hur Oslo blir Stockholm — och Stockholm blir Silicon Valley","Buy versus build, tidigt kapital, och varför vi måste sluta bygga internt om vi vill ha ett ekosystem som flyger.",0,"how-oslo-becomes-stockholm-and-stockholm-becomes-silicon-valley","/img/ecosystem-hero.svg","2026-05-19","Entreprenörskap",true,{"name":17,"bio":18,"authorImage":19},"Viktor Alm","Jag gillar att bygga saker","/img/viktor.jpg",{"type":21,"children":22,"toc":477},"root",[23,31,40,45,50,54,61,66,71,76,81,86,91,94,100,105,116,126,136,146,151,156,159,165,170,175,187,200,205,210,215,218,224,236,241,246,249,255,260,272,277,285,290,305,310,322,325,331,336,341,346,351,354,360,365,419,424,427,433,438,443,446,452,457,462,467,472],{"type":24,"tag":25,"props":26,"children":27},"element","p",{},[28],{"type":29,"value":30},"text","Jag stod på en konferens i Oslo och någon ställde frågan rakt ut:",{"type":24,"tag":32,"props":33,"children":34},"blockquote",{},[35],{"type":24,"tag":25,"props":36,"children":37},{},[38],{"type":29,"value":39},"Hur kan Norge bli lika bra som Sverige på AI-bolag?",{"type":24,"tag":25,"props":41,"children":42},{},[43],{"type":29,"value":44},"Bra fråga. Och som göteborgare som precis flyttat hem från Stockholm sitter jag på en parallell version av den: hur mäter sig Göteborg mot Stockholm? Och om vi nu redan är där — hur blir Stockholm bättre än Silicon Valley?",{"type":24,"tag":25,"props":46,"children":47},{},[48],{"type":29,"value":49},"Jag tänker svara på alla tre samtidigt, för det är samma fråga.",{"type":24,"tag":51,"props":52,"children":53},"hr",{},[],{"type":24,"tag":55,"props":56,"children":58},"h2",{"id":57},"det-är-ett-ekosystem-inte-ett-bolag",[59],{"type":29,"value":60},"Det är ett ekosystem, inte ett bolag",{"type":24,"tag":25,"props":62,"children":63},{},[64],{"type":29,"value":65},"Stockholm fungerar för att det har hunnit fungera länge. Skype, Spotify, Stardoll-maffian, senast Sana. Internet- och dotcom-bolag har funnits där sedan slutet av 90-talet. Gamla finansgubbar med stora plånböcker är djupt inne i tech. Private equity-världen ligger tätt på. Det är ett helt ekosystem som har existerat i decennier.",{"type":24,"tag":25,"props":67,"children":68},{},[69],{"type":29,"value":70},"Ta en av våra änglar som exempel. Han har investerat i över 30 bolag, varit med och byggt flera tidigare, har en exit i ryggen, har pengar — och framförallt återinvesterar han pengarna i ekosystemet. Det är där grejen sitter.",{"type":24,"tag":25,"props":72,"children":73},{},[74],{"type":29,"value":75},"För det är en sak när bolag säljs och pengarna landar rakt i fickan på founders. Det är något helt annat när de pengarna kommer tillbaka in i nästa bolag. Eller ta norska Oljefonden: kronor från norsk olja som ligger i Tesla och andra utländska bolag. Det är fina avkastningar — men det bygger inte ett inhemskt ekosystem. Du måste investera i ditt eget.",{"type":24,"tag":25,"props":77,"children":78},{},[79],{"type":29,"value":80},"Och när tio, tjugo, hundra såna här personer återinvesterar samtidigt så händer något: det startkapital som krävs för att komma loss blir plötsligt tillgängligt. Du kan sätta ihop en styrelse där någon redan tagit ett bolag från noll till femtio anställda. Någon som har gjort en exit. Någon som redan har kontakterna och vet hur man säljer en B2B-produkt till en stor kund.",{"type":24,"tag":25,"props":82,"children":83},{},[84],{"type":29,"value":85},"Det här föder sig självt. Första fem bolagen går bra, säljs, talangen pumpas tillbaka i omsättning. Nästa våg är tio. Sen trettio. Kompetensen compoundar, pengarna compoundar, kontakterna compoundar. Farten bygger på sig själv.",{"type":24,"tag":25,"props":87,"children":88},{},[89],{"type":29,"value":90},"Silicon Valley har haft den här mekanismen igång sedan 70- och 80-talet. Det är därför det är svårt att slå.",{"type":24,"tag":51,"props":92,"children":93},{},[],{"type":24,"tag":55,"props":95,"children":97},{"id":96},"vad-som-behöver-finnas-på-plats",[98],{"type":29,"value":99},"Vad som behöver finnas på plats",{"type":24,"tag":25,"props":101,"children":102},{},[103],{"type":29,"value":104},"För att starta ett ekosystem från ingenting krävs fyra saker samtidigt:",{"type":24,"tag":25,"props":106,"children":107},{},[108,114],{"type":24,"tag":109,"props":110,"children":111},"strong",{},[112],{"type":29,"value":113},"1. Tidigt kapital.",{"type":29,"value":115}," Inte grants från artonde organisationen som kräver att projektet uppfyller fjorton politiskt satta byråkratiregler. Riktiga pengar från människor som har gjort exits och vet vad de gör.",{"type":24,"tag":25,"props":117,"children":118},{},[119,124],{"type":24,"tag":109,"props":120,"children":121},{},[122],{"type":29,"value":123},"2. Founders med rätt rygg.",{"type":29,"value":125}," Hög teknisk höjd, organiseringsförmåga, någon som redan byggt något. Antingen finns de i miljön eller så lockar miljön dit dem.",{"type":24,"tag":25,"props":127,"children":128},{},[129,134],{"type":24,"tag":109,"props":130,"children":131},{},[132],{"type":29,"value":133},"3. En talangpool som växer med bolagen.",{"type":29,"value":135}," Juniorer som är lättformade. Erfarna säljare. Product managers som har implementerat tio gånger förut. Folk som har varit med på resan i tidigare bolag.",{"type":24,"tag":25,"props":137,"children":138},{},[139,144],{"type":24,"tag":109,"props":140,"children":141},{},[142],{"type":29,"value":143},"4. Möjligheten att överhuvudtaget komma igång.",{"type":29,"value":145}," Innan du har en investerare är du på dina egna sparpengar. Du jobbar parallellt, tar tjänstledigt, lever på en konsultpott. Mitt eget startkapital var en konsultsumma jag jobbat ihop — det finansierade min tid till att bygga prototypen som blev grunden för Labelf.",{"type":24,"tag":25,"props":147,"children":148},{},[149],{"type":29,"value":150},"Det här första steget är hårdare än folk tror. Och det är ett av stegen där samhället kan hjälpa till mest. Riktiga personaloptioner som inte beskattas sönder. K10-utrymme för founders och tidiga anställda. Skattelättnader för investerare som tar reell risk i tidiga bolag.",{"type":24,"tag":25,"props":152,"children":153},{},[154],{"type":29,"value":155},"USA har QSBS — Qualified Small Business Stock. Investerar du i ett kvalificerat tidigt bolag och håller i fem år kan du undanta upp till tio gånger din insats, eller minst tio miljoner dollar, helt skattefritt vid exit. En investering på fem miljoner kan generera femtio miljoner i skattefri reavinst. Det är därför viljan att skriva tidiga checkar är så hög där. Uppsidan är gigantisk. Och uppsidan styr beteendet.",{"type":24,"tag":51,"props":157,"children":158},{},[],{"type":24,"tag":55,"props":160,"children":162},{"id":161},"skolor-är-nätverk-inte-kompetens",[163],{"type":29,"value":164},"Skolor är nätverk, inte kompetens",{"type":24,"tag":25,"props":166,"children":167},{},[168],{"type":29,"value":169},"Det första folk reflexmässigt pekar på är universiteten. Stockholm har KTH. Boston har MIT. Bay Area har Stanford.",{"type":24,"tag":25,"props":171,"children":172},{},[173],{"type":29,"value":174},"Det är fel orsak.",{"type":24,"tag":25,"props":176,"children":177},{},[178,180,185],{"type":29,"value":179},"All teknisk information finns på nätet. Allt går att lära sig själv. Det skolorna faktiskt levererar är ",{"type":24,"tag":109,"props":181,"children":182},{},[183],{"type":29,"value":184},"nätverk",{"type":29,"value":186},": du lär känna någon vars pappa har gjort en exit. Du vet redan vem du ska ringa när du behöver en marknadsförare, för det var Lisa som var asbra på det när ni satt i samma föreläsningssal.",{"type":24,"tag":25,"props":188,"children":189},{},[190,192,198],{"type":29,"value":191},"Den biten är värdefull. Men i ren kompetens spelar skolan ingen roll — den är försumbar. Skolornas roll är en ",{"type":24,"tag":193,"props":194,"children":195},"em",{},[196],{"type":29,"value":197},"effekt",{"type":29,"value":199}," av att resten av ekosystemet redan finns på samma plats. Inte en oberoende fördel.",{"type":24,"tag":25,"props":201,"children":202},{},[203],{"type":29,"value":204},"Och teknikteamet behöver inte ens sitta på samma plats. Mitt tekniska team är remote first. Det finns ingen anledning att produktbyggare ska sitta bredvid varandra och störa varandra när de ska koda. De kan lika gärna sitta i Discord som gamers — bygga sina grejer, dela skärm när det behövs.",{"type":24,"tag":25,"props":206,"children":207},{},[208],{"type":29,"value":209},"Råtalent hittar det de behöver på papers och GitHub. De är inte beroende av att någon föreläsare lär dem grunderna.",{"type":24,"tag":25,"props":211,"children":212},{},[213],{"type":29,"value":214},"(Det är en annan fråga om du brölar ut kodapor på meningslösa interna projekt utan verkshöjd. Då behöver du juniora ingenjörer på plats. Men det är inte den biten som bygger ett ekosystem.)",{"type":24,"tag":51,"props":216,"children":217},{},[],{"type":24,"tag":55,"props":219,"children":221},{"id":220},"du-behöver-en-inhemsk-early-adopter-marknad",[222],{"type":29,"value":223},"Du behöver en inhemsk early-adopter-marknad",{"type":24,"tag":25,"props":225,"children":226},{},[227,229,234],{"type":29,"value":228},"Bygger du direct-to-consumer behöver du tillgång till en hemmamarknad som är ",{"type":24,"tag":109,"props":230,"children":231},{},[232],{"type":29,"value":233},"early adopters",{"type":29,"value":235},", inte laggards. Operar du i ett land där alla väntar på att tekniken ska mogna är det jättesvårt att vara innovativ.",{"type":24,"tag":25,"props":237,"children":238},{},[239],{"type":29,"value":240},"Sverige hade ovanligt hög internetpenetration redan under dotcom-eran. När det började röra på sig fanns en målgrupp på plats. Spotify föddes i ett land där smartphone-adoptionen var hög tidigt — det gav dem en bas att testa mot innan de gick globalt.",{"type":24,"tag":25,"props":242,"children":243},{},[244],{"type":29,"value":245},"Det är inte en slump. Det är en förutsättning.",{"type":24,"tag":51,"props":247,"children":248},{},[],{"type":24,"tag":55,"props":250,"children":252},{"id":251},"och-nu-till-den-stora-buy-versus-build",[253],{"type":29,"value":254},"Och nu till den stora: buy versus build",{"type":24,"tag":25,"props":256,"children":257},{},[258],{"type":29,"value":259},"Det här är det som hämmar Sverige och Norge mest just nu. Och det är det som politiker, enterprises och offentlig sektor faktiskt kan ändra på direkt.",{"type":24,"tag":25,"props":261,"children":262},{},[263,265,270],{"type":29,"value":264},"Bygger du en B2B-produkt behöver det finnas en kultur av att ",{"type":24,"tag":109,"props":266,"children":267},{},[268],{"type":29,"value":269},"köpa",{"type":29,"value":271}," istället för att bygga internt.",{"type":24,"tag":25,"props":273,"children":274},{},[275],{"type":29,"value":276},"Frågan en enterprise borde ställa sig:",{"type":24,"tag":32,"props":278,"children":279},{},[280],{"type":24,"tag":25,"props":281,"children":282},{},[283],{"type":29,"value":284},"Varför ska vi bygga det här verktyget själva, när 300 andra bolag har exakt samma problem?",{"type":24,"tag":25,"props":286,"children":287},{},[288],{"type":29,"value":289},"För när du svarar \"för att vi vill ha det skräddarsytt\" och drar igång ett internprojekt med en av de stora konsultfirmorna så händer två saker:",{"type":24,"tag":291,"props":292,"children":293},"ol",{},[294,300],{"type":24,"tag":295,"props":296,"children":297},"li",{},[298],{"type":29,"value":299},"Du lägger flera gånger mer pengar än vad du hade betalat för en SaaS, och det tar flera gånger längre tid.",{"type":24,"tag":295,"props":301,"children":302},{},[303],{"type":29,"value":304},"Du dödar chansen för det inhemska startup som hade kunnat lösa problemet — för det får ingen kund, ingen referens, ingen omsättning.",{"type":24,"tag":25,"props":306,"children":307},{},[308],{"type":29,"value":309},"Och när ditt internprojekt två år senare står stilla eller behöver kastas, då köper du en lösning från ett amerikanskt bolag som hann växa under tiden. Det svenska eller norska bolaget som hade en reell chans — som hade kunnat bli ditt amerikanska bolags konkurrent — finns inte längre. Du har valt bort hela det laget.",{"type":24,"tag":25,"props":311,"children":312},{},[313,315,320],{"type":29,"value":314},"Det här gäller också kommuner, regioner, myndigheter och Försvarsmakten. Att låta enorma konsultbolag bygga in-house istället för att upphandla nya bolag är en nationell ekonomisk waste. Det är två tappade vinster: dyrare lösning ",{"type":24,"tag":193,"props":316,"children":317},{},[318],{"type":29,"value":319},"och",{"type":29,"value":321}," dödat ekosystem.",{"type":24,"tag":51,"props":323,"children":324},{},[],{"type":24,"tag":55,"props":326,"children":328},{"id":327},"var-lägger-talangen-sina-timmar",[329],{"type":29,"value":330},"Var lägger talangen sina timmar?",{"type":24,"tag":25,"props":332,"children":333},{},[334],{"type":29,"value":335},"Samma logik gäller dig.",{"type":24,"tag":25,"props":337,"children":338},{},[339],{"type":29,"value":340},"Du har en begränsad mängd produktiva år. Lägg dem inte på Accentures stora kontrakt. Lägg dem inte på att bygga interna verktyg åt Amazon. Lägg dem inte på ett skräddarsytt system som dör med kontraktet.",{"type":24,"tag":25,"props":342,"children":343},{},[344],{"type":29,"value":345},"Lägg dem på något som kan skala. Hitta ett problem som hundra bolag har och bryt ut det. Gå med på resan i ett tidigt bolag. Eller starta själv.",{"type":24,"tag":25,"props":347,"children":348},{},[349],{"type":29,"value":350},"Du får inte ett Spotify ur ett bemanningsbolag. Och du får inte ett produktekosystem av ett land där produkttänkarna säljer sin tid styckevis till stora kontor.",{"type":24,"tag":51,"props":352,"children":353},{},[],{"type":24,"tag":55,"props":355,"children":357},{"id":356},"vad-politiker-kan-göra-konkret",[358],{"type":29,"value":359},"Vad politiker kan göra konkret",{"type":24,"tag":25,"props":361,"children":362},{},[363],{"type":29,"value":364},"Inget av det här behöver vara mystiskt:",{"type":24,"tag":366,"props":367,"children":368},"ul",{},[369,379,389,399,409],{"type":24,"tag":295,"props":370,"children":371},{},[372,377],{"type":24,"tag":109,"props":373,"children":374},{},[375],{"type":29,"value":376},"Mindre byråkrati kring grants.",{"type":29,"value":378}," Hela industrin av \"söka pengar\"-konsulter är en effekt av ett trasigt system. Färre regler, snabbare beslut, mer kapital till färre projekt.",{"type":24,"tag":295,"props":380,"children":381},{},[382,387],{"type":24,"tag":109,"props":383,"children":384},{},[385],{"type":29,"value":386},"Skattelättnader för tidiga investerare.",{"type":29,"value":388}," Belöna risken. USA:s QSBS-modell är en bra utgångspunkt.",{"type":24,"tag":295,"props":390,"children":391},{},[392,397],{"type":24,"tag":109,"props":393,"children":394},{},[395],{"type":29,"value":396},"Riktiga personaloptioner.",{"type":29,"value":398}," Anställda nummer 1–10 ska kunna äga en meningsfull bit av bolaget utan att skatten sliter bort hela uppsidan. Och taket måste matcha hur stora bolagen faktiskt blir — tre miljoner kronor är ingenting när målet är unicorn-värdering. Större bitar ska löna sig privatekonomiskt, inte bestraffas.",{"type":24,"tag":295,"props":400,"children":401},{},[402,407],{"type":24,"tag":109,"props":403,"children":404},{},[405],{"type":29,"value":406},"K10-utrymme och founder-vänlig beskattning.",{"type":29,"value":408}," Det är där exits omvandlas till nästa generations investeringar.",{"type":24,"tag":295,"props":410,"children":411},{},[412,417],{"type":24,"tag":109,"props":413,"children":414},{},[415],{"type":29,"value":416},"Buy-first-policy i offentlig sektor.",{"type":29,"value":418}," Mindre upphandlingar dimensionerade så att unga bolag kan vinna dem.",{"type":24,"tag":25,"props":420,"children":421},{},[422],{"type":29,"value":423},"Bolag som flyger drar in skatteintäkter från kunder över hela världen. Det är en gigantisk net positive. Att belöna risken i tidiga skeden är inte en kostnad — det är en investering med extrem hävstång.",{"type":24,"tag":51,"props":425,"children":426},{},[],{"type":24,"tag":55,"props":428,"children":430},{"id":429},"tack-till-de-som-vågar",[431],{"type":29,"value":432},"Tack till de som vågar",{"type":24,"tag":25,"props":434,"children":435},{},[436],{"type":29,"value":437},"Jag vill säga tack till enterprise-kunderna som väljer att satsa på nystartade bolag istället för att bygga allting själva med konsultfirmorna. Ni gör det som faktiskt skapar ekosystem. Och tack till alla som jobbar inne på enterprises och driver för \"låt oss prova det här lilla bolaget\" — det är ofta enskilda människor som öppnar dörrar.",{"type":24,"tag":25,"props":439,"children":440},{},[441],{"type":29,"value":442},"Och till politiker, både svenska och norska: tänk på hur ni kan göra det lättare, öppnare, mer inbjudande. Förenkla. Belöna risk. Mindre 18 organisationer som söker pengar av varandra. Mer kapital direkt till de som bygger.",{"type":24,"tag":51,"props":444,"children":445},{},[],{"type":24,"tag":55,"props":447,"children":449},{"id":448},"tillbaka-till-frågan",[450],{"type":29,"value":451},"Tillbaka till frågan",{"type":24,"tag":25,"props":453,"children":454},{},[455],{"type":29,"value":456},"Hur blir Oslo som Stockholm? Genom att norskt kapital återinvesteras i Norge istället för att försvinna in i Tesla via Oljefonden. Genom att norska enterprises börjar köpa från norska startups. Genom att den första generationen norska exits skapar founders och anställda som börjar om — med pengar, kontakter och ärr.",{"type":24,"tag":25,"props":458,"children":459},{},[460],{"type":29,"value":461},"Hur blir Stockholm bättre än Silicon Valley? Genom att inte göra det misstaget Silicon Valley sitter fast i nu — för dyrt, för byråkratiskt på sitt eget sätt, för centraliserat. Sverige har lägre kostnader, en distribuerad talangpool, närhet till Europa och en ny generation founders som är hungriga. Det enda som saknas är att vi ska sluta vara så jävla rädda för att köpa istället för att bygga.",{"type":24,"tag":25,"props":463,"children":464},{},[465],{"type":29,"value":466},"Det finns ofantligt mycket att göra. Och ingenting är uppfunnet ännu — folk tror alltid att saker är klara, men det är de inte.",{"type":24,"tag":25,"props":468,"children":469},{},[470],{"type":29,"value":471},"Köp från startups. Återinvestera dina exits. Lämna konsultprojektet och bygg något själv. Och se de små bolagen för det de håller på att bli — inte för det de råkar vara just nu.",{"type":24,"tag":25,"props":473,"children":474},{},[475],{"type":29,"value":476},"Det är så vi vinner.",{"title":7,"searchDepth":478,"depth":478,"links":479},2,[480,481,482,483,484,485,486,487,488],{"id":57,"depth":478,"text":60},{"id":96,"depth":478,"text":99},{"id":161,"depth":478,"text":164},{"id":220,"depth":478,"text":223},{"id":251,"depth":478,"text":254},{"id":327,"depth":478,"text":330},{"id":356,"depth":478,"text":359},{"id":429,"depth":478,"text":432},{"id":448,"depth":478,"text":451},"markdown","content:article:sv:hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley.md","content","article/sv/hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley.md","article/sv/hur-oslo-blir-stockholm-och-stockholm-blir-silicon-valley","md",null,[497,1461,1847],{"_path":498,"_dir":5,"_draft":6,"_partial":6,"_locale":7,"title":499,"description":500,"order":501,"titleClass":502,"cardClass":502,"translationSlug":503,"img":504,"date":505,"tag":506,"featured":6,"series":507,"seriesPart":478,"seriesTitle":508,"topic":509,"author":510,"clips":511,"shorts":674,"videoParts":975,"thread":1141,"linkedin":1152,"facebook":1154,"bluesky":1156,"cta":1166,"endCard":1174,"hashtags":1176,"youtube":1188,"body":1192,"_type":489,"_id":1458,"_source":491,"_file":1459,"_stem":1460,"_extension":494},"/article/sv/hur-man-lar-en-sten-att-forsta","Hur man lär en sten att förstå","Från korttidsamnesi till Attention — hur Transformers bröt AI-industrin vidöppen.",5,"text-gradient-success","how-to-teach-a-rock-to-understand","/img/context-is-king-hero.svg","2026-03-01","NLP","how-to-teach-a-rock","Hur man lär en sten","attention and transformers",{"name":17,"bio":18,"authorImage":19},[512,534,557,577,602,622,644],{"id":513,"component":514,"caption":515,"hook":516,"duration":517,"tiktok":518,"instagram":520,"youtube":522,"subtitles":524},"rnn-memory-fade","RnnMemoryFade","I slutet av meningen är början ett spöke","AI hade korttidsamnesi",8,{"caption":519},"AI brukade läsa ett ord i taget. I slutet av meningen hade den redan glömt början.",{"caption":521},"Ett ord i taget. Början? Redan bortglömd.",{"title":516,"description":523},"Före Attention läste modeller ett ord i taget och glömde vad som kom innan.",[525,527,529,532],{"at":10,"text":526},"Läser ett ord i taget",{"at":478,"text":528},"Tidigare ord börjar blekna",{"at":530,"text":531},4,"I slutet — början är borta",{"at":533,"text":516},6,{"id":535,"component":536,"caption":537,"hook":538,"duration":539,"tiktok":540,"instagram":542,"youtube":544,"subtitles":546},"attention-web","AttentionWeb","Varje ord bestämmer vilka andra ord som spelar störst roll","Så här fungerar Attention",12,{"caption":541},"Varje ord tittar på varje annat ord och frågar: hur mycket bryr jag mig om dig? Det är Attention.",{"caption":543},"Varje ord bestämmer vad som spelar roll. Det är Attention.",{"title":538,"description":545},"Varje ord drar kopplingar till varje annat ord — viktat efter relevans.",[547,549,552,554],{"at":10,"text":548},"'play' tittar på varje ord",{"at":550,"text":551},3,"72% attention på 'piano'",{"at":533,"text":553},"Nu drar 'game' mot 'football'",{"at":555,"text":556},9,"Varje ord bestämmer vad som spelar roll",{"id":558,"component":559,"caption":560,"hook":561,"duration":517,"tiktok":562,"instagram":564,"youtube":566,"subtitles":568},"play-resolved","PlayResolved","Med kontext betyder 'play' äntligen rätt sak","Kontext fixade det största felet i AI",{"caption":563},"Word2Vec placerade 'play football' och 'play piano' på samma ställe. Attention delade isär dem.",{"caption":565},"Samma ord. Två betydelser. Attention löste det äntligen.",{"title":567},"Kontext fixade AI:s största brist",[569,571,573,575],{"at":10,"text":570},"Sportord. Musikord.",{"at":478,"text":572},"'Play' fast i mitten",{"at":530,"text":574},"Med kontext — det delar sig",{"at":533,"text":576},"Rätt betydelse. Rätt plats.",{"id":578,"component":579,"caption":580,"hook":581,"duration":582,"tiktok":583,"instagram":585,"youtube":587,"subtitles":590},"transformer-stack","TransformerStack","Encodern läser. Decodern skriver. Cross-attention kopplar dem.","Arkitekturen som bröt AI vidöppen",20,{"caption":584},"Transformern: encodern läser, decodern skriver, cross-attention kopplar dem. Det här är arkitekturen bakom varje LLM.",{"caption":586},"Encodern läser. Decodern skriver. Det här är Transformern.",{"title":588,"description":589},"Arkitekturen bakom varje LLM","Inuti Transformern: hur encoder, decoder och cross-attention samarbetar.",[591,593,595,597,599],{"at":10,"text":592},"Ord matas in i encodern",{"at":530,"text":594},"Sex lager av attention",{"at":517,"text":596},"Cross-attention kopplar halvorna",{"at":539,"text":598},"Decodern genererar utdata",{"at":600,"text":601},16,"En token i taget",{"id":603,"component":604,"caption":605,"hook":606,"duration":607,"tiktok":608,"instagram":610,"youtube":612,"subtitles":613},"text-to-text","TextToTextDemo","En arkitektur — översätt, sammanfatta, klassificera, svara","En modell hanterar varje språkuppgift",15,{"caption":609},"Översätt. Sammanfatta. Klassificera. Svara. En arkitektur hanterar allt.",{"caption":611},"En modell. Varje språkuppgift.",{"title":606},[614,616,618,620],{"at":10,"text":615},"Översätt — text in, översättning ut",{"at":530,"text":617},"Sammanfatta — destillera det väsentliga",{"at":517,"text":619},"Klassificera — sortera i kategorier",{"at":539,"text":621},"Samma Transformer. Varje uppgift.",{"id":623,"component":624,"caption":625,"hook":626,"duration":627,"tiktok":628,"instagram":630,"youtube":632,"subtitles":635},"transformer-architecture","TransformerArchitecture","De slet isär Transformern — BERT och GPT föddes","De slet isär Transformern",10,{"caption":629},"Google tog encodern — BERT. OpenAI tog decodern — GPT. De slet isär Transformern.",{"caption":631},"BERT läser. GPT skriver. Samma ursprung. Olika öden.",{"title":633,"description":634},"Så föddes BERT och GPT","Transformern delades i två — Google tog ena halvan, OpenAI tog den andra.",[636,638,639,641],{"at":10,"text":637},"Den ursprungliga Transformern",{"at":550,"text":596},{"at":501,"text":640},"Google tog encodern: BERT",{"at":642,"text":643},7,"OpenAI tog decodern: GPT",{"id":645,"component":646,"props":647,"caption":649,"hook":650,"duration":651,"fps":652,"tiktok":653,"instagram":655,"youtube":657,"subtitles":660},"encoder-vector-space","EncoderVectorSpace",{"mode":648,"fillContainer":15},"bert","Se attention omforma betydelse lager för lager","12 lager av attention som omformar en mening",30,60,{"caption":654},"12 lager av attention. Se hur varje lager omformar betydelsen av varje ord i realtid.",{"caption":656},"Se attention omforma betydelse — lager för lager.",{"title":658,"description":659},"12 lager av attention som omformar betydelse","En 3D-visualisering av hur BERT:s attention-lager transformerar ordrelationer.",[661,663,665,667,669,671],{"at":10,"text":662},"Varje sfär är ett ord",{"at":501,"text":664},"Lager 1 avfyras — geometrin skiftar",{"at":627,"text":666},"Relaterade ord dras samman",{"at":607,"text":668},"Lager efter lager, betydelsen omformas",{"at":582,"text":670},"12 lager djupt",{"at":672,"text":673},25,"Ingen vet fullt ut vad den lär sig",[675,720,757,796,836,866,911,957],{"id":676,"title":516,"hook":516,"scenes":677},"amnesia-short",[678,688,691,716],{"type":29,"text":679,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Före 2017 läste AI ord ett i taget.","typewriter","v6",0.15,0.2,1,50,0.3,1.4,{"type":29,"text":689,"animation":690},"I slutet av en mening var början ett spöke.","slam",{"type":692,"clip":513,"text":693,"duration":627,"anchors":694},"component","[excited] Se vad som händer. Varje ord processas i ordning, ett i taget. [pauses] Se början? Den bleknar redan. Suddas. Upplöses. När du når slutet... är början borta. Så fungerade varje språkmodell före Attention.",[695,697,700,702,705,708,711,714],{"word":696,"at":686},"händer",{"word":698,"at":699},"processas",0.8,{"word":701,"at":478},"bleknar",{"word":703,"at":704},"Suddas",2.5,{"word":706,"at":707},"Upplöses",2.8,{"word":709,"at":710},"slutet",3.2,{"word":712,"at":713},"borta",3.6,{"word":715,"at":501},"Attention",{"type":29,"text":717,"animation":718,"style":719},"En artikel fixade det. Den förändrade allt.","blur-in","cta",{"id":721,"title":722,"hook":723,"scenes":724},"attention-short","En idé fixade allt","Tänk om varje ord kunde se varje annat ord?",[725,727,753,755],{"type":29,"text":726,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Tänk om varje ord kunde se varje annat ord?",{"type":692,"clip":535,"text":728,"duration":729,"anchors":730},"[excited] Varje ord tittar på varje annat ord och frågar — hur mycket bryr jag mig om dig? Se 'play'? Sjuttiotvå procent på 'piano.' Knappt något på 'football.' [pauses] Nu 'game' — det drar mot 'football' och 'starting.' Varje ord bygger sin egen fokuskarta. Det är attention.",14,[731,733,735,738,740,742,745,748,751],{"word":732,"at":686},"ord",{"word":734,"at":699},"bryr",{"word":736,"at":737},"play",1.2,{"word":739,"at":478},"piano",{"word":741,"at":704},"football",{"word":743,"at":744},"game",3.5,{"word":746,"at":747},"starting",5.5,{"word":749,"at":750},"fokuskarta",7.5,{"word":752,"at":555},"attention",{"type":29,"text":754,"animation":690},"Ordet bestämmer vad som spelar roll. Inte programmeraren.",{"type":29,"text":756,"animation":718,"style":719},"Följ för Del 3 — hur GPT lärde sig skriva.",{"id":758,"title":759,"hook":760,"scenes":761},"context-matters-short","Samma ord. Två betydelser. Fixat.","'Play' var trasigt. Attention fixade det.",[762,764,766,791,794],{"type":29,"text":763,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Minns du det största felet i Del 1?",{"type":29,"text":765,"animation":690},"'Play football' och 'play piano' — samma punkt. Ingen kontext.",{"type":692,"clip":558,"text":767,"duration":627,"anchors":768},"[excited] Sportord till vänster. Musik till höger. Den grå pricken i mitten? Det är 'play' i Word2Vec. Fast mellan två betydelser. [pauses] Lägg nu till kontext. Se det dela sig. Rätt betydelse flyger till rätt plats. Attention löste det.",[769,771,774,776,779,782,784,786,788],{"word":770,"at":683},"Sportord",{"word":772,"at":773},"Musik",0.4,{"word":775,"at":684},"grå",{"word":777,"at":778},"Word2Vec",1.3,{"word":780,"at":781},"Fast",1.6,{"word":783,"at":550},"kontext",{"word":785,"at":710},"dela",{"word":787,"at":530},"flyger",{"word":789,"at":790},"löste",4.8,{"type":29,"text":792,"animation":793},"Ett ord. Två betydelser. Äntligen separerade.","rise",{"type":29,"text":795,"animation":718,"style":719},"Vilket ord tolkar DU olika beroende på sammanhang?",{"id":797,"title":798,"hook":799,"scenes":800},"transformer-short","Den viktigaste arkitekturen inom AI","Det här är arkitekturen bakom ChatGPT",[801,803,832,834],{"type":29,"text":802,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Det här är arkitekturen bakom ChatGPT.",{"type":692,"clip":578,"text":804,"duration":805,"anchors":806},"[excited] Ord matas in från vänster. Encodern bearbetar dem — sex lager djupt, varje lager kör attention och bygger en rikare förståelse. [pauses] Se pilarna. Det är cross-attention. Decodern läser vad encodern förstod. Och genererar ny text. En token i taget. Det här är Transformern.",18,[807,810,813,815,816,819,821,823,825,827,830],{"word":808,"at":809},"matas",0.5,{"word":811,"at":812},"Encodern",1.5,{"word":814,"at":704},"lager",{"word":752,"at":710},{"word":817,"at":818},"förståelse",4.5,{"word":820,"at":747},"pilarna",{"word":822,"at":533},"cross-attention",{"word":824,"at":642},"Decodern",{"word":826,"at":555},"genererar",{"word":828,"at":829},"token",10.5,{"word":831,"at":539},"Transformern",{"type":29,"text":833,"animation":690},"Encodern läser. Decodern skriver. Attention kopplar dem.",{"type":29,"text":835,"animation":718,"style":719},"Men behöver man båda halvorna?",{"id":837,"title":838,"hook":839,"scenes":840},"one-model-short","En arkitektur. Varje uppgift.","Översätt, sammanfatta, klassificera — en modell",[841,843,862,864],{"type":29,"text":842,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Tänk om en modell kunde göra allt?",{"type":692,"clip":603,"text":844,"duration":805,"anchors":845},"[excited] Översätt — text in, översättning ut. Samma arkitektur. Sammanfatta — destillera det. Klassificera — ge det en etikett. Svara på en fråga. En Transformer. Varje språkuppgift. Googles T5 bevisade det — formulera vad som helst som text-till-text och samma modell klarar allt.",[846,848,850,852,855,857,859],{"word":847,"at":809},"Översätt",{"word":849,"at":704},"översättning",{"word":851,"at":501},"Sammanfatta",{"word":853,"at":854},"Klassificera",8.5,{"word":856,"at":539},"Svara",{"word":858,"at":607},"T5",{"word":860,"at":861},"allt",17,{"type":29,"text":863,"animation":690},"Text in. Text ut. Det är hela idén.",{"type":29,"text":865,"animation":718,"style":719},"Vilken uppgift skulle du ge den?",{"id":867,"title":626,"hook":868,"scenes":869},"bert-vs-gpt-short","Google och OpenAI satsade åt varsitt håll",[870,872,874,907,909],{"type":29,"text":871,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Google och OpenAI tittade på samma arkitektur.",{"type":29,"text":873,"animation":690},"Och satsade åt varsitt håll.",{"type":692,"clip":623,"text":875,"duration":539,"anchors":876},"[excited] Den ursprungliga Transformern — encodern till vänster, decodern till höger. Cross-attention som kopplar dem. [pauses] Sedan slet de isär den. Google tog encodern. Byggde BERT. Läser framåt OCH bakåt. Krossade varje benchmark. OpenAI tog decodern. Byggde GPT. Den kunde inte läsa lika bra... men den kunde skriva.",[877,878,880,882,884,887,890,893,896,898,901,904],{"word":831,"at":773},{"word":879,"at":699},"encodern",{"word":881,"at":778},"decodern",{"word":883,"at":704},"Cross-attention",{"word":885,"at":886},"slet",3.8,{"word":888,"at":889},"Google",4.2,{"word":891,"at":892},"BERT",5.4,{"word":894,"at":895},"bakåt",5.8,{"word":897,"at":533},"benchmark",{"word":899,"at":900},"OpenAI",6.2,{"word":902,"at":903},"GPT",6.4,{"word":905,"at":906},"skriva",6.6,{"type":29,"text":908,"animation":793},"Läsaren mot skribenten. Och skribenten vann.",{"type":29,"text":910,"animation":718,"style":719},"Del 3: Hur GPT lärde sig skriva.",{"id":912,"title":913,"hook":914,"scenes":915},"geometry-reborn-short","Se attention omforma betydelse","Geometrin från Del 1 — på steroider",[916,918,920,952,954],{"type":29,"text":917,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Minns du geometrin från Del 1? Riktningar. Avstånd. Relationer.",{"type":29,"text":919,"animation":793},"Den var frusen. En position per ord, för alltid. Attention bygger om den från grunden — för varje mening.",{"type":692,"clip":645,"text":921,"duration":922,"fps":652,"anchors":923},"[excited] Se vektorerna. Varje sfär är ett ord i den här meningen. När det första attention-lagret avfyras... skiftar geometrin. Ord som hänger ihop i det här sammanhanget dras samman. [pauses] Lager två omformar det igen. Fler kopplingar. Rymden omorganiseras kring betydelse. [pauses] Tolv lager djupt, tusentals attention-poäng avfyras, och geometrin fortsätter förändras. Ingen vet riktigt vad den lär sig. Men vad det än är — det fungerar.",28,[924,926,928,930,932,934,936,938,940,942,944,946,949],{"word":925,"at":684},"vektorerna",{"word":927,"at":478},"sfär",{"word":929,"at":550},"meningen",{"word":931,"at":747},"första",{"word":933,"at":642},"skiftar",{"word":935,"at":555},"samman",{"word":937,"at":627},"två",{"word":939,"at":539},"omorganiseras",{"word":941,"at":729},"betydelse",{"word":943,"at":805},"Tolv",{"word":945,"at":582},"tusentals",{"word":947,"at":948},"förändras",23,{"word":950,"at":951},"fungerar",26,{"type":29,"text":953,"animation":690},"Grunden från Del 1 — på steroider.",{"type":29,"text":955,"animation":956,"style":719},"Gilla & följ för mer","fade-in",{"id":958,"title":959,"hook":960,"scenes":961},"swedish-sat-short","Jag slog högskoleprovet med AI jag byggde","Jag vaknade hög efter en operation och bestämde mig för att bygga svensk AI",[962,964,966,968,971,973],{"type":29,"text":963,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] När BERT släpptes funkade mina engelska experiment plötsligt.",{"type":29,"text":965,"animation":690},"Svenska? Ingenting. Ingen hade tränat en svensk modell.",{"type":29,"text":967,"animation":793},"September 2019. Jag vaknar hög som ett hus efter en nyckelbenoperation. Jag ser ALBERT slå genomsnittsmänniskan i engelsk läsförståelse.",{"type":29,"text":969,"animation":970},"Och jag fattar ett beslut: jag tänker inte vänta på universiteten. Jag bygger det här för svenska själv.","zoom-in",{"type":29,"text":972,"animation":690},"Det gjorde jag. Och det slog genomsnittsmänniskan på högskoleprovet.",{"type":29,"text":974,"animation":718,"style":719},"Vad är ditt 'skitsamma, jag gör det själv'-ögonblick?",[976,1004,1044,1083],{"part":684,"title":977,"hook":978,"mascot":979,"scenes":980},"Kontextproblemet","Del 1 slutade med en vacker brist","/img/rock-profile.svg",[981,984,986,988,1002],{"type":29,"text":982,"animation":680,"version":681,"intensity":983,"speed":682,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":530,"networkOpacity":10,"specStrength":687},"[excited] Del 1 slutade med en vacker brist.",0.1,{"type":29,"text":985,"animation":793},"Ord som 'spela' fick en betydelse. Oavsett sammanhang. Lösningen behövde något som kunde läsa en hel mening och avgöra vilka ord som spelar störst roll.",{"type":29,"text":987,"animation":680},"Före 2017 läste modeller text ett ord i taget, i ordning — och glömde sakta vad som kom innan.",{"type":692,"clip":513,"text":989,"duration":627,"anchors":990},"[excited] Se vad som händer. Varje ord processas i ordning. Men titta — de tidigare orden bleknar redan. Suddas. När modellen når slutet av meningen är början ett spöke. Jag byggde NLP för svenska kunder och sprang in i den här väggen hela tiden. Sammanhang över längre avstånd bara försvann.",[991,992,993,994,995,996,998,1000],{"word":696,"at":683},{"word":698,"at":809},{"word":701,"at":478},{"word":703,"at":704},{"word":709,"at":550},{"word":997,"at":713},"spöke",{"word":999,"at":818},"svenska",{"word":1001,"at":533},"försvann",{"type":29,"text":1003,"animation":718},"2017 ställde ett team på Google en fråga som förändrade allt.",{"part":478,"title":715,"hook":1005,"mascot":979,"scenes":1006},"Tänk om modellen kunde se varje ord på en gång?",[1007,1009,1011,1026,1028,1042],{"type":29,"text":1008,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Tänk om modellen kunde titta på varje ord på en gång?",{"type":29,"text":1010,"animation":793},"Inte ett i taget — alla, parallellt. Varje ord får bestämma vilka andra ord som spelar störst roll.",{"type":692,"clip":535,"text":1012,"duration":729,"anchors":1013},"[excited] Varje ord drar kopplingar till varje annat ord. Se 'play'? Sjuttiotvå procent attention på 'piano.' Det knappt märker 'football.' Se nu 'game' — det drar hårt mot 'football' och 'starting.' Varje ord bygger sin egen fokuskarta av hela meningen.",[1014,1016,1019,1020,1021,1022,1023,1024,1025],{"word":1015,"at":686},"drar",{"word":1017,"at":1018},"kopplingar",0.6,{"word":736,"at":737},{"word":739,"at":478},{"word":741,"at":707},{"word":743,"at":744},{"word":746,"at":747},{"word":749,"at":750},{"word":929,"at":555},{"type":29,"text":1027,"animation":690},"Det är attention. Och det förändrar allt. 'Play' betyder äntligen något annat bredvid 'football' än bredvid 'piano.'",{"type":692,"clip":558,"text":1029,"duration":627,"anchors":1030},"[excited] Sportord klustrar till vänster. Musik till höger. Den grå pricken? Det är 'play' i Word2Vec — fast mellan två betydelser. Lägg nu till kontext. Se det dela sig. Rätt betydelse, rätt plats. Det största felet från Del 1 — löst.",[1031,1032,1033,1034,1035,1036,1037,1038,1040],{"word":770,"at":683},{"word":772,"at":773},{"word":775,"at":684},{"word":777,"at":778},{"word":780,"at":781},{"word":783,"at":550},{"word":785,"at":710},{"word":1039,"at":818},"plats",{"word":1041,"at":790},"löst",{"type":29,"text":1043,"animation":718},"De paketerade det i en komplett arkitektur. Artikeln hette 'Attention Is All You Need.'",{"part":550,"title":831,"hook":581,"mascot":979,"scenes":1045},[1046,1048,1050,1066,1068,1081],{"type":29,"text":1047,"animation":680,"version":681,"intensity":682,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] De kallade den Transformern.",{"type":29,"text":1049,"animation":793},"Två halvor. En encoder som läser och förstår indata. En decoder som genererar ny text.",{"type":692,"clip":578,"text":1051,"duration":805,"anchors":1052},"[excited] Ord matas in från vänster. Encodern bearbetar dem — sex lager djupt. Varje lager kör attention och bygger en rikare representation. [pauses] Se pilarna — det är cross-attention. Decodern läser vad encodern byggde. Och genererar ny text, en token i taget. Indata blir förståelse. Förståelse blir utdata.",[1053,1054,1055,1056,1057,1059,1060,1061,1062,1063,1064],{"word":808,"at":809},{"word":811,"at":812},{"word":814,"at":704},{"word":752,"at":744},{"word":1058,"at":818},"representation",{"word":820,"at":747},{"word":822,"at":533},{"word":824,"at":642},{"word":826,"at":555},{"word":828,"at":829},{"word":1065,"at":539},"utdata",{"type":29,"text":1067,"animation":793},"Men Transformern var inte bara en översättare. Googles T5 visade något större.",{"type":692,"clip":603,"text":1069,"duration":600,"anchors":1070},"[excited] Formulera varje uppgift som text-till-text. Översätt — text in, översättning ut. Sammanfatta. Klassificera. Svara på frågor. En arkitektur hanterar allt. Det var ritningen.",[1071,1073,1074,1075,1076,1077,1079],{"word":1072,"at":809},"uppgift",{"word":847,"at":812},{"word":849,"at":550},{"word":851,"at":533},{"word":853,"at":555},{"word":1078,"at":539},"frågor",{"word":1080,"at":607},"ritningen",{"type":29,"text":1082,"animation":718},"Men forskarna frågade snabbt: behöver vi verkligen båda halvorna?",{"part":530,"title":1084,"hook":626,"mascot":979,"scenes":1085},"Den stora splittringen",[1086,1088,1107,1109,1111,1112,1114,1116,1137,1139],{"type":29,"text":1087,"animation":680,"version":681,"intensity":683,"speed":683,"audioReactivity":684,"specGlow":685,"hueRange":10,"ribbonScale":686,"clearCenter":684,"metallic":684,"ribbonCount":533,"networkOpacity":10,"specStrength":687},"[excited] Forskningsvärlden slet isär Transformern.",{"type":692,"clip":623,"text":1089,"duration":729,"anchors":1090},"[excited] Den ursprungliga Transformern — encodern till vänster, decodern till höger. Cross-attention som kopplar de två halvorna. [pauses] Sedan slet de isär den. Google tog encodern och byggde BERT. Den läser framåt OCH bakåt — dubbelriktad. De tränade den genom att maskera ord och tvinga den gissa. BERT krossade varje läsförståelserekord över en natt. [pauses] OpenAI tog decodern. Byggde GPT. Den kunde inte läsa lika bra — förlorade varje benchmark. Men den kunde göra något BERT inte kunde. Den kunde skriva.",[1091,1092,1093,1094,1095,1096,1097,1098,1100,1102,1104,1105,1106],{"word":831,"at":773},{"word":879,"at":699},{"word":881,"at":778},{"word":883,"at":704},{"word":885,"at":886},{"word":888,"at":889},{"word":891,"at":892},{"word":894,"at":1099},5.6,{"word":1101,"at":895},"maskera",{"word":1103,"at":533},"krossade",{"word":899,"at":900},{"word":902,"at":903},{"word":905,"at":906},{"type":29,"text":1108,"animation":793},"När BERT släpptes funkade mina engelska experiment plötsligt. Svenska? Ingenting. Ingen hade tränat en svensk modell.",{"type":29,"text":1110,"animation":680},"September 2019. Jag vaknar hög som ett hus efter en nyckelbenoperation. ALBERT slår just genomsnittsmänniskan i engelsk läsförståelse. Och jag fattar ett beslut — jag tänker inte vänta på universiteten. Jag bygger det här för svenska själv.",{"type":29,"text":972,"animation":690},{"type":29,"text":1113,"animation":793},"Minns du geometrin från Del 1? Riktningar kodade relationer. Avstånd kodade likhet. Men den geometrin var frusen — en position per ord, för alltid.",{"type":29,"text":1115,"animation":970},"Attention bygger om den från grunden, för varje mening.",{"type":692,"clip":645,"text":1117,"duration":651,"fps":652,"anchors":1118},"[excited] Se vektorerna. Varje sfär är ett ord i den här meningen. När det första attention-lagret avfyras skiftar geometrin. Ord som hänger ihop i det här sammanhanget dras samman. Lager två omformar det igen. Fler kopplingar. Rymden omorganiseras kring betydelse. [pauses] Lager efter lager — tusentals attention-poäng som omformar kartan. Hittar den grammatik? Betydelse? Något mönster ingen människa skulle namnge? Tolv lager djupt och geometrin fortsätter förändras. Ingen vet riktigt vad den lär sig där inne. Men vad det än är — det fungerar.",[1119,1120,1121,1122,1123,1124,1125,1126,1127,1128,1129,1131,1133,1135],{"word":925,"at":684},{"word":927,"at":478},{"word":929,"at":550},{"word":931,"at":747},{"word":933,"at":642},{"word":935,"at":555},{"word":937,"at":627},{"word":939,"at":539},{"word":941,"at":729},{"word":945,"at":805},{"word":1130,"at":582},"grammatik",{"word":943,"at":1132},22,{"word":947,"at":1134},24,{"word":950,"at":1136},27,{"type":29,"text":1138,"animation":793},"OpenAI hade en decoder som kunde skriva. Och en plan för vad de skulle göra med den.",{"type":29,"text":1140,"animation":718,"style":719},"Nästa: Hur man lär en sten att skriva.",[1142,1144,1146,1148,1150],{"text":1143,"clip":535},"Före 2017 läste AI ord ett i taget — och glömde. I slutet av en mening var början ett spöke.\n\nSedan frågade Google: tänk om varje ord kunde se varje annat ord på en gång?\n\nDen idén hette Attention. Den bröt AI vidöppen.",{"text":1145,"clip":558},"Minns du bristen från Del 1? 'Play football' och 'play piano' — samma punkt, ingen kontext.\n\nAttention fixade det. Varje ord drar viktade kopplingar till varje annat ord. 'Play' nära 'piano' avfyrar 72% attention på musik. Nära 'football'? Helt andra kopplingar.",{"text":1147,"clip":578},"De paketerade Attention i Transformern — encodern läser, decodern skriver, cross-attention kopplar dem.\n\nGoogles T5 visade att VARJE språkuppgift (översätt, sammanfatta, klassificera) fungerar som text-till-text genom en arkitektur.",{"text":1149,"clip":623},"Sedan slet de isär den.\n\nGoogle tog encodern → BERT. Läser framåt OCH bakåt. Krossade varje läsförståelserekord.\n\nOpenAI tog decodern → GPT. Kunde inte läsa lika bra — men den kunde skriva.",{"text":1151},"Jag har animerat allt detta — attention-nät, transformer-flöden, BERT som omformar vektorrymden lager för lager.\n\nDe interaktiva versionerna finns på min sajt. Del 3 handlar om hur GPT lärde sig skriva.",{"text":1153,"videoClip":623},"Före 2017 hade språkmodeller amnesi. De läste ett ord i taget och glömde vad som kom innan.\n\nSedan publicerade ett team på Google \"Attention Is All You Need\" — och bröt AI vidöppen.\n\nIdén: låt varje ord se varje annat ord samtidigt. Varje ord bestämmer vilka andra ord som spelar störst roll. Den mekanismen — Attention — är grunden i varje modern LLM.\n\nDe byggde Transformern: encodern läser, decodern skriver, cross-attention kopplar dem. Google visade att formulera vilken uppgift som helst som text-till-text genom denna arkitektur fungerar för översättning, sammanfattning, klassificering — allt.\n\nSedan slet forskningsvärlden isär den. Google tog encodern (BERT), OpenAI tog decodern (GPT).\n\nBERT krossade läsförståelserekorden. När den släpptes funkade mina engelska experiment plötsligt. Svenska? Ingenting. Så jag byggde det själv — och det slog genomsnittsmänniskan på högskoleprovet.\n\nGPT kunde inte läsa lika bra. Men den kunde skriva. Och det förändrade allt.\n",{"text":1155},"Du vet hur du kan hoppa tillbaka i en lång text och kolla något viktigt? AI kunde inte göra det förrän 2017. Den läste ett ord i taget och bara... glömde de tidigare. Sedan hade Google en idé: tänk om AI:n kunde titta på ALLA ord på en gång? Den idén — Attention — är anledningen till att ChatGPT finns idag. De slet isär uppfinningen: ena halvan blev BERT (Googles läsare), andra halvan blev GPT (OpenAI:s skribent). Skribenten vann.",{"thread":1157},[1158,1160,1162,1164],{"text":1159},"Jag har animerat hur AI faktiskt fungerar — Del 2 handlar om uppfinningen som gjorde allt möjligt.\n\nFöre Attention läste modeller ett ord i taget och glömde vad som kom innan. Långa meningar? Början var ett spöke i slutet.",{"text":1161,"clip":535},"Lösningen var elegant enkel: låt varje ord se varje annat ord. Varje ord bestämmer vad som är relevant. 'Play' nära 'piano' riktar attention mot musikord. Nära 'football'? Helt andra kopplingar.\n\nDen mekanismen heter Attention.",{"text":1163,"clip":623},"De paketerade det i Transformern — sedan slet forskningsvärlden isär den.\n\nGoogle tog encodern → BERT (läser allt på en gång, dubbelriktad)\nOpenAI tog decodern → GPT (genererar text, bara framåt)\n\nBERT krossade läsning. GPT lärde sig skriva.",{"text":1165},"Jag har animerat allt: attention-nät, transformer-dataflöden, BERT som omformar vektorrymden genom 12 lager i realtid. De interaktiva versionerna finns på min sajt.\n\nDel 3: Hur GPT lärde sig skriva.",{"twitter":1167,"bluesky":1168,"linkedin":1169,"tiktok":1170,"youtube":1171,"instagram":1172,"facebook":1173},"BERT läser. GPT skriver. Vilken halva visade sig vara viktigast? Och varför?","Samma arkitektur delad i läsaren och skribenten. Ingen visste vilken halva som skulle vinna. Vad var ditt 'aha, det är därför GPT spelar roll'-ögonblick?","Transformern är grunden i varje modern LLM. Vilket koncept klickade först för dig efter att du sett det visualiserat?","Följ för fler AI-förklaringar som faktiskt ger mening.","Prenumerera om du vill förstå hur AI faktiskt fungerar. Del 3 handlar om GPT.","Vad ska jag animera härnäst? Skriv i kommentarerna.","Fattade du? Vad skulle du förklara annorlunda?",{"short":955,"long":1175},"Gilla & prenumerera för mer",{"default":1177,"tiktok":1181,"instagram":1185},[1178,1179,1180,715,506,891,902],"AI","MachineLearning","Transformers",[1178,1179,1182,1183,1180,1184],"LärDigPåTikTok","TechTok","ChatGPT",[1178,1180,715,891,902,1186,1187],"DeepLearning","TechUtbildning",{"tags":1189,"categoryId":1191},[1178,1180,715,891,902,1190,506],"machine learning","27",{"type":21,"children":1193,"toc":1452},[1194,1199,1210,1213,1219,1224,1227,1232,1244,1247,1258,1261,1286,1289,1294,1314,1317,1322,1327,1331,1341,1344,1350,1355,1358,1374,1387,1400,1412,1415,1420,1436],{"type":24,"tag":55,"props":1195,"children":1197},{"id":1196},"kontextproblemet",[1198],{"type":29,"value":977},{"type":24,"tag":25,"props":1200,"children":1201},{},[1202,1204,1208],{"type":29,"value":1203},"Del 1 slutade med en brist: ord som \"spela\" fick en enda betydelse, oavsett sammanhang. Lösningen behövde något som kunde läsa en hel mening och avgöra vilka ord som spelar störst roll. Den idén hade ett namn: ",{"type":24,"tag":109,"props":1205,"children":1206},{},[1207],{"type":29,"value":752},{"type":29,"value":1209},".",{"type":24,"tag":51,"props":1211,"children":1212},{},[],{"type":24,"tag":55,"props":1214,"children":1216},{"id":1215},"attention-is-all-you-need",[1217],{"type":29,"value":1218},"Attention Is All You Need",{"type":24,"tag":25,"props":1220,"children":1221},{},[1222],{"type":29,"value":1223},"Före 2017 läste modeller text ett ord i taget, i ordning — och glömde sakta vad som kom innan. Vid slutet av en lång mening var början ett spöke.",{"type":24,"tag":513,"props":1225,"children":1226},{},[],{"type":24,"tag":25,"props":1228,"children":1229},{},[1230],{"type":29,"value":1231},"Jag byggde NLP för svenska kunder på Almvy och sprang in i den här väggen hela tiden. Modellerna kunde fokusera på närliggande ord, men sammanhang över längre avstånd bara försvann.",{"type":24,"tag":25,"props":1233,"children":1234},{},[1235,1237,1242],{"type":29,"value":1236},"2017 frågade ett team på Google: tänk om modellen kunde titta på ",{"type":24,"tag":193,"props":1238,"children":1239},{},[1240],{"type":29,"value":1241},"alla",{"type":29,"value":1243}," ord på en gång? Inte ett i taget — alla, parallellt. Varje ord får bestämma vilka andra ord som spelar störst roll.",{"type":24,"tag":535,"props":1245,"children":1246},{},[],{"type":24,"tag":25,"props":1248,"children":1249},{},[1250,1252,1256],{"type":29,"value":1251},"Det är ",{"type":24,"tag":109,"props":1253,"children":1254},{},[1255],{"type":29,"value":752},{"type":29,"value":1257},". Och det förändrar allt — \"spela\" betyder äntligen något annat bredvid \"fotboll\" än bredvid \"piano.\"",{"type":24,"tag":558,"props":1259,"children":1260},{},[],{"type":24,"tag":25,"props":1262,"children":1263},{},[1264,1266,1270,1272,1277,1279,1284],{"type":29,"value":1265},"De paketerade det i en komplett arkitektur kallad ",{"type":24,"tag":109,"props":1267,"children":1268},{},[1269],{"type":29,"value":831},{"type":29,"value":1271},". Den hade två halvor: en ",{"type":24,"tag":109,"props":1273,"children":1274},{},[1275],{"type":29,"value":1276},"Encoder",{"type":29,"value":1278}," som läser och förstår indata, och en ",{"type":24,"tag":109,"props":1280,"children":1281},{},[1282],{"type":29,"value":1283},"Decoder",{"type":29,"value":1285}," som genererar ny text.",{"type":24,"tag":51,"props":1287,"children":1288},{},[],{"type":24,"tag":55,"props":1290,"children":1292},{"id":1291},"transformern",[1293],{"type":29,"value":831},{"type":24,"tag":25,"props":1295,"children":1296},{},[1297,1299,1303,1304,1308,1309,1313],{"type":29,"value":1298},"Googles artikel 2017 paketerade attention i en komplett arkitektur kallad ",{"type":24,"tag":109,"props":1300,"children":1301},{},[1302],{"type":29,"value":831},{"type":29,"value":1271},{"type":24,"tag":109,"props":1305,"children":1306},{},[1307],{"type":29,"value":1276},{"type":29,"value":1278},{"type":24,"tag":109,"props":1310,"children":1311},{},[1312],{"type":29,"value":1283},{"type":29,"value":1285},{"type":24,"tag":578,"props":1315,"children":1316},{},[],{"type":24,"tag":25,"props":1318,"children":1319},{},[1320],{"type":29,"value":1321},"Encodern bearbetar hela inmatningen genom flera lager av attention och bygger en djupare representation vid varje steg. Decodern använder sina egna attention-lager för att generera utdata en token i taget, samtidigt som den riktar attention mot encoderns representation — kopplar det den skriver till det den läst.",{"type":24,"tag":25,"props":1323,"children":1324},{},[1325],{"type":29,"value":1326},"Men Transformern var inte bara en översättare. Googles T5 visade att om man formulerar varje NLP-uppgift som text-till-text — översätt det här, sammanfatta det där, klassificera det här — så klarar en och samma arkitektur allt.",{"type":24,"tag":1328,"props":1329,"children":1330},"text-to-text-demo",{},[],{"type":24,"tag":25,"props":1332,"children":1333},{},[1334,1336],{"type":29,"value":1335},"Det här var ritningen. Men forskarna frågade snabbt: ",{"type":24,"tag":193,"props":1337,"children":1338},{},[1339],{"type":29,"value":1340},"behöver vi verkligen båda halvorna?",{"type":24,"tag":51,"props":1342,"children":1343},{},[],{"type":24,"tag":55,"props":1345,"children":1347},{"id":1346},"den-stora-splittringen-läsare-vs-skribenter",[1348],{"type":29,"value":1349},"Den stora splittringen: Läsare vs Skribenter",{"type":24,"tag":25,"props":1351,"children":1352},{},[1353],{"type":29,"value":1354},"Forskningsvärlden slet isär Transformern.",{"type":24,"tag":623,"props":1356,"children":1357},{},[],{"type":24,"tag":25,"props":1359,"children":1360},{},[1361,1366,1368,1372],{"type":24,"tag":109,"props":1362,"children":1363},{},[1364],{"type":29,"value":1365},"Google tog Encodern och byggde BERT.",{"type":29,"value":1367}," Encoders är dubbelriktade — de läser framåt ",{"type":24,"tag":193,"props":1369,"children":1370},{},[1371],{"type":29,"value":319},{"type":29,"value":1373}," bakåt samtidigt. Man tränar dem genom att maskera ord i en mening och tvinga modellen att gissa vad som saknas. Detta gav BERT en djup förståelse av språkstruktur, och den krossade varje läsförståelserekord över en natt.",{"type":24,"tag":25,"props":1375,"children":1376},{},[1377,1379,1386],{"type":29,"value":1378},"När BERT släpptes funkade mina engelska experiment plötsligt. Svenska? Ingenting — ingen hade tränat en svensk modell. Sedan i september 2019 vaknade jag hög som ett hus efter en nyckelbenoperation, såg ALBERT slå genomsnittsmänniskan i engelsk läsförståelse, och fattade ett beslut: jag tänker inte vänta på universiteten. Jag bygger det här för svenska själv. Det gjorde jag — och ",{"type":24,"tag":1380,"props":1381,"children":1383},"a",{"href":1382},"/hp",[1384],{"type":29,"value":1385},"det slog genomsnittsmänniskan på högskoleprovet",{"type":29,"value":1209},{"type":24,"tag":25,"props":1388,"children":1389},{},[1390,1392,1398],{"type":29,"value":1391},"Minns du geometrin från ",{"type":24,"tag":1380,"props":1393,"children":1395},{"href":1394},"/sv/articles/hur-man-lar-en-sten-ord",[1396],{"type":29,"value":1397},"Del 1",{"type":29,"value":1399},"? Riktning kodade relationer — Man till Kvinna var samma pil som Kung till Drottning. Avstånd kodade likhet. Men den geometrin var frusen. Varje ord fick en position, för alltid.",{"type":24,"tag":25,"props":1401,"children":1402},{},[1403,1405,1410],{"type":29,"value":1404},"Attention spränger det vidöppet. Samma geometri — riktningar, avstånd, relationer — men nu ",{"type":24,"tag":193,"props":1406,"children":1407},{},[1408],{"type":29,"value":1409},"byggs den om från grunden för varje mening",{"type":29,"value":1411},". Varje lager av attention omformar rymden: flyttar ord närmare varandra när de hänger ihop i just det här sammanhanget, skjuter isär dem när de inte gör det. Lager efter lager, tusentals attention-poäng som ritar om kartan. Geometrin från Del 1 var grunden. Det här är grunden på steroider.",{"type":24,"tag":645,"props":1413,"children":1414},{"mode":648},[],{"type":24,"tag":25,"props":1416,"children":1417},{},[1418],{"type":29,"value":1419},"Titta på vektorerna. Varje lager formar om rymden — ord som hänger ihop dras samman, ord som inte gör det driver isär. Hittar den grammatik? Betydelse? Något mönster ingen människa skulle kunna namnge? Tolv lager djupt, tusentals attention-poäng som avfyras, och geometrin förändras hela tiden. Ingen vet riktigt vad den lär sig där inne. Men vad det än är — det fungerar.",{"type":24,"tag":25,"props":1421,"children":1422},{},[1423,1428,1430,1434],{"type":24,"tag":109,"props":1424,"children":1425},{},[1426],{"type":29,"value":1427},"OpenAI tog den andra halvan.",{"type":29,"value":1429}," De slet ut decodern, kastade encodern, och byggde GPT. Den kunde inte läsa lika bra som BERT — den förlorade varje benchmark. Men decodern kunde göra något encodern inte kunde: ",{"type":24,"tag":193,"props":1431,"children":1432},{},[1433],{"type":29,"value":905},{"type":29,"value":1435},". Och OpenAI hade en plan för det.",{"type":24,"tag":25,"props":1437,"children":1438},{},[1439],{"type":24,"tag":109,"props":1440,"children":1441},{},[1442,1444,1450],{"type":29,"value":1443},"Läs ",{"type":24,"tag":1380,"props":1445,"children":1447},{"href":1446},"/sv/articles/hur-man-lar-en-sten-att-skriva",[1448],{"type":29,"value":1449},"Del 3: Hur man lär en sten att skriva",{"type":29,"value":1451}," →",{"title":7,"searchDepth":478,"depth":478,"links":1453},[1454,1455,1456,1457],{"id":1196,"depth":478,"text":977},{"id":1215,"depth":478,"text":1218},{"id":1291,"depth":478,"text":831},{"id":1346,"depth":478,"text":1349},"content:article:sv:hur-man-lar-en-sten-att-forsta.md","article/sv/hur-man-lar-en-sten-att-forsta.md","article/sv/hur-man-lar-en-sten-att-forsta",{"_path":1462,"_dir":5,"_draft":6,"_partial":6,"_locale":7,"title":1463,"description":1464,"order":517,"titleClass":502,"cardClass":502,"translationSlug":1465,"img":1466,"date":505,"tag":506,"featured":6,"series":507,"seriesPart":501,"seriesTitle":508,"author":1467,"body":1468,"_type":489,"_id":1844,"_source":491,"_file":1845,"_stem":1846,"_extension":494},"/article/sv/hur-man-lar-en-sten-att-se","Hur man lär en sten att se","Från pixlar till poesi — hur en arkitektur lärde sig se, höra och drömma.","how-to-teach-a-rock-to-see","/img/teach-rock-see-hero.svg",{"name":17,"bio":18,"authorImage":19},{"type":21,"children":1469,"toc":1836},[1470,1476,1487,1497,1535,1539,1551,1554,1560,1576,1581,1591,1595,1600,1604,1607,1613,1643,1647,1658,1661,1667,1686,1690,1702,1719,1722,1728,1739,1743,1775,1778,1784,1789,1805,1817,1831],{"type":24,"tag":55,"props":1471,"children":1473},{"id":1472},"det-universella-språket",[1474],{"type":29,"value":1475},"Det universella språket",{"type":24,"tag":25,"props":1477,"children":1478},{},[1479,1485],{"type":24,"tag":1380,"props":1480,"children":1482},{"href":1481},"/sv/articles/hur-man-odlar-en-sten",[1483],{"type":29,"value":1484},"Del 4",{"type":29,"value":1486}," avslutades med en tyst insikt. Varje Transformer — encoder, decoder, text-till-text — talar samma språk: tokens. Och en token är bara ett tal.",{"type":24,"tag":25,"props":1488,"children":1489},{},[1490,1492],{"type":29,"value":1491},"Ingenting i matematiken kräver att det talet representerar ett ord. Det kan representera en pixel. Ett ljud. En videobildruta. Forskarna tittade på Transformern och frågade: ",{"type":24,"tag":193,"props":1493,"children":1494},{},[1495],{"type":29,"value":1496},"vad händer om vi bara... matar in något annat?",{"type":24,"tag":25,"props":1498,"children":1499},{},[1500,1502,1507,1509,1514,1516,1521,1522,1527,1528,1533],{"type":29,"value":1501},"Men vad betyder \"token\" egentligen för text? Datorer ser inte ord som vi gör. De bryter upp text i ",{"type":24,"tag":109,"props":1503,"children":1504},{},[1505],{"type":29,"value":1506},"tokens",{"type":29,"value":1508}," — bitar som kan vara hela ord, orddelar eller enstaka tecken. Ordet \"olyckligaste\" kan bli fem delar: ",{"type":24,"tag":193,"props":1510,"children":1511},{},[1512],{"type":29,"value":1513},"\"o\"",{"type":29,"value":1515},", ",{"type":24,"tag":193,"props":1517,"children":1518},{},[1519],{"type":29,"value":1520},"\"lyck\"",{"type":29,"value":1515},{"type":24,"tag":193,"props":1523,"children":1524},{},[1525],{"type":29,"value":1526},"\"lig\"",{"type":29,"value":1515},{"type":24,"tag":193,"props":1529,"children":1530},{},[1531],{"type":29,"value":1532},"\"aste\"",{"type":29,"value":1534},". Vanliga ord som \"den\" förblir hela. Ovanliga ord delas upp. Olika modeller delar upp text på olika sätt — två modeller som tittar på samma mening kan producera helt olika tokens.",{"type":24,"tag":1536,"props":1537,"children":1538},"tokenizer-demo",{},[],{"type":24,"tag":25,"props":1540,"children":1541},{},[1542,1544,1549],{"type":29,"value":1543},"Det är textsidan. Men Transformern bryr sig inte om ",{"type":24,"tag":193,"props":1545,"children":1546},{},[1547],{"type":29,"value":1548},"var",{"type":29,"value":1550}," siffrorna kommer ifrån.",{"type":24,"tag":51,"props":1552,"children":1553},{},[],{"type":24,"tag":55,"props":1555,"children":1557},{"id":1556},"att-lära-en-sten-att-se",[1558],{"type":29,"value":1559},"Att lära en sten att se",{"type":24,"tag":25,"props":1561,"children":1562},{},[1563,1565,1569,1571],{"type":29,"value":1564},"Svaret visade sig vara nästan pinsamt enkelt. Ta ett foto. Dela upp det i ett rutnät av 16×16 rutor. Platta ut varje ruta till en vektor — precis som en ordvektor från ",{"type":24,"tag":1380,"props":1566,"children":1567},{"href":1394},[1568],{"type":29,"value":1397},{"type":29,"value":1570},". Mata in sekvensen i en Transformer. ",{"type":24,"tag":1572,"props":1573,"children":1575},"source-ref",{"n":1574},"1",[],{"type":24,"tag":25,"props":1577,"children":1578},{},[1579],{"type":29,"value":1580},"Samma attention-mekanism från Del 2. Samma arkitektur. Men nu, istället för att ord uppmärksammar ord, uppmärksammar bildrutor andra bildrutor. Kattens öra lär sig att morrhåren spelar roll. Himlen lär sig att ignorera marken.",{"type":24,"tag":25,"props":1582,"children":1583},{},[1584,1586],{"type":29,"value":1585},"Artikelns titel sa allt: ",{"type":24,"tag":193,"props":1587,"children":1588},{},[1589],{"type":29,"value":1590},"\"An Image is Worth 16×16 Words.\"",{"type":24,"tag":1592,"props":1593,"children":1594},"image-to-tokens",{},[],{"type":24,"tag":25,"props":1596,"children":1597},{},[1598],{"type":29,"value":1599},"Och det fungerade. Inte sådär-fungerade — det matchade eller slog de bästa bildklassificerarna i världen, modeller som specialbyggts för datorseende under ett decennium. Transformern brydde sig inte om att det inte var ord. Tokens är tokens.",{"type":24,"tag":1601,"props":1602,"children":1603},"vi-t-vector-space",{},[],{"type":24,"tag":51,"props":1605,"children":1606},{},[],{"type":24,"tag":55,"props":1608,"children":1610},{"id":1609},"att-koppla-ihop-ögon-och-öron",[1611],{"type":29,"value":1612},"Att koppla ihop ögon och öron",{"type":24,"tag":25,"props":1614,"children":1615},{},[1616,1618,1623,1625,1629,1631,1635,1637,1641],{"type":29,"value":1617},"Om bilder, ljud och text alla bara är sekvenser av tal, kunde man placera dem i ",{"type":24,"tag":193,"props":1619,"children":1620},{},[1621],{"type":29,"value":1622},"samma",{"type":29,"value":1624}," rymd? OpenAI:s CLIP ",{"type":24,"tag":1572,"props":1626,"children":1628},{"n":1627},"2",[],{"type":29,"value":1630}," tränade två encoders — en för bilder, en för text — och tryckte matchande par nära varandra över 400 miljoner bild-textpar. Resultatet var vektorrummet från ",{"type":24,"tag":1380,"props":1632,"children":1633},{"href":1394},[1634],{"type":29,"value":1397},{"type":29,"value":1636}," — men nu levde ord ",{"type":24,"tag":193,"props":1638,"children":1639},{},[1640],{"type":29,"value":319},{"type":29,"value":1642}," bilder i det.",{"type":24,"tag":1644,"props":1645,"children":1646},"clip-vector-space",{},[],{"type":24,"tag":25,"props":1648,"children":1649},{},[1650,1652,1656],{"type":29,"value":1651},"Whisper ",{"type":24,"tag":1572,"props":1653,"children":1655},{"n":1654},"4",[],{"type":29,"value":1657}," tog det längre: rikta encoder-decoder-Transformern mot spektrogram och låt den \"översätta\" tal till text. Samma arkitektur som översatte engelska till franska, nu översatte den ljud till ord.",{"type":24,"tag":51,"props":1659,"children":1660},{},[],{"type":24,"tag":55,"props":1662,"children":1664},{"id":1663},"att-titta-in-i-rymden",[1665],{"type":29,"value":1666},"Att titta in i rymden",{"type":24,"tag":25,"props":1668,"children":1669},{},[1670,1672,1677,1679,1684],{"type":29,"value":1671},"Med bilder och text i samma rymd kunde vi göra något nytt: titta ",{"type":24,"tag":193,"props":1673,"children":1674},{},[1675],{"type":29,"value":1676},"mellan",{"type":29,"value":1678}," koncept. Vad finns mitt emellan \"lemon,\" \"dwarf\" och en bild av en robot? 2021 försökte mitt team på Labelf ta reda på det. Vi kopplade ihop BigGAN — en bildgenerator från 2018 — med CLIP. CLIP väljer en position i det multimodala rummet baserat på prompten \"lemon dwarf robot,\" och BigGAN försöker måla vad den positionen ser ut som. Bildruta för bildruta, CLIP styr, BigGAN renderar. (BigGAN är gammal och en medioker målare — bilderna är en ",{"type":24,"tag":193,"props":1680,"children":1681},{},[1682],{"type":29,"value":1683},"approximation",{"type":29,"value":1685}," av vad rymden innehåller, inte en perfekt rendering. Häng inte upp dig på artefakterna.)",{"type":24,"tag":1687,"props":1688,"children":1689},"clip-dream-steering",{},[],{"type":24,"tag":25,"props":1691,"children":1692},{},[1693,1695,1700],{"type":29,"value":1694},"Men titta förbi BigGANs begränsningar och se skalorna: lemon-skalan, dwarf-skalan, robot-skalan. Sfären går aldrig helt till ett enda koncept — den behåller alltid spår av de andra. Man tittar på rymdens geometri i rörelse. Alla mönster, alla kopplingar mellan koncept — det är vad som lever i den här geometrin. Och för första gången kunde vi faktiskt ",{"type":24,"tag":193,"props":1696,"children":1697},{},[1698],{"type":29,"value":1699},"se",{"type":29,"value":1701}," det.",{"type":24,"tag":25,"props":1703,"children":1704},{},[1705,1707,1711,1713,1717],{"type":29,"value":1706},"DALL-E ",{"type":24,"tag":1572,"props":1708,"children":1710},{"n":1709},"3",[],{"type":29,"value":1712}," gick längre: text in, bild ut. Stable Diffusion ",{"type":24,"tag":1572,"props":1714,"children":1716},{"n":1715},"5",[],{"type":29,"value":1718}," gjorde det till öppen källkod och tillräckligt snabbt för att köra på en laptop. Transformern läste inte bara världen. Den ritade den.",{"type":24,"tag":51,"props":1720,"children":1721},{},[],{"type":24,"tag":55,"props":1723,"children":1725},{"id":1724},"att-lära-en-sten-att-höra",[1726],{"type":29,"value":1727},"Att lära en sten att höra",{"type":24,"tag":25,"props":1729,"children":1730},{},[1731,1733,1737],{"type":29,"value":1732},"Ljud är bara ett rutnät av frekvenser. Omvandla det till ett mel-spektrogram — en värmekarta av tid mot frekvens — och det ser ut som en bild. Audio Spectrogram Transformer ",{"type":24,"tag":1572,"props":1734,"children":1736},{"n":1735},"6",[],{"type":29,"value":1738}," gjorde exakt det som ViT gjorde: dela upp det i 16×16 rutor och mata in dem i en Transformer. Samma arkitektur, inga ljudspecifika trick. Tokens är tokens.",{"type":24,"tag":1740,"props":1741,"children":1742},"audio-to-tokens",{},[],{"type":24,"tag":25,"props":1744,"children":1745},{},[1746,1748,1752,1754,1759,1761,1766,1768,1773],{"type":29,"value":1747},"Metas MusicGen ",{"type":24,"tag":1572,"props":1749,"children":1751},{"n":1750},"7",[],{"type":29,"value":1753}," vände på det: istället för en encoder som ",{"type":24,"tag":193,"props":1755,"children":1756},{},[1757],{"type":29,"value":1758},"läser",{"type":29,"value":1760}," ljud-tokens, ",{"type":24,"tag":193,"props":1762,"children":1763},{},[1764],{"type":29,"value":1765},"skriver",{"type":29,"value":1767}," en decoder dem — förutsäger nästa autoregressivt, precis som GPT förutsäger nästa ord. Samma arkitektur som ",{"type":24,"tag":1380,"props":1769,"children":1770},{"href":1446},[1771],{"type":29,"value":1772},"Del 3",{"type":29,"value":1774},". Andra tokens.",{"type":24,"tag":51,"props":1776,"children":1777},{},[],{"type":24,"tag":55,"props":1779,"children":1781},{"id":1780},"en-arkitektur-varje-sinne",[1782],{"type":29,"value":1783},"En arkitektur, varje sinne",{"type":24,"tag":25,"props":1785,"children":1786},{},[1787],{"type":29,"value":1788},"År 2022 kunde samma Transformer-arkitektur — oförändrad sedan 2017 — läsa text, klassificera bilder, transkribera tal och generera konst. Ingen ritade om den. Man ändrade bara vad tokens representerade. Med multimodalitet löst och skalningslagar i full blom fanns inga fundamentala genombrott kvar att vänta på.",{"type":24,"tag":1790,"props":1791,"children":1792},"impact-statement",{},[1793],{"type":24,"tag":25,"props":1794,"children":1795},{},[1796,1798,1803],{"type":29,"value":1797},"Det var ett spel om ",{"type":24,"tag":109,"props":1799,"children":1800},{},[1801],{"type":29,"value":1802},"tid, styrning, data och finansiering",{"type":29,"value":1804}," nu.",{"type":24,"tag":25,"props":1806,"children":1807},{},[1808,1810,1815],{"type":29,"value":1809},"Men stenen visste fortfarande inte att du pratade med den. Vad händer när någon lär den att ",{"type":24,"tag":193,"props":1811,"children":1812},{},[1813],{"type":29,"value":1814},"lyssna",{"type":29,"value":1816},"?",{"type":24,"tag":25,"props":1818,"children":1819},{},[1820],{"type":24,"tag":109,"props":1821,"children":1822},{},[1823,1824,1830],{"type":29,"value":1443},{"type":24,"tag":1380,"props":1825,"children":1827},{"href":1826},"/sv/articles/hur-man-lar-en-sten-att-prata",[1828],{"type":29,"value":1829},"Del 6: Hur man lär en sten att prata",{"type":29,"value":1451},{"type":24,"tag":1832,"props":1833,"children":1835},"sources",{":sources":1834},"[{\"n\":1,\"author\":\"Dosovitskiy, A. et al. — Google Research\",\"title\":\"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT)\",\"url\":\"https://arxiv.org/abs/2010.11929\"},{\"n\":2,\"author\":\"Radford, A. et al. — OpenAI\",\"title\":\"Learning Transferable Visual Models From Natural Language Supervision (CLIP)\",\"url\":\"https://arxiv.org/abs/2103.00020\"},{\"n\":3,\"author\":\"Ramesh, A. et al. — OpenAI\",\"title\":\"Zero-Shot Text-to-Image Generation (DALL-E)\",\"url\":\"https://arxiv.org/abs/2102.12092\"},{\"n\":4,\"author\":\"Radford, A. et al. — OpenAI\",\"title\":\"Robust Speech Recognition via Large-Scale Weak Supervision (Whisper)\",\"url\":\"https://arxiv.org/abs/2212.04356\"},{\"n\":5,\"author\":\"Rombach, R. et al. — CompVis / Stability AI\",\"title\":\"High-Resolution Image Synthesis with Latent Diffusion Models (Stable Diffusion)\",\"url\":\"https://arxiv.org/abs/2112.10752\"},{\"n\":6,\"author\":\"Gong, Y., Chung, Y.-A. & Glass, J. — MIT CSAIL\",\"title\":\"AST: Audio Spectrogram Transformer (Interspeech 2021)\",\"url\":\"https://arxiv.org/abs/2104.01778\"},{\"n\":7,\"author\":\"Copet, J. et al. — Meta AI\",\"title\":\"Simple and Controllable Music Generation (MusicGen)\",\"url\":\"https://arxiv.org/abs/2306.05284\"}]",[],{"title":7,"searchDepth":478,"depth":478,"links":1837},[1838,1839,1840,1841,1842,1843],{"id":1472,"depth":478,"text":1475},{"id":1556,"depth":478,"text":1559},{"id":1609,"depth":478,"text":1612},{"id":1663,"depth":478,"text":1666},{"id":1724,"depth":478,"text":1727},{"id":1780,"depth":478,"text":1783},"content:article:sv:hur-man-lar-en-sten-att-se.md","article/sv/hur-man-lar-en-sten-att-se.md","article/sv/hur-man-lar-en-sten-att-se",{"_path":1848,"_dir":5,"_draft":6,"_partial":6,"_locale":7,"title":1849,"description":1850,"order":533,"titleClass":502,"cardClass":502,"translationSlug":1851,"img":1852,"date":505,"tag":506,"featured":6,"series":507,"seriesPart":550,"seriesTitle":508,"author":1853,"body":1854,"_type":489,"_id":2332,"_source":491,"_file":2333,"_stem":2334,"_extension":494},"/article/sv/hur-man-lar-en-sten-att-skriva","Hur man lär en sten att skriva","GPT-3, hallucinationer och konsten att viska till en kalkylator — hur den oändliga autocompletaren förändrade allt.","how-to-teach-a-rock-to-write","/img/teach-rock-write-hero.svg",{"name":17,"bio":18,"authorImage":19},{"type":21,"children":1855,"toc":2323},[1856,1862,1867,1872,1882,1886,1891,1908,1924,1929,1932,1938,1943,1957,1960,1966,1976,1988,1992,2004,2023,2026,2032,2072,2076,2079,2085,2097,2107,2112,2122,2132,2136,2146,2150,2160,2164,2176,2180,2183,2189,2201,2206,2224,2228,2240,2243,2249,2254,2274,2278,2295,2306,2319],{"type":24,"tag":55,"props":1857,"children":1859},{"id":1858},"den-andra-halvan",[1860],{"type":29,"value":1861},"Den andra halvan",{"type":24,"tag":25,"props":1863,"children":1864},{},[1865],{"type":29,"value":1866},"Del 2 slutade med encodern — BERT, läsaren. Google tog ena halvan av Transformern och byggde den bästa maskin för läsförståelse världen någonsin sett.",{"type":24,"tag":25,"props":1868,"children":1869},{},[1870],{"type":29,"value":1871},"OpenAI tog den andra halvan: decodern.",{"type":24,"tag":25,"props":1873,"children":1874},{},[1875,1877],{"type":29,"value":1876},"Där encodern ser varje ord samtidigt — dubbelriktad, hela bilden — bär decodern ögonbindel. Varje token kan bara uppmärksamma det som kom före. En kausal mask blockerar allt framåt. Hela dess existens är en enda uppgift: ",{"type":24,"tag":193,"props":1878,"children":1879},{},[1880],{"type":29,"value":1881},"förutsäg nästa token.",{"type":24,"tag":645,"props":1883,"children":1885},{"mode":1884},"gpt",[],{"type":24,"tag":25,"props":1887,"children":1888},{},[1889],{"type":29,"value":1890},"Se skillnaden. Samma geometri som i Del 2 — riktningar, avstånd, mönster som växer fram lager för lager — men med färre kopplingar. Varje token når bara bakåt. Inget fusk, ingen framåtkikning. Bara: givet allt hittills, vad kommer härnäst?",{"type":24,"tag":25,"props":1892,"children":1893},{},[1894,1896,1901,1903,1906],{"type":29,"value":1895},"2018 släppte OpenAI ",{"type":24,"tag":109,"props":1897,"children":1898},{},[1899],{"type":29,"value":1900},"GPT-1",{"type":29,"value":1902}," ",{"type":24,"tag":1572,"props":1904,"children":1905},{"n":1574},[],{"type":29,"value":1907}," — en decoder med 117 miljoner parametrar tränad på böcker. Den var okej. Inte imponerande. BERT sopade golvet med den på varje läsförståelsetest.",{"type":24,"tag":25,"props":1909,"children":1910},{},[1911,1913,1918,1919,1922],{"type":29,"value":1912},"Ett år senare skalade ",{"type":24,"tag":109,"props":1914,"children":1915},{},[1916],{"type":29,"value":1917},"GPT-2",{"type":29,"value":1902},{"type":24,"tag":1572,"props":1920,"children":1921},{"n":1627},[],{"type":29,"value":1923}," till 1,5 miljarder parametrar — 13 gånger större — och tränad på webbtext istället för bara böcker. Den kunde skriva sammanhängande stycken. Kreativa berättelser. Fejkade nyhetsartiklar så övertygande att OpenAI först vägrade släppa hela modellen. Men den hallucinerade konstant — självsäkert nonsens utklätt till fakta. Och på strukturerade uppgifter vann BERT fortfarande.",{"type":24,"tag":25,"props":1925,"children":1926},{},[1927],{"type":29,"value":1928},"Encodern var den bättre läsaren. Decodern var den bättre skribenten. Och skribenter, visar det sig, skalar.",{"type":24,"tag":51,"props":1930,"children":1931},{},[],{"type":24,"tag":55,"props":1933,"children":1935},{"id":1934},"den-oändliga-autocompletaren",[1936],{"type":29,"value":1937},"Den oändliga autocompletaren",{"type":24,"tag":25,"props":1939,"children":1940},{},[1941],{"type":29,"value":1942},"År 2019 satsade de flesta forskare fortfarande på encodern. BERT ägde benchmarks. Decodern var arkitekturen som svamlade.",{"type":24,"tag":25,"props":1944,"children":1945},{},[1946,1948,1953,1954],{"type":29,"value":1947},"OpenAI satsade på skala. ",{"type":24,"tag":109,"props":1949,"children":1950},{},[1951],{"type":29,"value":1952},"GPT-3: 175 miljarder parametrar.",{"type":29,"value":1902},{"type":24,"tag":1572,"props":1955,"children":1956},{"n":1709},[],{"type":24,"tag":51,"props":1958,"children":1959},{},[],{"type":24,"tag":55,"props":1961,"children":1963},{"id":1962},"världens-dyraste-autocomplete",[1964],{"type":29,"value":1965},"Världens dyraste autocomplete",{"type":24,"tag":25,"props":1967,"children":1968},{},[1969,1971],{"type":29,"value":1970},"Det som verkligen fick folk att häpna med GPT-3 var att den aldrig programmerats för något specifikt. Ingen lärde den fransk grammatik. Ingen tränade den att skriva kod. Hela dess matematiska existens gick ut på en enda, vackert enkel uppgift: ",{"type":24,"tag":109,"props":1972,"children":1973},{},[1974],{"type":29,"value":1975},"gissa nästa token.",{"type":24,"tag":25,"props":1977,"children":1978},{},[1979,1981,1986],{"type":29,"value":1980},"Givet texten så här långt, tilldela en sannolikhet till varje möjligt nästa ord — och kasta tärningen. \"Frankrikes huvudstad är...\" → ",{"type":24,"tag":109,"props":1982,"children":1983},{},[1984],{"type":29,"value":1985},"Paris",{"type":29,"value":1987}," (97,9%).",{"type":24,"tag":1989,"props":1990,"children":1991},"token-predictor",{},[],{"type":24,"tag":25,"props":1993,"children":1994},{},[1995,1997,2002],{"type":29,"value":1996},"Den väljer inte alltid den mest troliga token. Den ",{"type":24,"tag":193,"props":1998,"children":1999},{},[2000],{"type":29,"value":2001},"samplar",{"type":29,"value":2003}," — kastar viktade tärningar, där troliga tokens vinner oftare men överraskningar händer.",{"type":24,"tag":25,"props":2005,"children":2006},{},[2007,2009,2014,2016,2021],{"type":29,"value":2008},"Tränad på internet — bloggar, forum, kodarkiv, Reddit-diskussioner — lärde sig GPT-3 att när text ",{"type":24,"tag":193,"props":2010,"children":2011},{},[2012],{"type":29,"value":2013},"ser ut som",{"type":29,"value":2015}," ett recept, avslutar man ett recept. När den ser ut som Python, skriver man Python. Trä ihop tillräckligt många tärningskast och resultatet börjar ",{"type":24,"tag":193,"props":2017,"children":2018},{},[2019],{"type":29,"value":2020},"se ut",{"type":29,"value":2022}," som intelligens. Inte förståelse — extraordinärt sofistikerad mönsterigenkänning.",{"type":24,"tag":51,"props":2024,"children":2025},{},[],{"type":24,"tag":55,"props":2027,"children":2029},{"id":2028},"illusionen-av-kunskap-och-hallucinationsproblemet",[2030],{"type":29,"value":2031},"Illusionen av kunskap och hallucinationsproblemet",{"type":24,"tag":25,"props":2033,"children":2034},{},[2035,2037,2042,2044,2049,2051,2056,2058,2063,2065,2070],{"type":29,"value":2036},"Jag satt inte bara och läste om de här modellerna — jag tränade dem. I slutet av 2019 byggde jag en svensk språkmodell på lånade TPU:er. Jag bad den skriva ett köttbullsrecept. Det började perfekt — sedan sa den att man skulle röra ner lingonsylten ",{"type":24,"tag":193,"props":2038,"children":2039},{},[2040],{"type":29,"value":2041},"innan",{"type":29,"value":2043}," stekning. Alla svenskar ryser: lingon hör hemma på ",{"type":24,"tag":193,"props":2045,"children":2046},{},[2047],{"type":29,"value":2048},"tallriken",{"type":29,"value":2050},", aldrig i ",{"type":24,"tag":193,"props":2052,"children":2053},{},[2054],{"type":29,"value":2055},"stekpannan",{"type":29,"value":2057},". Ofarligt. Men samma felmönster — ",{"type":24,"tag":109,"props":2059,"children":2060},{},[2061],{"type":29,"value":2062},"hallucinationer",{"type":29,"value":2064},", där modellen inte vet vad som är sant, bara vad som ",{"type":24,"tag":193,"props":2066,"children":2067},{},[2068],{"type":29,"value":2069},"låter",{"type":29,"value":2071}," sant — blir farligt snabbt. Fråga efter medicinsk rådgivning och du får en självsäker dosering som kan döda någon. Modellen producerar flytande text med identisk konfidens oavsett om den har rätt eller fel.",{"type":24,"tag":2073,"props":2074,"children":2075},"hallucination-engine",{},[],{"type":24,"tag":51,"props":2077,"children":2078},{},[],{"type":24,"tag":55,"props":2080,"children":2082},{"id":2081},"men-vilken-token",[2083],{"type":29,"value":2084},"Men vilken token?",{"type":24,"tag":25,"props":2086,"children":2087},{},[2088,2090,2095],{"type":29,"value":2089},"Modellen tilldelar sannolikheter — men hur väljer vi egentligen? Det enklaste, ",{"type":24,"tag":109,"props":2091,"children":2092},{},[2093],{"type":29,"value":2094},"girig avkodning",{"type":29,"value":2096}," (greedy decoding), tar alltid den mest troliga token. Säkert, men robotaktigt. Forskare byggde en verktygslåda med strategier för att kontrollera slumpen.",{"type":24,"tag":25,"props":2098,"children":2099},{},[2100,2105],{"type":24,"tag":109,"props":2101,"children":2102},{},[2103],{"type":29,"value":2104},"Temperatur",{"type":29,"value":2106}," skalar hela fördelningen. Låg temperatur skärper den — modellen låser sig på det säkraste svaret. Hög temperatur plattar ut den — varje token får en chans. Dra i reglaget nedan och se hur \"2000mg\" går från omöjlig till trolig. Samma modell, samma fråga — bara en annan siffra i en konfigfil.",{"type":24,"tag":2108,"props":2109,"children":2111},"decoding-strategies",{"mode":2110},"temperature",[],{"type":24,"tag":25,"props":2113,"children":2114},{},[2115,2117,2120],{"type":29,"value":2116},"Det här är inte bara teori. Googles Gemini 3 har temperature 1.0 som standard och varnar uttryckligen att sänka det \"kan leda till oväntat beteende, som loopar eller försämrad prestanda.\" ",{"type":24,"tag":1572,"props":2118,"children":2119},{"n":1654},[],{"type":29,"value":2121}," År 2025 hade temperature 1.0 blivit branschstandard — inte ett kreativt val, utan ett tekniskt krav.",{"type":24,"tag":25,"props":2123,"children":2124},{},[2125,2130],{"type":24,"tag":109,"props":2126,"children":2127},{},[2128],{"type":29,"value":2129},"Top-k",{"type":29,"value":2131}," är ett hårt filter: överväg bara de k mest troliga tokens, ignorera resten. Enkelt men effektivt.",{"type":24,"tag":2108,"props":2133,"children":2135},{"mode":2134},"topk",[],{"type":24,"tag":25,"props":2137,"children":2138},{},[2139,2144],{"type":24,"tag":109,"props":2140,"children":2141},{},[2142],{"type":29,"value":2143},"Top-p",{"type":29,"value":2145}," (nucleus sampling) är smartare — fortsätt lägga till tokens uppifrån tills deras sammanlagda sannolikhet når ett tröskelvärde. Detta anpassar sig efter fördelningens form: när modellen är säker överlever färre tokens. När den är osäker släpps fler igenom.",{"type":24,"tag":2108,"props":2147,"children":2149},{"mode":2148},"topp",[],{"type":24,"tag":25,"props":2151,"children":2152},{},[2153,2158],{"type":24,"tag":109,"props":2154,"children":2155},{},[2156],{"type":29,"value":2157},"Repetitionsstraff",{"type":29,"value":2159}," löser ett annat problem: utan det älskar modellen att upprepa sig. Straffa tokens som redan dykt upp, och resultatet förblir fräscht.",{"type":24,"tag":2108,"props":2161,"children":2163},{"mode":2162},"repetition",[],{"type":24,"tag":25,"props":2165,"children":2166},{},[2167,2169,2174],{"type":29,"value":2168},"Och så finns ",{"type":24,"tag":109,"props":2170,"children":2171},{},[2172],{"type":29,"value":2173},"beam search",{"type":29,"value":2175}," — istället för att binda sig till en token i taget utforskar den flera vägar samtidigt och väljer den bästa kompletta sekvensen.",{"type":24,"tag":2177,"props":2178,"children":2179},"beam-search",{},[],{"type":24,"tag":51,"props":2181,"children":2182},{},[],{"type":24,"tag":55,"props":2184,"children":2186},{"id":2185},"prompt-engineering-att-viska-till-maskinen",[2187],{"type":29,"value":2188},"Prompt Engineering: Att viska till maskinen",{"type":24,"tag":25,"props":2190,"children":2191},{},[2192,2194,2199],{"type":29,"value":2193},"Det fanns ett annat problem. GPT-3 visste inte att du pratade ",{"type":24,"tag":193,"props":2195,"children":2196},{},[2197],{"type":29,"value":2198},"med",{"type":29,"value":2200}," den. Den trodde att den avslutade en webbsida.",{"type":24,"tag":25,"props":2202,"children":2203},{},[2204],{"type":29,"value":2205},"Om du skrev \"Översätt 'Where is the library?' till svenska\" kanske den inte översatte alls. Istället kanske den genererade fler frågor, för den bestämde sig för att du skrev en lista med tentafrågor. Eller så började den skriva en Wikipedia-artikel om det svenska språket. Den var inte trasig. Den avslutade sidan.",{"type":24,"tag":25,"props":2207,"children":2208},{},[2209,2211,2215,2217,2222],{"type":29,"value":2210},"För att få ut något användbart var man tvungen att formatera texten så att den mest troliga fortsättningen ",{"type":24,"tag":193,"props":2212,"children":2213},{},[2214],{"type":29,"value":1548},{"type":29,"value":2216}," svaret man behövde. Det här kallades ",{"type":24,"tag":109,"props":2218,"children":2219},{},[2220],{"type":29,"value":2221},"Prompt Engineering",{"type":29,"value":2223}," — hälften vetenskap, hälften svart magi. Visa modellen ett mönster, och den fortsätter det.",{"type":24,"tag":2225,"props":2226,"children":2227},"prompt-playground",{},[],{"type":24,"tag":25,"props":2229,"children":2230},{},[2231,2233,2238],{"type":29,"value":2232},"En modell, ingen finjustering — bara en annan prompt för marknadsföring, kod, översättning eller läsförståelse. Det var ",{"type":24,"tag":193,"props":2234,"children":2235},{},[2236],{"type":29,"value":2237},"yxigt",{"type":29,"value":2239},". Hälften av gångerna fick man briljant kod; resten en självsäkert skriven konspirationsteori om 5G-master. Men när det fungerade sparade man timmar. När det inte gjorde det förlorade man trettio sekunder på att läsa skräp. Den asymmetrin räckte för att bygga en hel industri.",{"type":24,"tag":51,"props":2241,"children":2242},{},[],{"type":24,"tag":55,"props":2244,"children":2246},{"id":2245},"varför-inte-200-exempel",[2247],{"type":29,"value":2248},"Varför inte 200 exempel?",{"type":24,"tag":25,"props":2250,"children":2251},{},[2252],{"type":29,"value":2253},"Om två exempel styr modellen så bra, varför inte klistra in tvåhundra? På grund av en vägg gömd inuti själva Transformern.",{"type":24,"tag":25,"props":2255,"children":2256},{},[2257,2259,2265,2267,2272],{"type":29,"value":2258},"Minns du attention från ",{"type":24,"tag":1380,"props":2260,"children":2262},{"href":2261},"/sv/articles/hur-man-lar-en-sten-att-forsta",[2263],{"type":29,"value":2264},"Del 2",{"type":29,"value":2266},"? Varje token tittar på varje annan token för att avgöra vad som spelar roll. Det ger en n × n-matris — och n är antalet tokens i din prompt ",{"type":24,"tag":193,"props":2268,"children":2269},{},[2270],{"type":29,"value":2271},"plus",{"type":29,"value":2273}," allt modellen genererat hittills. Dubbla kontexten, fyrdubbla minnet.",{"type":24,"tag":2275,"props":2276,"children":2277},"attention-cost",{},[],{"type":24,"tag":25,"props":2279,"children":2280},{},[2281,2283,2288,2290,2293],{"type":29,"value":2282},"GPT-3:s kontextfönster var ",{"type":24,"tag":109,"props":2284,"children":2285},{},[2286],{"type":29,"value":2287},"2 048 tokens",{"type":29,"value":2289}," — ungefär 1 500 ord. ",{"type":24,"tag":1572,"props":2291,"children":2292},{"n":1709},[],{"type":29,"value":2294}," Dina tvåhundra exempel, instruktionerna och svaret måste alla rymmas i den boxen. Pressa in för mycket och minnet tar bokstavligen slut mitt i en mening. Det är därför prompt engineering var en konst i komprimering: säg mer med färre tokens.",{"type":24,"tag":25,"props":2296,"children":2297},{},[2298,2300,2305],{"type":29,"value":2299},"Mekanismen var kraftfull men rå. Den naturliga frågan: vad händer när man gör den ",{"type":24,"tag":193,"props":2301,"children":2302},{},[2303],{"type":29,"value":2304},"större",{"type":29,"value":1816},{"type":24,"tag":25,"props":2307,"children":2308},{},[2309],{"type":24,"tag":109,"props":2310,"children":2311},{},[2312,2313,2318],{"type":29,"value":1443},{"type":24,"tag":1380,"props":2314,"children":2315},{"href":1481},[2316],{"type":29,"value":2317},"Del 4: Hur man odlar en sten",{"type":29,"value":1451},{"type":24,"tag":1832,"props":2320,"children":2322},{":sources":2321},"[{\"n\":1,\"author\":\"Radford, A. et al. — OpenAI\",\"title\":\"Improving Language Understanding by Generative Pre-Training (GPT-1)\",\"url\":\"https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf\"},{\"n\":2,\"author\":\"Radford, A. et al. — OpenAI\",\"title\":\"Language Models are Unsupervised Multitask Learners (GPT-2)\",\"url\":\"https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf\"},{\"n\":3,\"author\":\"Brown, T. et al. — OpenAI\",\"title\":\"Language Models are Few-Shot Learners (GPT-3)\",\"url\":\"https://arxiv.org/abs/2005.14165\"},{\"n\":4,\"author\":\"Google\",\"title\":\"Gemini 3 Developer Guide — Temperature\",\"url\":\"https://ai.google.dev/gemini-api/docs/gemini-3\"}]",[],{"title":7,"searchDepth":478,"depth":478,"links":2324},[2325,2326,2327,2328,2329,2330,2331],{"id":1858,"depth":478,"text":1861},{"id":1934,"depth":478,"text":1937},{"id":1962,"depth":478,"text":1965},{"id":2028,"depth":478,"text":2031},{"id":2081,"depth":478,"text":2084},{"id":2185,"depth":478,"text":2188},{"id":2245,"depth":478,"text":2248},"content:article:sv:hur-man-lar-en-sten-att-skriva.md","article/sv/hur-man-lar-en-sten-att-skriva.md","article/sv/hur-man-lar-en-sten-att-skriva",1779221106743]