Din lokale læringsplads

Forstå AI.
Ved at bygge det.

Interaktive øvelser, hvor du selv træner modeller direkte i browseren – fra de første tokens til transformere, AI safety og interpretability. Ingen installation, og du behøver ikke kunne programmere.

Gratis start · ingen konto · virker i browseren
Se hvad du lærer

0 tegn → 0 tokens

Samme idé som i det første laboratorium: de hyppigste nabopar flettes sammen, ét ad gangen. Det er en øvelsesmodel, ikke en færdigtrænet tokenizer.

Sådan virker det

Fejl –

Rør ved modellen

Skift tekst, vægte og indstillinger, og se modellen reagere med det samme.

Skridt 0 · Fejl –

Se hvad der sker indeni

Tokens, tab, attention og aktiveringer bliver vist, mens modellen træner.

Gem det, du opdager

Skriv observationer i din eksperimentlog, og sammenlign dine forsøg.

Små skridt. Ægte forståelse.

Fra første token til egen forskning.

14 laboratorier i fire spor. Du starter gratis og kan til enhver tid låse resten op.

Start her

Byg fundamentet

Sprogmodeller indefra

AI safety & interpretability

Start gratis. Fortsæt, når du er klar.

Gratis

0 kr.
  • LLM & tokenisering med din første næste-tegn-model
  • Vektorer, neuroner og din første trænede model
  • Læringskort og eksperimentlog

Har du allerede en adgangsnøgle?

Du har fuld adgang.

Alle laboratorier er låst op i denne browser. Gem din adgangsnøgle, hvis du vil bruge Learn the Machine på en anden enhed.

…

Godt at vide.

Skal jeg kunne programmere?

Nej. Alle laboratorier kører i browseren, og du styrer dem med knapper, skydere og din egen tekst. Python-delene er valgfrie og til dig, der vil videre.

Hvad skal jeg bruge?

En nyere browser som Chrome, Edge, Firefox eller Safari. Det virker på mobil, men en computer eller tablet giver den bedste oplevelse i de større laboratorier.

Hvor bliver mine data gemt?

I din egen browser. Der er ingen konto, og dine noter og modeller bliver ikke sendt til os. Du kan tage en sikkerhedskopi fra eksperimentloggen.

Hvordan bruger jeg min adgang på en anden enhed?

Efter købet får du en adgangsnøgle. Indløs den på den nye enhed under „Har du allerede en adgangsnøgle?“.

Kan jeg fortryde købet?

Du får adgang med det samme. Når du betaler, accepterer du derfor, at fortrydelsesretten bortfalder, når leveringen er begyndt. Skriv til os, hvis noget ikke virker, så finder vi en løsning.

Findes Learn the Machine på engelsk?

Ja. Skift sprog øverst på siden. Den gratis start er oversat, og resten bliver oversat løbende.

Bygget til forståelse, ikke bare svar. Nye laboratorier og øvelser kommer løbende.

LLM / start her · ca. 20 min.

Fra tekst til tokens.

Inden en sprogmodel kan arbejde med tekst, omsætter en tokenizer teksten til en sekvens af ID-numre. Lad os undersøge hvordan.

1 / Se ideen · ca. 5 min.

Hvordan kan tekst deles?

Et token kan være et ord eller en del af et ord. Tryk på «Flet næste par» for at samle det hyppigste par, og prøv derefter din egen tekst. I denne øvelse skal et par forekomme mindst to gange for at blive flettet. Det er en undervisningsmodel, ikke en færdigtrænet LLM-tokenizer.

Når du ændrer teksten, starter sammenfletningerne forfra. En model trænet på opdelingen starter også forfra.

Runde 0

Din opdeling · stiplet kant markerer det, der blev dannet i den seneste runde. ␠ viser mellemrum, ↵ linjeskift.

Ét synligt tegn kan fylde flere bytes · valgfrit

Prøv de to udgaver af é. De kan se ens ud, men er forskellige sekvenser af Unicode-kodepunkter og bytes. En tokenizer kan normalisere teksten først; andre bevarer forskellen. I næste trin kan du sammenligne de to former med rigtige tokenizers under «Udforsk sprog, Python og tokenvisning».

Unicode-kodepunkter

UTF-8 er én måde at kode tekst som bytes. Hver byte er ikke nødvendigvis ét token; tokenizers kan bruge forskellige regler. Optælling af synlige tegn følger browserens Unicode-segmentering, når den er tilgængelig.

Se udgangspunktet: tekst delt i tegn · valgfrit

␠ viser mellemrum, ↵ linjeskift.

Vælg en bestemt runde · valgfrit

Øvelsen starter med Unicode-kodepunkter, som her kaldes tegn. Et synligt tegn kan bestå af flere kodepunkter. Øvelsen lærer reglerne fra din tekst. En rigtig model-tokenizer bruger allerede lærte regler.

Prøv en ny tekst og udforsk reglerne · valgfrit

Prøv reglerne på en ny tekst

Skriv en ny tekst. Vi bruger kun reglerne fra træningsteksten ovenfor og de valgte runder; den nye tekst lærer ikke tokenizeren flere regler.

Denne simple model starter med tegnene fra træningsteksten. Ukendte tegn er markeret som tegn uden for ordforrådet. Øvelsen beregner ikke token-ID’er; rigtige tokenizers kan håndtere ukendte tegn på andre måder.

Følg sammenfletningerne én for én

Vælg en runde for at se tekstens opdeling efter den runde. Listen viser de runder, der er mulige med din tekst, også når skyderen står lavere. Ved lige mange forekomster vælges det par, der optræder først i teksten.

    Se undervisningstokenizerens ordforråd

    Ordforrådet starter med forskellige tegn fra teksten. Hver valgt sammenfletning kan tilføje et nyt stykke; tidligere stykker beholdes, selv om de ikke længere vises i tekstens aktuelle opdeling.

    Oprindelige tegn

    Nye stykker fra valgte sammenfletninger

    Dette er en lille undervisningsmodel uden token-ID’er. En rigtig model-tokenizer har sit eget fastlagte ordforråd og kan arbejde anderledes.

    Hvordan tælles og flettes par?

    I hver runde tælles par også, når de overlapper. Derefter flettes parrene fra venstre mod højre uden overlap; derfor kan færre blive flettet end talt. Her læres sammenfletningerne af netop teksten ovenfor. Rigtige model-tokenizers er allerede trænet på langt større datamængder og bruger deres faste ordforråd på ny tekst.

    2 / Sammenlign rigtige tokenizers

    Samme tekst. Forskellige tokens.

    Sammenlign to model-tokenizers på den samme tekst. Et token-ID hører til tokenizerens eget ordforråd.

    Flere muligheder · valgfrit

    Qwen3.5 er nyere end Qwen2.5, Pythia og GPT-2. BERT er en ældre WordPiece-model med et andet træningsmål end en autoregressiv chatmodel.

    Du kan gætte før sammenligningen, se interne tokenstykker eller prøve en guidet modeltræning.

    Det guidede eksempel erstatter teksten ovenfor, sammenligner tokenizerne og åbner en mikromodel med en testtekst klar.

    Kører i din browser. Første gang indlæses de valgte tokenizerfiler fra denne side. Standardvalget Qwen3.5 og GPT-2 er tilsammen cirka 14 MB ukomprimeret; faktisk download afhænger af komprimering og cache. Sammenligningen viser kun tekst, ikke modellens billedinput.

    Øvelsen klargøres. Hvis den ikke bliver klar, kan du prøve at genindlæse siden.

    Sammenligningen tilføjer ikke automatisk specialtokens, som en model kan bruge.

    Udforsk sprog, Python og tokenvisning · valgfrit
    Giver to udgaver af é samme tokens?

    É som ét kodepunkt og e + accent ser ofte ens ud, men har forskellige bytes. Undersøg begge former med de to valgte tokenizers.

    Sammenlign ID’er inden for samme tokenizer. Ens ID’er kan opstå ved normalisering eller tab af information, eksempelvis [UNK]; det viser ikke, hvad en model forstår. Ingen specialtokens tilføjes automatisk.

    Sammenlign samme hilsen på flere sprog

    Undersøg de to valgte tokenizers på en kort hilsen på dansk, engelsk og japansk. Gæt først: Fordeler antallet af tokens sig ens på sprogene?

    Hilsnerne har omtrent samme betydning, men ikke samme tegn eller længde. Eksemplerne viser ikke hele sprogs tokenisering eller modelkvalitet. BERT kan erstatte ukendt tekst med [UNK], så færre tokens kan også betyde tabt information. Et lavere tokenantal kan påvirke hvor meget tekst der er plads til, men siger ikke alene noget om svarenes kvalitet.

    Vil du også køre det selv i Python?
    1. Brug Python-miljøet fra forløbet, eller installér med python -m pip install transformers.
    2. Hent sammenlign.py, og kør python sammenlign.py --tekst "Hej verden!" i samme mappe. Standardvalget er Qwen3.5 og GPT-2; første kørsel henter tokenizerfiler, ikke modelvægte.
    3. Vælg tokenizers-resultat.json herunder. Python læser ikke valgene ovenfor: brug fx --foerste qwen --anden bert for andre tokenizers. Mulighederne er qwen35, qwen, pythia, gpt2 og bert. Brug --output andet-navn.json ved næste kørsel; eksisterende filer overskrives ikke. --offline bruger filer, der allerede er hentet.

    Hvordan vises tokens og specialtokens?

    For ByteLevel BPE vises stykker som læsbar tekst, når deres bytes alene danner gyldig UTF-8; ellers vises byteværdier. For BERTs WordPiece markerer ## en fortsættelse, og [UNK] kan erstatte ukendt tekst. Et tegn kan være delt mellem flere tokens. ␠ viser mellemrum, ↵ linjeskift og ⇥ tabulator. Slå interne stykker til for at se symboler som Ġ. Resultatet udelader automatisk tilføjede special tokens; hvis du selv skriver en genkendt special token, kan den dog blive genkendt. Resultatet er derfor ikke nødvendigvis lig en færdig chat-prompts tokenforbrug.

    Kilder: Hugging Face: tokenizerens dele og OpenAI: tiktoken og BPE · Hugging Face: BERT og WordPiece.

    3 / Forbind til LLM’en

    Hvad sker der bagefter?

    TekstToken-ID’erEmbeddingsTransformerNæste token

    1 / 5 · Tekst

    En tekst er udgangspunktet. Den kan for eksempel være din besked til en sprogmodel.

    Samme eksempel · tekst

    Dette diagram forklarer processen; det kører ikke selve modellen.

    Sammenlign eventuelt en tekst på forrige trin for at se dens første token-ID’er her.

    Se træningspar fra undervisningstokenizeren · valgfrit

    Her bruger vi undervisningstokenizerens opdeling fra trin 1, ikke model-tokenizeren fra sammenligningen ovenfor. Vælg en position: Konteksten er tokenene før positionen, og facit er det næste token.

    Kontekst

    Næste token · facit fra teksten

    ␠ viser mellemrum; ↵ viser linjeskift. Dette er undervisningstokenizerens opdeling, ikke tokenizeren fra modelsammenligningen. Figuren ovenfor viser data. I næste trin træner du også en separat tegnmodel på andre eksempeltekster. Rigtige træningsvinduer kan have begrænset kontekst; det første token kræver en startkontekst og vises ikke som facit her.

    Træn en model på denne opdeling · valgfrit

    Denne lille tabelmodel bruger kun det seneste token som input og gætter det næste. Den starter med lige sandsynligheder og trænes på cirka de første 75 % af tokenparrene; resten bruges til måling. Ordforrådet og sammenfletningerne er lavet med hele teksten, og par kan gentages på begge sider. Valideringen er derfor ikke en uafhængig test. Det er en bigrammodel, ikke en transformer.

    Se tabet under træning

    Kurverne viser målinger før og efter hvert tryk på træningsknappen. Lavere tab betyder højere sandsynlighed for de faktiske næste tokens. Valideringsparrene bruges ikke til vægtopdatering, men kan ligne eller gentage træningsparrene.

    ━ Træning   ┄ Validering · vandret: træningsskridt · lodret: tab i nats pr. par, fra nul.

    Se de målte tal
    SkridtTræningstabValideringstab
    Hvor nye er valideringsparrene?

    Et par er inputtoken → facit. Vi tæller forekomster, også gentagelser. Et nyt par kan bruge et inputtoken, som modellen allerede har trænet på.

    Gruppetallene er beskrivende: grupperne kan have forskelligt indhold og få par. Også et nyt par kommer her fra samme tekst, og tokeniseringen er lavet på hele teksten. Det er ikke en uafhængig sluttest.

    Historikken er kun i denne sidevisning og er ikke med i forsøgsfilen. Ved genåbning begynder grafen med den gendannede models aktuelle måling.

    Søjlerne viser fordelingen for det valgte eksempels seneste konteksttoken. Facit er markeret. Modellen nulstilles, når opdelingen ændres. Hent en forsøgsfil nedenfor, hvis du vil genåbne den. Ingen tekst sendes væk fra browseren.

    Hvad kan modellen se af konteksten?

    Denne model ser kun det sidste token før facit. Findes det samme sidste token efter forskellige tidligere tokens, får de to eksempler derfor samme fordeling — også når facit er forskelligt. Det er en begrænsning ved denne tabelmodel; en transformer kan bruge flere tidligere tokens inden for sit kontekstvindue.

    Søjlerne viser sandsynligheden for hvert eksempels facit på samme 0–100 %-skala. Vælg et andet eksempel ovenfor, eller ændr teksten og tokeniseringen. Sammenligningen bruger de aktuelle modelvægte.

    Gem eller genåbn forsøget

    Hent en fil med din tekst, tokenopdeling, modelvægte og antal skridt. Den gemmes kun på din enhed, indeholder din tekst og er ikke krypteret. Den indgår ikke automatisk i Learn the Machines øvrige sikkerhedskopi.

    Når du vælger Gendan, erstatter filen den aktuelle tekst, opdeling og model. Hent den aktuelle forsøgsfil først, hvis du vil beholde den. Filer kan redigeres; deres oprindelse kan ikke verificeres.

    Prøv på en anden tekst

    Vi bruger de samme lærte sammenfletninger og modelvægte på teksten nedenfor. Se, hvor mange af dens tokenpar der også forekom i modellens træningspar. Teksten kan ændres og genbruges, så den er ikke en urørt sluttest.

    Et kendt tokenpar kan være gentaget flere gange og er ikke en uafhængig observation. Modellen har intet ukendt-token: Hvis et token ikke findes i dens ordforråd, kan hele teksten ikke måles her. Teksten behandles lokalt.

    Tjek din forståelse · valgfrit

    To forekomster af samme token-ID har samme input-embedding i modellen. Hvad kan ske med deres repræsentationer efter et transformerlag?

    Du kan prøve igen eller fortsætte; svaret registreres ikke som en bestået prøve.

    Udforsk embeddings, chat og attention · valgfrit
    Hvordan får attention positionsinformation? · RoPE

    Her roteres en fast query og key hver efter sin position. Prøv først at flytte begge én position frem. Ændr derefter kun key-positionen. Sammenlign prikproduktet, som kan indgå i en attention-score.

    Grøn, fuld linje: query. Orange, stiplet: key. Hver linje starter i midten og slutter ved vektoren.

    Eksemplet bruger to faste todimensionelle enhedsvektorer og 30° pr. position. Flytter du begge lige langt, bevares deres relative vinkel og prikprodukt. Flytter du kun én, kan det ændre sig; effekten er ikke altid aftagende med afstand. Prøv også at ændre keyens startretning uden at flytte positionerne: Samme afstand kan give et andet prikprodukt. Startretningen er valgt til øvelsen, ikke lært af tekst. Her beregnes hverken softmax eller kausal maske, så key kan vælges efter query.

    RoPE bruger rotation af query og key i attention. Rigtige modeller har mange komponentpar og frekvenser, ofte også andre varianter, og query/key afhænger af indhold og kontekst. En fælles positionsforskydning bevarer derfor ikke nødvendigvis hele modellens output. Den lille browser-transformer i transformer-lab bruger i stedet lærte positionsvektorer; denne illustration træner ikke en model.

    Se et faktisk komponentpar i Pythia-70M

    Det medfølgende eksempel bruger lag 0, head 0 og teksten “The capital of France is”. Du kan også åbne en lokal måling med egen tekst og egne valg.

    Vælg tokenpositioner visuelt

    Skriv teksten, og brug Pythias tokenizer til at finde positionerne. Teksten behandles i browseren; første gang hentes tokenizerfilerne fra siden. Vælg query og key, og brug numrene i Python-kommandoen nedenfor. Dette kører ikke sprogmodellen.

    Forhåndsvisningen klargøres. Hvis den ikke bliver klar, kan du genindlæse siden.

    Gentag lokalt med fast checkpoint: Hent rope_pythia.py og kør python rope_pythia.py --output min-rope.json. Første kørsel henter modellen; tilføj --offline når den er cached. Før du vælger positioner, se tokennumrene med python rope_pythia.py --text "The cat and the cat" --list-tokens. Denne kommando bruger kun tokenizeren og indlæser ikke modelvægtene. Brug derefter numrene i en måling, fx python rope_pythia.py --text "The cat and the cat" --query 4 --key 1 --layer 1 --head 3 --pair 2 --output mit-forsøg.json. Teksten skal give 2–32 tokens; positioner tælles fra 0, og key må ikke ligge efter query. Lag er 0–5, heads og komponentpar 0–7. Uden positionsvalg bruges sidste query og en key op til to pladser før. Filen indeholder teksten, token-ID’er og målinger; del den kun efter eget valg. Åbn den ovenfor. Kun samme opsætning sammenlignes direkte med standardeksemplet. Filer og hashes kan redigeres.

    Kilder: Su m.fl.: RoFormer ↗ · Hugging Face: RoPE-varianter ↗.

    Se rigtige embeddings fra Pythia-70M

    Vælg to tokens fra en rigtig, åben sprogmodel. Prøv først ␠cat og ␠dog, og vælg derefter samme token to gange. Hvad sker der med ligheden?

    Vil du se, hvad der sker gennem modellen? Start et færdigt forsøg med teksten The cat and the cat.

    Undersøg én ændring i konteksten

    Her sammenligner du to forudberegnede kørsler: A: The cat and the cat og B: The dog and the cat. Kun tokenet på position 2 er ændret. Det sidste ␠cat har samme ID og position i begge tekster. Forudsig først: Er dets aktivering efter lag 1 ens?

    Prøv også at sammenligne det første token, The, i A og B. Det står før ændringen og kan ikke se senere tokens i denne model. Største komponentforskel sammenfatter alle 512 tal; cosinus måler retning. To eksempler viser ikke, hvilken intern mekanisme der forårsager forskellen.

    Eksemplet er forudberegnet fra Pythia-70M og hentes først, når du trykker. Ingen installation nødvendig.

    De første 8 af 512 komponenter. Stregens retning viser fortegnet; begge tokens bruger samme skala.

    ␠ betyder mellemrum. ␠cat og cat er forskellige tokens med forskellige ID’er. Figuren viser et udsnit, ikke en projektion af hele vektoren; ligheden beregnes på alle 512 tal. Cosinuslighed måler vinklens lighed fra −1 til 1 og siger ikke i sig selv, hvad modellen forstår eller vil svare. Input-embedding er en vægt før transformerens kontekstbehandling. Et transformerlag viser derimod aktiveringen på en position efter laget. Den kan påvirkes af tidligere tokens og positionen; cosinus alene fortæller ikke hvorfor to aktiveringer er forskellige.

    De seks vektorer er udtrukket på forhånd fra Pythia-70M, fastlåst checkpoint; ingen modelvægte trænes eller ændres her. Token-ID’er og vægte gælder denne model, ikke de andre tokenizers. Du kan reproducere udtrækket: Hent export_embeddings.py, installér PyTorch og Transformers, og kør python export_embeddings.py --output pythia-embedding-examples.js. Første kørsel henter modellen. Filen indeholder kun de seks valgte vektorer.

    Undersøg din egen tekst med Pythia
    1. Hent Python-filen ovenfor, og installér PyTorch og Transformers i dit Python-miljø.
    2. Åbn en terminal i mappen med filen, og kør python export_embeddings.py --tekst "The cat and the cat" --lag --output mine-embeddings.json. Første gang hentes model og tokenizer. Vælg senere din egen korte tekst; den skal give 2–16 tokens. Hvis filnavnet allerede findes, vælg et andet navn.
    3. Vælg den oprettede JSON-fil her. Vælg de to ␠cat-positioner ovenfor. Sammenlign først input, og vælg derefter “Efter transformerlag 1”. Hvad sker der med ligheden?

    Fil og tekst behandles lokalt på din computer og sendes ikke til Learn the Machine. Python-programmet henter model og tokenizer fra Hugging Face første gang. Filen indeholder tokenstykker, ID’er og vektorer fra din tekst, herunder lagaktiveringer når du bruger --lag; del den kun, hvis du ønsker at dele dette. Gentagne ID’er bruger samme inputvektor, uanset position. Med --lag køres teksten også gennem modellen, og vektoren efter hvert af de seks transformerlag gemmes før modellens afsluttende normalisering. Modellen kan kun bruge den aktuelle og tidligere tekst, ikke efterfølgende tokens. Forskelle kan ikke alene tilskrives ét bestemt ord eller én mekanisme. De importerede tokenstykker er tokenizerens interne symboler; ␠ viser Ġ, mens andre byte-symboler ikke nødvendigvis kan læses som almindelig tekst. Filen beskriver sin oprindelse, men siden kan ikke verificere vægtenes ægthed.

    Prøv et embedding-opslag

    Vælg et opdigtet token-ID, og se den tilhørende vektor som et punkt. Flyt komponenterne, og se hvordan en lille outputberegning ændrer næste-token-fordelingen.

    120

    En lille fordeling over to mulige næste tokens:

    Tallene, token-ID’erne og de to svarmuligheder er konstrueret til øvelsen. En fast lineær outputberegning og softmax giver fordelingen; skyderne ændrer en vektor manuelt, de træner den ikke. Her er ingen transformer eller kontekst fra tidligere tokens. En rigtig model har langt flere dimensioner og bruger transformeren mellem opslag og output.

    Vil du se, hvordan en position kan blande information fra tidligere positioner? Næste øvelse bruger andre, konstruerede tal for query, key og value.

    Hvordan ser en chat ud for modellen?

    En chatskabelon gør beskeder med roller til én tokenfølge. Prøv et afgrænset eksempel med Qwen2.5-0.5B-Instruct: én systembesked og én brugerbesked, uden værktøjer eller tidligere samtale.

    Tokenizeren kører lokalt i browseren og indlæses første gang, du bruger den.

    Kilder: Qwens fastlåste chatskabelon · Hugging Face: chat templates.

    4 / Træn en lille sprogmodel · ca. 5 min.

    Træn dit første næste-token-gæt

    Her er hvert tegn et token. Modellen ser ét tegn og gætter det næste; den er ikke en transformer. Den har sit eget lille ordforråd og ændrer ikke tokenizeren eller Pythia-modellen fra før.

    Prøv: I træningsdata følges k altid af a. Hvordan ændrer modellens bud sig, når du træner?

    Gæt før træning · valgfrit

    Dit bud vurderes efter næste træning. Under 0,05 procentpoint regnes som næsten uændret.

    Hvordan ændrer træningsdata modellen? · valgfrit

    Træn to nye tegnmodeller fra samme nulvægte i 20 skridt. Model A ser de oprindelige tre sætninger. Vælg, hvad kat skal erstattes med for model B. Begge bruger 57 træningspar, samme læringsrate og den samme målesætning. Flere tegnpar kan ændres. Modellerne er opslagstabeller med ét tegns kontekst og har ingen attention-heads.

    Gæt før træning · valgfrit

    Under 0,05 procentpoint regnes som næsten ens. Buddet gemmes ikke og kan gives efter, at du har set resultatet.

    Øvrige samler de tegn, der ikke vises hver for sig. Alle observerede træningsfacit vises enkeltvis. Procenterne er afrundet.

    0 træningsskridt · træningstab — · valideringstab —

    Udforsk modellen eller vælg en anden vej · valgfrit
    Se alle træningstekster · valgfrit

    Træningstekst: “en kat kan se en mus.” · “en mus kan se en kat.” · “kat og mus kan se.”

    Skriv modellens byggesten i Python · valgfrit

    Skriv selv softmax og gradienten. En lokal Python-opgave kontrollerer din kode og træner den samme lille næste-tegn-model i 20 skridt. Den kræver Python 3, men ingen ekstra pakker.

    Ny i Python?

    Opgaven bruger funktioner, lister og løkker. Du kan tage en introduktion først og vende tilbage hertil.

    Vis softmax og gradient med tre tegn

    Et selvstændigt eksempel med ét træningspar og tre mulige næste tegn. Det ændrer ikke modellen ovenfor.

    Softmax omregner scorer til sandsynligheder. For hvert tegn er gradienten sandsynlighed minus facit: 1 for det rigtige tegn, 0 for de andre.

    Hvordan kan jeg kontrollere gradienten?

    Ændr én score ganske lidt op og ned. Forskellen i tab divideret med afstanden giver en numerisk tilnærmelse til gradienten.

    Her bruges ±0,001 på ét eksempel. Python-checkeren bruger en anden lille ændring og flere mål. Tallene vises afrundet. Et numerisk tjek er en tilnærmelse ved bestemte input, ikke et bevis for, at koden altid er korrekt.

    Eksemplet bruger ét gradientskridt med læringsrate 0,5. Kodeopgaven bruger flere tegn og gennemsnittet over alle træningspar. Træk den største score fra før exp for bedre numerisk stabilitet.

    1. Hent og pak kodeopgaven ↓ ud.
    2. Udfyld funktionerne i min_model.py, og kør python tjek_og_traen.py i mappen.
    3. Åbn den gemte naeste-tegn-resultat.json her og sammenlign træning og måletekster med browserens beregning.

    De åbne kontroller er ikke en fuldstændig kodetest. Python-koden kører på din computer; kør kun kode, du stoler på. Dette er én-tegns kontekst, ikke en transformer.

    Gentag dataforsøget i Python · valgfrit

    Når dine funktioner virker, kan du træne med samme dataændring som i browserforsøget. Den oprindelige resultatfil overskrives ikke.

    python tjek_og_traen.py --replacement mat

    Vælg også kan eller kat som uændret kontrol. Programmet gemmer fx naeste-tegn-mat.json; åbn filen nedenfor. Browseren genberegner modellen for det angivne valg. Måleteksterne overlapper træningsdata og er ikke urørte sluttests.

    Flere måder at undersøge træningen · valgfrit
    Vælg en anden vej videre · valgfrit

    Træn på opdelingen fra din egen tekst i en særskilt tabelmodel.

    Du kan træne en lille tekstmodel i browseren eller fortsætte til Python-projekterne. At træne en BPE-tokenizer lokalt kræver Python og biblioteket tokenizers; den lokale transformer kræver også PyTorch.

    Undersøg tab og validering · valgfrit
    Hvad er der i valideringssætningen?

    Valideringssætningen bruges til måling, ikke til vægtopdateringer. Vælg et tegnpar og se, om det samme par også findes i træningen.

    Blå markering er input; orange er facit. Modellen ser kun ét tegn ad gangen. At et par optræder i begge sæt beviser ikke, at hele sætningen blev brugt til træning; det viser, at målingen ikke tester et nyt tegnpar for netop den her model.

    Mål en anden sætning

    Eksemplet har ét nyt tegnpar. Mål teksten, træn videre, og se hvordan tabet ændrer sig på den samme tekst. Du kan redigere den med tegn fra modellens ordforråd.

    Lavere tab betyder, at modellen samlet set klarer sig bedre på den målte tekst. Valideringssætningen deler ord og tegnpar med træningen; den er ikke en bred test af sproglig evne.

    Udforsk træning og generering · valgfrit

    Vælg et emne, hvis du vil undersøge modellen nærmere. Du kan også fortsætte direkte.

    Hvordan beregnes tabet og søjlerne?

    Tabet er gennemsnittet af −ln(sandsynligheden for det observerede næste tegn); enkelte tegn kan stadig få lavere sandsynlighed. De fem største sandsynligheder vises sammen med eventuelle træningsfacit uden for top 5. Ved lighed sorteres tegnene efter ordforrådets rækkefølge.

    Se træningsparrene for dette tegn

    Hvert par viser et input og det næste tegn, som modellen bliver trænet til at forudsige. Gentagne par tæller med hver gang; der laves ikke par på tværs af sætninger.

    Se næste vægtopdatering · valgfrit

    Modellen gemmer en logit for hvert muligt næste tegn. Her følger vi det mest almindelige facit for det valgte input. Gradienten viser, hvordan det samlede tab ændrer sig ved en lille ændring af denne logit, når de øvrige holdes faste. Gradient descent justerer alle logits på én gang ud fra hele træningssættet; læringsraten er 4.

    Grøn: sandsynlighed nu · orange: efter ét skridt. Dette er en beregnet forhåndsvisning og ændrer ikke modellen.

    Se hvordan det valgte input bidrager til tabet

    Hvert træningspar giver −ln(sandsynligheden for sit facit). Gentagne par tæller hver gang. Tabellen viser kun par for det valgte input; bidraget divideres med alle træningspar.

    Næste tegnAntal parModellens sandsynlighed−ln(p) · nats pr. parBidrag til samlet tab

    Se modellen skrive tegn for tegn

    Begge starter med tegnet valgt ovenfor og vælger derefter det mest sandsynlige næste tegn 32 gange. Modellen bruger kun det seneste tegn som input.

    Før træning:

    Efter 0 skridt:

    ␠ viser mellemrum. Når flere tegn har samme sandsynlighed, vælges det første i modellens faste tegnrækkefølge; før træning er alle tegn lige sandsynlige. Der bruges ikke et stoptegn, så visningen fortsætter altid 32 tegn. Den lille model kan gentage sig og er ikke en transformer.

    Træk næste tegn med temperatur · valgfrit

    Brug den aktuelle model og det valgte input ovenfor. Ved temperatur 1 og top-p 1 er søjlerne modellens egen fordeling. Lavere temperatur gør fordelingen mere koncentreret om de største logits; højere temperatur gør den fladere. Det ændrer udvælgelsen, ikke modellens vægte.

    Afgræns kandidater med top-p

    Efter temperatur sorteres tegn efter sandsynlighed. Vi beholder de mest sandsynlige, indtil deres samlede chance når top-p. Resten får 0 %, og de beholdte fordeles igen til 100 %. Ved lighed bruger vi modellens faste tegnrækkefølge. Top-p på 1 beholder alle.

    Kandidatfeltet beregnes igen for hvert nyt input. Dette ændrer ikke modellens vægte. Kilde: Hugging Face om top-p ↗

    Grøn øverst viser chancen efter temperatur, men før top-p. Orange nederst viser chancen efter top-p, som bruges til lodtrækningen. Tallene følger samme rækkefølge; tallet efter punktet viser observerede træk. Alle træk bruger samme input og er separate — de danner ikke en sammenhængende tekst. Ændres temperatur, top-p, input eller model, nulstilles optællingen. Der kan trækkes op til 10.000 gange pr. optælling.

    Generér en kæde af tegn

    Start med det valgte input ovenfor. Hvert trukket tegn bliver input til næste trin. Sammenlign med den separate optælling ovenfor, hvor input var det samme hver gang.

    Se hvert trin
    TrinInputTrukket tegnChance ved dette trin

    ✓ markerer det tegn, der blev trukket. Grøn: sandsynlighed efter temperatur og før top-p. Orange: sandsynlighed efter top-p. Fordelingen tilhører det valgte trin i kæden.

    ␠ viser mellemrum. Kæden bruger den aktuelle temperatur og top-p og nulstilles, hvis temperatur, top-p, input eller model ændres. Højst 32 tegn genereres; punktum stopper ikke modellen. Dette er en lille model, som kun ser ét tegn ad gangen, ikke en chatmodel.

    Hvordan bliver en hel tekst til træningsdata?

    Se input og facit i et af teksttransformerens vinduer. Visningen bruger tegn ligesom øvelsen her, men transformeren kan bruge flere tidligere tegn som kontekst. Du behøver ikke Python for at se den.

    Vil du først se, hvad et ekstra tegn i konteksten ændrer? Træn to små modeller og sammenlign deres bud.

    Tjek din forståelse · valgfrit

    Prøv at svare uden at se ovenfor. Du kan prøve igen. Når begge svar er korrekte, gemmes tjekket i denne browser; det dokumenterer ikke samlet kompetence.

    Ekstra · træn en tokenizer · lokal Python

    Træn dine egne tokenizers

    Træn to faktiske ByteLevel BPE-tokenizers på de samme træningstekster, men med forskellige ønskede størrelser på ordforrådet. Undersøg bagefter deres opdeling af valideringstekst, som ikke bruges til at lære tokenizeren.

    Eksemplet stammer fra to tokenizers trænet på små, kunstige tekster. Du træner ikke selv ved at åbne det. Brug guiden nedenfor til at lave dit eget resultat.

    Du skal bruge et aktiveret Python-miljø. Opsætningen installerer også PyTorch, som du får brug for til modellen bagefter.

    1. Hent projektpakken, og pak den ud. I den samme terminal, hvor miljøet er aktiveret, skal du skifte til den udpakkede mappe: skriv cd "STIEN_TIL_MAPPEN", og erstat teksten med mappens faktiske sti. Brug eksempelfilen egne-tekster.json eller din egen fil fra datasætbyggeren.
    2. Installér biblioteket i dit Python-miljø: python -m pip install "tokenizers>=0.20,<0.22".
    3. Bruger du pakkens eksempeldata, så kør python train_bpe.py --data egne-tekster.json. Har du hentet mine-tekster.json fra datasætbyggeren, så flyt den til projektmappen og kør python train_bpe.py --data mine-tekster.json. Terminalen viser Gemt: efterfulgt af stien til den nye mappe. Åbn bpe-result.json fra den mappe herunder.

    De første 256 pladser dækker byteværdier. Meget få data og krav om gentagelser kan give et faktisk ordforråd under det ønskede. Et lavere tokenantal betyder ikke i sig selv en bedre sprogmodel. Tokenizertræning er ikke træning af modelvægte.

    Når du har trænet en tokenizer, kan du bruge den i næste forsøg.

    Fagligt grundlag: Hugging Face: træn en BPE-tokenizer.

    Fundament / 00 · ca. 40 min.

    Fra tal til en neurons svar.

    Et neuralt netværk består af mange enkle beregninger. Start med én: Ændr bias, og se hvordan neuronens svar ændrer sig.

    Første eksperiment · ca. 3 min.

    Prøv din første neuron

    Start her

    En neuron lægger sine vægtede input sammen. Bias er et tal, der lægges til summen. Flyt bias fra 0 til 1, og se, hvad der sker med svaret.

    Neuronens output—
    Forudsig: Hvad sker der, når bias går fra 0 til 1?

    Sæt først bias til 0, vælg dit bud, og flyt derefter bias til 1. Du kan også springe forudsigelsen over.

    Sigmoid omsætter summen til et tal mellem 0 og 100 %. Det er ikke automatisk en pålidelig sandsynlighed.

    Vil du prøve at træne en model nu? Du kan springe de øvrige neurontrin over og vende tilbage til dem senere.

    Næste eksperiment · ca. 3 min.

    Hvad gør en vægt?

    Et input er et tal, neuronen modtager. En vægt bestemmer inputtets bidrag: input × vægt. Her følger vi input x₂ og vægt w₂.

    Flyt vægten fra −1 til 0. Hvad sker der med bidraget og neuronens output?

    Output ved w₂ = −1—
    Output nu—
    Udforsk flere input og vægte

    Ændr ét tal ad gangen. En vektor er her en liste med to tal: den grønne pil viser input, og den orange viser vægte.

    Inputvektor x Vægtvektor w

    Se hele beregningen trin for trin
    Beregningen · trin for trin

    Følg tallene gennem neuronen

    Første bidrag · x₁ × w₁—
    Andet bidrag · x₂ × w₂—
    Prikprodukt · x₁w₁ + x₂w₂—
    Tilføj bias · z = x · w + b—
    Sigmoid · σ(z)—

    Sigmoid omdanner summen til et tal mellem 0 og 1. I visse klassifikationsmodeller fortolkes det som et sandsynlighedsestimat, men et tal i dette interval er ikke automatisk en pålidelig sandsynlighed.

    Fra én neuron til et lag · ca. 15 min.

    To neuroner. Én vægtmatrix.

    De samme to input går til begge neuroner. Hver forbindelse har sin egen vægt. Rækkerne i matrixen hører til hver sin neuron; kolonnerne hører til input 1 og 2.

    Prøv først
    x₁x₂z₁z₂

    Grøn fuld streg: positiv vægt · orange stiplet streg: negativ vægt. Tykkelsen viser vægtens størrelse. Tallene til højre er summerne før aktivering.

    W =
    × x + b = z

    Neuron 1: → ReLU:

    Neuron 2: → ReLU:

    Udforsk flere input og vægte
    Input
    Vægtmatrix W · række, kolonne
    Flere forsøg og beregningen bag

    Åbn også «Udforsk flere input og vægte». Forudsig hvad der sker med begge summer, når du ændrer x₁. Nulstil, og ændr kun w₁₂. Kan du gøre z₁ negativ og se, hvad ReLU gør?

    Med input som en søjle skriver vi z = Wx + b. Her er W 2 × 2, x har 2 tal og bias er fast b = (0,5; −0,5). ReLU giver max(0, z) for hver neuron. I PyTorch skrives batch-formen XWᵀ + b, fordi eksemplerne ligger som rækker.

    Dette er en separat, manuelt indstillet fremadberegning; den trænes ikke. Et rigtigt lag kan have andre dimensioner og aktiveringsfunktioner. Når vægtene er fastlagt, bruges de samme vægte for hvert eksempel i en batch.

    Fagligt grundlag: PyTorch: lineært lag og dimensioner ↗ · PyTorch: ReLU ↗ · gennemgået 31. oktober 2026.

    Et kig baglæns · ca. 10 min.

    Hvordan påvirker en vægt fejlen?

    Her prøver du en separat neuron med ét input. Et kendt svar er facit; tabet fortæller, hvor forkert neuronens bud er. Vælg et facit, og opdatér vægten én gang.

    Fremad →
    SUM—
    Sigmoid—
    LOG-TAB—

    Udforsk input, vægt og beregningen bag

    Den beregner z = x · w + b, derefter p = sigmoid(z) og et binært log-tab for facit y. Når y = 1, er tabet −ln(p); når y = 0, er det −ln(1 − p).

    ← Baglæns: lokale hældninger
    ∂ tab / ∂ p—
    ∂ p / ∂ z—
    ∂ z / ∂ w—
    ∂ tab / ∂ w—

    Hver lokal hældning fortæller, hvordan ét trin ændres ved en lille ændring i sit input. Kædereglen ganger dem sammen: således finder vi, hvordan tabet ændres, når vægten ændres en lille smule. Den numeriske kontrol prøver små ændringer af vægten og sammenligner tabet.

    Prøv selv: Vælg først y = 1 og derefter y = 0 med x = 1 og w = 0. Hvordan skifter vægtens gradient fortegn? Sæt så x = 0: Hvorfor kan denne vægt ikke påvirke tabet for netop dette eksempel?

    Opdateringen bruger læringsrate 0,2 og ændrer kun vægten for ét eksempel; bias holdes fast. I et netværk med mange lag og datapunkter beregnes og samles flere gradientbidrag. Visualiseringen regner i browseren; PyTorch bruger autograd til at beregne gradienter automatisk i den senere øvelse.

    Fagligt grundlag: PyTorch: autograd og kædereglen ↗ · Google: backpropagation ↗ · gennemgået 31. oktober 2026.

    Fra én beregning til en model

    Hvad betyder tallene?

    01

    Input

    To målinger eller egenskaber beskrives med hver sit tal. Hvilke egenskaber der bruges, afhænger af opgaven.

    02

    Vægte og bias

    Vægte bestemmer inputtenes bidrag til summen. Bias forskyder summen, også når input er nul.

    03

    Aktivering

    Sigmoid omsætter summen til et tal mellem 0 og 1. Andre neuroner kan bruge andre aktiveringsfunktioner.

    En afgrænset model: I vektordiagrammet ovenfor indstiller du selv tallene. Den separate backpropagation-øvelse opdaterer én vægt for ét eksempel. I næste øvelse lærer en model sine parametre ved at måle fejl og opdatere dem.

    Fagligt grundlag: Google: vægtet sum og sigmoid ↗ · PyTorch: sigmoid ↗ · gennemgået 31. oktober 2026.

    Laboratorium / 01

    Se en model lære.

    Træn en lille model til at finde en sammenhæng i data. Den opdaterer faktisk sine to tal ud fra sine fejl — direkte på din enhed.

    Eksperiment 01 · rigtig model

    Find linjen i data

    Modellen prøver at finde en linje, der passer til de grønne punkter. Hvad tror du, der sker med dens fejl, når du træner?

    Vælg et bud, hvis du vil, og træn derefter modellen.

    Træningsskridt0
    Træningsfejl—Grønne punkter · bruges til at justere modellen
    Valideringsfejl—Orange punkter · bruges til at måle modellen

    Træningsdata Valideringsdata Modellens nuværende linje

    De orange punkter bruges til validering, ikke til træning. Fejlene er gennemsnitlige kvadrerede lodrette forskelle mellem punkter og linje.

    Udforsk indstillinger og parametre

    En større læringsrate giver større ændringer pr. skridt. En for stor rate kan få fejlen til at vokse. Nulstil, prøv 0,05 og derefter 0,5, og sammenlign kurverne. Læs om læringsrate ↗

    ForsigtigStor
    ŷ = 0.00x + 0.00

    ŷ er modellens bud. Vægt og bias er de to tal, træningen ændrer. Valideringspunkterne er ikke et urørt testsæt, da du kan justere efter dem.

    Hvad skete der?

    En lille model. En stor idé.

    Hvilken af de to fejl blev brugt til at justere modellen? Hvad kan den anden fortælle dig?

    Vis et hint

    Modellen justeres efter de grønne træningspunkter. De orange valideringspunkter måler, hvordan den klarer andre eksempler i dette lille datasæt; de beviser ikke, at den virker på alle nye data.

    01

    Et gæt

    Når du nulstiller modellen, er vægt og bias nul, og linjen er vandret.

    02

    Mål fejlen

    Afstanden mellem modellens bud og de kendte svar bruges til at beregne en fejl.

    03

    Opdatér

    Gradient descent bruger fejlen til at vælge retningen for en parameterændring. En for stor læringsrate kan alligevel øge fejlen. Gentag og mål på valideringsdata.

    Dette er lineær regression på et lille syntetisk datasæt, ikke et neuralt netværk. Den samme idé om at optimere parametre er en byggesten i deep learning.

    Videre læsning: Google Machine Learning Crash Course: gradient descent ↗

    Laboratorium / 02 · ca. 25 min.

    Når modellen lærer for meget.

    En model kan ramme de data, den har set, og stadig fejle på nye eksempler. Sammenlign tre modeller og undersøg hvorfor.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Hvilken kurve generaliserer?
    • Prøv en afsluttende test
    • Hvad fortæller kurverne dig?
    • Hvad gemmer sig bag gennemsnittet?

    Fundament / sandsynlighed · ca. 10 min.

    Samme chance.
    Forskellige resultater.

    En måling bygger på konkrete eksempler. Se, hvorfor resultatet kan variere, selv når den underliggende chance er uændret.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Chance og stikprøve
    • Hvor meget kan en måling svinge?
    • Hvad betyder et 95 %-interval?

    Laboratorium / 03 · ca. 35 min.

    Træn et lille neuralt netværk.

    Kan en model lære en sammenhæng, som en enkelt ret linje ikke kan adskille? Træn et netværk og undersøg det indefra.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Fire grupper, to klasser
    • Kan informationen læses ud?
    • Tre ting at lægge mærke til.
    • Læser proben og modellen det samme?

    Laboratorium / 04 · AI safety

    Undersøg modeladfærd.

    Start med et konkret chatsvar, og undersøg derefter, hvordan en lille model kan lære en skrøbelig genvej.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Hvad fortæller et chatsvar?
    • To signaler. Én skjult genvej.
    • Hvilke fejl gemmer sig i scoren?
    • Kan et lille indgreb ændre svaret?
    • Når belønningen favoriserer en genvej

    Fundament / Python · ca. 65–80 min.

    Læs kode.
    Prøv den selv.

    Du behøver ikke kunne programmere på forhånd. Lær de første byggesten, og skriv derefter små funktioner, der ligner dem i et ML-projekt.

    Følg koden

    En funktion, tre input

    Trinvis visning

    En funktion er en navngivet opskrift. return giver svaret tilbage. En liste holder flere værdier, og en for-løkke gentager noget for hvert element.

    Forudsig først resultatet for x = −1. Tryk derefter på Næste gennemløb. Ændr vægt og bias, og se både kode og beregning ændre sig.

    def predict(x, weight, bias):
        return x * weight + bias
    
    inputs = [-1, 0, 1]
    outputs = []
    for x in inputs:
        outputs.append(predict(x, 2, 1))
    1 / 4Start
    Inputs
    −101

    outputs = []
    Prøv selv med et nyt input

    Hvad giver predict(2, weight, bias) med skydernes aktuelle værdier?

    Du kan prøve igen eller springe opgaven over. Svaret registreres ikke som et bestået tjek.

    Tallene genberegnes i browserens JavaScript, når du ændrer en skyder; browseren kører ikke Python-koden. Den næste øvelse bruger samme funktion med tre argumenter og lader dig skrive og køre rigtig Python lokalt.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • En funktion, tre input

    Praktisk projekt / 05 · ca. 30–60 min.

    Fra browser til rigtig kode.

    Træn et lille neuralt netværk med Python og PyTorch. Du får træningsmålinger, en graf og modellens gemte vægte, som du selv kan undersøge.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Et eksperiment, du selv ejer
    • Skriv dit eget træningsskridt
    • Skriv et næste-token-skridt

    Laboratorium / 06 · mechanistic interpretability · ca. 25 min.

    Flyt en aktivering.
    Se hvad der ændrer sig.

    Activation patching er et kausalt indgreb: Vi kører den samme model på to input og erstatter en intern værdi fra det ene løb med en værdi fra det andet.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Fra input A til input B
    • Hvad har du faktisk målt?
    • Holder effekten på tværs af input?

    Projekt / 07 · transformers · ca. 135–185 min.

    Træn en transformer.
    Undersøg attention.

    Byg videre på Python-øvelsen: Træn en lille kausal transformer lokalt, og indlæs dens faktiske attention-matrix her i browseren.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Træn en model til at gætte næste tegn.
    • Hvad hjælper et ekstra tegn?
    • Hvad blander attention sammen?
    • Hvilket symbol kom først?
    • Grib ind i din trænede transformer.

    LLM-projekt · ca. 25–40 min.

    Træn en lille tekstmodel.

    Gå fra næste-token-idéen til en faktisk transformer, som du selv træner og undersøger.

    Tekstprojekt / 1 · browser eller lokal Python

    Træn en model på tekst

    Start med de to sætninger, og se, hvordan modellens gæt ændrer sig. Du kan prøve dine egne tekster og senere træne en lille transformer i Python.

    Træn på tekst i browseren

    Modellen ser to tegn og gætter det næste. Tryk Træn for at starte; ændrer du teksten, oprettes en ny model ved næste træning.

    Dette er en lille undervisningsmodel med ét attention-head og en fast pladsholder ?, ikke Python-transformeren nedenfor eller en fuld LLM. Den beregner kun output ved pladsholderen og har ingen MLP eller layer normalization.

    Brug 4–160 tegn pr. tekst og højst 24 forskellige tegn i træningen. Valideringen skal bruge kendte tegn. Teksterne og modellen gemmes kun lokalt, hvis du selv vælger det nedenfor; de indgår ikke i sikkerhedskopien.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Træn en model på tekst
    • Hvad lærte tekstmodellen?
    • Træn med din egen tokenizer
    • Tilpas en rigtig sprogmodel.

    Forskningsøvelse / åben model · ca. 45–90 min.

    Undersøg en rigtig sprogmodel.

    Tag metoden fra de små eksperimenter med over til et åbent, fortrænet checkpoint. Her analyserer du modellen lokalt; du træner den ikke fra bunden.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • To prompts. Et kausalt indgreb.
    • Er mønstret stabilt på tværs af eksempler?
    • Hvor i prompten ændres resultatet?
    • Gentagelse i en rigtig sprogmodel

    Forskningsprojekt / 08 · ca. 60–120 min.

    Fra øvelse til forskningsnotat.

    Formulér en hypotese, gentag et forsøg på flere små modeller, og skriv, hvad resultaterne kan og ikke kan fortælle dig.

    Fuld adgang

    Fortsæt med hele laboratoriet

    Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:

    • Hvor stabil er patch-effekten?

    Dit kort

    En vej ind i forskningen.

    Fra dine første LLM-øvelser til små forskningsprojekter.

    Vælg en retning

    Hvad vil du arbejde hen imod?

    Alle starter med LLM’er. Hver retning husker din placering, og du kan skifte undervejs.

    Retningen gemmes lokalt, når browserlagring er tilgængelig.

    Se ruten og spring til et emne

    Den guidede vej: Fra tokens til attention og derefter videre i den valgte retning.

      Fundament undervejs: Senere projekter forudsætter matematik og programmering. Tag eller genopfrisk emnerne her, når du har brug for dem.

        Den guidede start går fra tokens til attention. Emnelisten indeholder også fundament, som du kan tage efter behov; senere projekter bygger på det. Lokale projekter kræver installation.

        Din fremgang

        0 / 12 forståelsestjek

        Små tjek giver feedback på din forståelse. Resultaterne er ikke en eksamen.

        Se alle forståelsestjek
        En mulig rækkefølge

        Gå på opdagelse, trin for trin.

        Begynd med de første øvelser, eller vælg et spor efter interesse. Vejledende tid inkluderer ikke lokal installation.

        Se den langsigtede forskningsretning
        Det længere perspektiv

        Den videre vej mod forskning.

        Forløbene nedenfor viser den videre vej. Nye emner kommer løbende.

        Et ærligt mål. Vejen til et forskningsjob kræver dyb praksis, selvstændige resultater og ofte samarbejde med andre. Dette kort er en retning — ikke et løfte om ansættelse.
        Dit arbejde

        Din eksperimentlog.

        Rigtige forskere skriver ikke kun resultater ned. De skriver også, hvad de forventede, og hvad der overraskede dem.

        Gem en observation

        Kun på denne enhed

        Dine noter

        Tag dit arbejde med dig

        Sikkerhedskopi af dine noter og din fremgang

        Dine noter, forståelsestjek, registrerede trin, læringsplacering, valgt retning og nogle gemte browsermodeller ligger kun her. Gem en kopi, hvis du vil flytte dem eller beskytte dem mod tab.

        Indlæs og sammenlæg en kopi

        Vælg en tidligere kopi og gennemgå ændringerne. Noter og beståede tjek sammenlægges; eksisterende modeller, placering og retning bevares som udgangspunkt.

        Filen er ikke krypteret og kan indeholde dine egne noter samt eventuelt tilvalgte tekster og safety-kladde. Opbevar den, som du ville opbevare andre private filer. De almindelige gemte browsermodeller er med; tekstmodellen medtages kun ved tilvalg. Midlertidige målinger, generaliseringsmodeller og lokalt kørte PyTorch-projekter er ikke med. Filen behandles lokalt og sendes ikke til en server.