Fejl –
Rør ved modellen
Skift tekst, vægte og indstillinger, og se modellen reagere med det samme.
Interaktive øvelser, hvor du selv træner modeller direkte i browseren – fra de første tokens til transformere, AI safety og interpretability. Ingen installation, og du behøver ikke kunne programmere.
0 tegn → 0 tokens
Samme idé som i det første laboratorium: de hyppigste nabopar flettes sammen, ét ad gangen. Det er en øvelsesmodel, ikke en færdigtrænet tokenizer.
Fejl –
Skift tekst, vægte og indstillinger, og se modellen reagere med det samme.
Skridt 0 · Fejl –
Tokens, tab, attention og aktiveringer bliver vist, mens modellen træner.
Skriv observationer i din eksperimentlog, og sammenlign dine forsøg.
14 laboratorier i fire spor. Du starter gratis og kan til enhver tid låse resten op.
Sikker betaling med Stripe
Har du allerede en adgangsnøgle?
Alle laboratorier er låst op i denne browser. Gem din adgangsnøgle, hvis du vil bruge Learn the Machine på en anden enhed.
…Nej. Alle laboratorier kører i browseren, og du styrer dem med knapper, skydere og din egen tekst. Python-delene er valgfrie og til dig, der vil videre.
En nyere browser som Chrome, Edge, Firefox eller Safari. Det virker på mobil, men en computer eller tablet giver den bedste oplevelse i de større laboratorier.
I din egen browser. Der er ingen konto, og dine noter og modeller bliver ikke sendt til os. Du kan tage en sikkerhedskopi fra eksperimentloggen.
Efter købet får du en adgangsnøgle. Indløs den på den nye enhed under „Har du allerede en adgangsnøgle?“.
Du får adgang med det samme. Når du betaler, accepterer du derfor, at fortrydelsesretten bortfalder, når leveringen er begyndt. Skriv til os, hvis noget ikke virker, så finder vi en løsning.
Ja. Skift sprog øverst på siden. Den gratis start er oversat, og resten bliver oversat løbende.
Bygget til forståelse, ikke bare svar. Nye laboratorier og øvelser kommer løbende.
Inden en sprogmodel kan arbejde med tekst, omsætter en tokenizer teksten til en sekvens af ID-numre. Lad os undersøge hvordan.
Et token kan være et ord eller en del af et ord. Tryk på «Flet næste par» for at samle det hyppigste par, og prøv derefter din egen tekst. I denne øvelse skal et par forekomme mindst to gange for at blive flettet. Det er en undervisningsmodel, ikke en færdigtrænet LLM-tokenizer.
Når du ændrer teksten, starter sammenfletningerne forfra. En model trænet på opdelingen starter også forfra.
Runde 0
Din opdeling · stiplet kant markerer det, der blev dannet i den seneste runde. ␠ viser mellemrum, ↵ linjeskift.
Prøv de to udgaver af é. De kan se ens ud, men er forskellige sekvenser af Unicode-kodepunkter og bytes. En tokenizer kan normalisere teksten først; andre bevarer forskellen. I næste trin kan du sammenligne de to former med rigtige tokenizers under «Udforsk sprog, Python og tokenvisning».
Unicode-kodepunkter
UTF-8 er én måde at kode tekst som bytes. Hver byte er ikke nødvendigvis ét token; tokenizers kan bruge forskellige regler. Optælling af synlige tegn følger browserens Unicode-segmentering, når den er tilgængelig.
␠ viser mellemrum, ↵ linjeskift.
Øvelsen starter med Unicode-kodepunkter, som her kaldes tegn. Et synligt tegn kan bestå af flere kodepunkter. Øvelsen lærer reglerne fra din tekst. En rigtig model-tokenizer bruger allerede lærte regler.
Skriv en ny tekst. Vi bruger kun reglerne fra træningsteksten ovenfor og de valgte runder; den nye tekst lærer ikke tokenizeren flere regler.
Denne simple model starter med tegnene fra træningsteksten. Ukendte tegn er markeret som tegn uden for ordforrådet. Øvelsen beregner ikke token-ID’er; rigtige tokenizers kan håndtere ukendte tegn på andre måder.
Vælg en runde for at se tekstens opdeling efter den runde. Listen viser de runder, der er mulige med din tekst, også når skyderen står lavere. Ved lige mange forekomster vælges det par, der optræder først i teksten.
Ordforrådet starter med forskellige tegn fra teksten. Hver valgt sammenfletning kan tilføje et nyt stykke; tidligere stykker beholdes, selv om de ikke længere vises i tekstens aktuelle opdeling.
Oprindelige tegn
Nye stykker fra valgte sammenfletninger
Dette er en lille undervisningsmodel uden token-ID’er. En rigtig model-tokenizer har sit eget fastlagte ordforråd og kan arbejde anderledes.
I hver runde tælles par også, når de overlapper. Derefter flettes parrene fra venstre mod højre uden overlap; derfor kan færre blive flettet end talt. Her læres sammenfletningerne af netop teksten ovenfor. Rigtige model-tokenizers er allerede trænet på langt større datamængder og bruger deres faste ordforråd på ny tekst.
Sammenlign to model-tokenizers på den samme tekst. Et token-ID hører til tokenizerens eget ordforråd.
Qwen3.5 er nyere end Qwen2.5, Pythia og GPT-2. BERT er en ældre WordPiece-model med et andet træningsmål end en autoregressiv chatmodel.
Du kan gætte før sammenligningen, se interne tokenstykker eller prøve en guidet modeltræning.
Det guidede eksempel erstatter teksten ovenfor, sammenligner tokenizerne og åbner en mikromodel med en testtekst klar.
Kører i din browser. Første gang indlæses de valgte tokenizerfiler fra denne side. Standardvalget Qwen3.5 og GPT-2 er tilsammen cirka 14 MB ukomprimeret; faktisk download afhænger af komprimering og cache. Sammenligningen viser kun tekst, ikke modellens billedinput.
Øvelsen klargøres. Hvis den ikke bliver klar, kan du prøve at genindlæse siden.
Ved genforsøg gemmes teksten og dine tokenizer-valg midlertidigt i denne fanes sessionslager og fjernes efter genindlæsning. Andre øvelsers ugemte arbejde kan gå tabt.
Sammenligningen tilføjer ikke automatisk specialtokens, som en model kan bruge.
É som ét kodepunkt og e + accent ser ofte ens ud, men har forskellige bytes. Undersøg begge former med de to valgte tokenizers.
Sammenlign ID’er inden for samme tokenizer. Ens ID’er kan opstå ved normalisering eller tab af information, eksempelvis [UNK]; det viser ikke, hvad en model forstår. Ingen specialtokens tilføjes automatisk.
Undersøg de to valgte tokenizers på en kort hilsen på dansk, engelsk og japansk. Gæt først: Fordeler antallet af tokens sig ens på sprogene?
Hilsnerne har omtrent samme betydning, men ikke samme tegn eller længde. Eksemplerne viser ikke hele sprogs tokenisering eller modelkvalitet. BERT kan erstatte ukendt tekst med [UNK], så færre tokens kan også betyde tabt information. Et lavere tokenantal kan påvirke hvor meget tekst der er plads til, men siger ikke alene noget om svarenes kvalitet.
python -m pip install transformers.python sammenlign.py --tekst "Hej verden!" i samme mappe. Standardvalget er Qwen3.5 og GPT-2; første kørsel henter tokenizerfiler, ikke modelvægte.tokenizers-resultat.json herunder. Python læser ikke valgene ovenfor: brug fx --foerste qwen --anden bert for andre tokenizers. Mulighederne er qwen35, qwen, pythia, gpt2 og bert. Brug --output andet-navn.json ved næste kørsel; eksisterende filer overskrives ikke. --offline bruger filer, der allerede er hentet.For ByteLevel BPE vises stykker som læsbar tekst, når deres bytes alene danner gyldig UTF-8; ellers vises byteværdier. For BERTs WordPiece markerer ## en fortsættelse, og [UNK] kan erstatte ukendt tekst. Et tegn kan være delt mellem flere tokens. ␠ viser mellemrum, ↵ linjeskift og ⇥ tabulator. Slå interne stykker til for at se symboler som Ġ. Resultatet udelader automatisk tilføjede special tokens; hvis du selv skriver en genkendt special token, kan den dog blive genkendt. Resultatet er derfor ikke nødvendigvis lig en færdig chat-prompts tokenforbrug.
Kilder: Hugging Face: tokenizerens dele og OpenAI: tiktoken og BPE · Hugging Face: BERT og WordPiece.
1 / 5 · Tekst
En tekst er udgangspunktet. Den kan for eksempel være din besked til en sprogmodel.
GPT-2 og Pythia giver begge teksten Hello ét token, men med forskellige ID’er.
Hvad svarer GPT-2’s ID 15496 til i Pythias ordforråd?
I Pythia er ID 15496 ␠counting, ikke Hello. Modellen slår ID’et op i sin egen embeddingtabel; den ved ikke, at ID’et kom fra en anden tokenizer. Brug den tokenizer, der hører til modellen. ␠ viser et indledende mellemrum.
Opslag i de fastlåste GPT-2- og Pythia-ordforråd uden automatisk tilføjede special tokens. Eksemplet viser ID-opslag, ikke en modelkørsel.
Dette diagram forklarer processen; det kører ikke selve modellen.
Du kan prøve igen eller fortsætte; tjekket gemmes ikke som en bestået prøve.
To korte engelske prompts er kørt på forhånd gennem den lille, åbne basismodel Pythia-70M. Vælg en sætning:
Paris og Rome er hver ét token i dette konkrete eksempel. Placeringen tæller tokens med højere sandsynlighed plus én. En lav sandsynlighed for ét næste token afgør ikke alene, hvad en længere fortsættelse ville indeholde.
␠ viser et indledende mellemrum. De fem viste er hvert sit mulige næste token; resten er summen af alle øvrige tokens, ikke ét token. Fordelingen er før sampling. Modellen er lille og ikke en chatassistent; det mest sandsynlige token behøver ikke være det korrekte svar.
Eksemplerne kommer fra Pythia-70M's fastlåste checkpoint, uden automatisk tilføjede special tokens. Softmax er beregnet over hele ordforrådet ved temperatur 1. Hent Python-programmet for at genskabe resultatet med PyTorch og Transformers. Første kørsel henter modellen; det forudberegnede eksempel ovenfor kræver ingen installation.
Sammenlign eventuelt en tekst på forrige trin for at se dens første token-ID’er her.
Her bruger vi undervisningstokenizerens opdeling fra trin 1, ikke model-tokenizeren fra sammenligningen ovenfor. Vælg en position: Konteksten er tokenene før positionen, og facit er det næste token.
Kontekst
Næste token · facit fra teksten
␠ viser mellemrum; ↵ viser linjeskift. Dette er undervisningstokenizerens opdeling, ikke tokenizeren fra modelsammenligningen. Figuren ovenfor viser data. I næste trin træner du også en separat tegnmodel på andre eksempeltekster. Rigtige træningsvinduer kan have begrænset kontekst; det første token kræver en startkontekst og vises ikke som facit her.
Denne lille tabelmodel bruger kun det seneste token som input og gætter det næste. Den starter med lige sandsynligheder og trænes på cirka de første 75 % af tokenparrene; resten bruges til måling. Ordforrådet og sammenfletningerne er lavet med hele teksten, og par kan gentages på begge sider. Valideringen er derfor ikke en uafhængig test. Det er en bigrammodel, ikke en transformer.
Kurverne viser målinger før og efter hvert tryk på træningsknappen. Lavere tab betyder højere sandsynlighed for de faktiske næste tokens. Valideringsparrene bruges ikke til vægtopdatering, men kan ligne eller gentage træningsparrene.
━ Træning ┄ Validering · vandret: træningsskridt · lodret: tab i nats pr. par, fra nul.
| Skridt | Træningstab | Valideringstab |
|---|
Et par er inputtoken → facit. Vi tæller forekomster, også gentagelser. Et nyt par kan bruge et inputtoken, som modellen allerede har trænet på.
Gruppetallene er beskrivende: grupperne kan have forskelligt indhold og få par. Også et nyt par kommer her fra samme tekst, og tokeniseringen er lavet på hele teksten. Det er ikke en uafhængig sluttest.
Historikken er kun i denne sidevisning og er ikke med i forsøgsfilen. Ved genåbning begynder grafen med den gendannede models aktuelle måling.
Søjlerne viser fordelingen for det valgte eksempels seneste konteksttoken. Facit er markeret. Modellen nulstilles, når opdelingen ændres. Hent en forsøgsfil nedenfor, hvis du vil genåbne den. Ingen tekst sendes væk fra browseren.
Denne model ser kun det sidste token før facit. Findes det samme sidste token efter forskellige tidligere tokens, får de to eksempler derfor samme fordeling — også når facit er forskelligt. Det er en begrænsning ved denne tabelmodel; en transformer kan bruge flere tidligere tokens inden for sit kontekstvindue.
Søjlerne viser sandsynligheden for hvert eksempels facit på samme 0–100 %-skala. Vælg et andet eksempel ovenfor, eller ændr teksten og tokeniseringen. Sammenligningen bruger de aktuelle modelvægte.
Hent en fil med din tekst, tokenopdeling, modelvægte og antal skridt. Den gemmes kun på din enhed, indeholder din tekst og er ikke krypteret. Den indgår ikke automatisk i Learn the Machines øvrige sikkerhedskopi.
Når du vælger Gendan, erstatter filen den aktuelle tekst, opdeling og model. Hent den aktuelle forsøgsfil først, hvis du vil beholde den. Filer kan redigeres; deres oprindelse kan ikke verificeres.
Vi bruger de samme lærte sammenfletninger og modelvægte på teksten nedenfor. Se, hvor mange af dens tokenpar der også forekom i modellens træningspar. Teksten kan ændres og genbruges, så den er ikke en urørt sluttest.
| Gruppe | Antal par | Gennemsnitstab · nats |
|---|
Et lavere gennemsnitstab betyder højere gennemsnitlig log-sandsynlighed for facit. Grupperne kan indeholde gentagelser; forskellige par gør dem ikke direkte sammenlignelige som et kontrolleret eksperiment.
| Input → facit | Set i træning? | Facitsandsynlighed |
|---|
Et kendt tokenpar kan være gentaget flere gange og er ikke en uafhængig observation. Modellen har intet ukendt-token: Hvis et token ikke findes i dens ordforråd, kan hele teksten ikke måles her. Teksten behandles lokalt.
To forekomster af samme token-ID har samme input-embedding i modellen. Hvad kan ske med deres repræsentationer efter et transformerlag?
Du kan prøve igen eller fortsætte; svaret registreres ikke som en bestået prøve.
Her roteres en fast query og key hver efter sin position. Prøv først at flytte begge én position frem. Ændr derefter kun key-positionen. Sammenlign prikproduktet, som kan indgå i en attention-score.
Grøn, fuld linje: query. Orange, stiplet: key. Hver linje starter i midten og slutter ved vektoren.
Eksemplet bruger to faste todimensionelle enhedsvektorer og 30° pr. position. Flytter du begge lige langt, bevares deres relative vinkel og prikprodukt. Flytter du kun én, kan det ændre sig; effekten er ikke altid aftagende med afstand. Prøv også at ændre keyens startretning uden at flytte positionerne: Samme afstand kan give et andet prikprodukt. Startretningen er valgt til øvelsen, ikke lært af tekst. Her beregnes hverken softmax eller kausal maske, så key kan vælges efter query.
RoPE bruger rotation af query og key i attention. Rigtige modeller har mange komponentpar og frekvenser, ofte også andre varianter, og query/key afhænger af indhold og kontekst. En fælles positionsforskydning bevarer derfor ikke nødvendigvis hele modellens output. Den lille browser-transformer i transformer-lab bruger i stedet lærte positionsvektorer; denne illustration træner ikke en model.
Det medfølgende eksempel bruger lag 0, head 0 og teksten “The capital of France is”. Du kan også åbne en lokal måling med egen tekst og egne valg.
Skriv teksten, og brug Pythias tokenizer til at finde positionerne. Teksten behandles i browseren; første gang hentes tokenizerfilerne fra siden. Vælg query og key, og brug numrene i Python-kommandoen nedenfor. Dette kører ikke sprogmodellen.
Forhåndsvisningen klargøres. Hvis den ikke bliver klar, kan du genindlæse siden.
␠ viser mellemrum; bytes i kantede parenteser kan være dele af et tegn. Ingen automatiske specialtokens er tilføjet.
QUERY markerer positionen, der ser tilbage; KEY markerer positionen, den sammenlignes med. Markeringerne viser positioner i teksten, ikke selve query- og key-vektorerne. Key kan kun være ved eller før query i dette kausale forsøg. Samme position kan have begge roller.
Læg den hentede rope-tekst.txt i samme mappe som rope_pythia.py, og kør kommandoen derfra. Brug den seneste version af programmet via linket nedenfor. Kommandoen følger dine valgte positioner.
Hvis browseren omdøber tekstfilen, skal filnavnet i kommandoen ændres tilsvarende. Vælg et nyt outputnavn, hvis min-rope.json allerede findes. Tekstfilen og resultatfilen indeholder din tekst og bliver på din egen enhed, indtil du selv deler dem.
Det valgte komponentpar er kun ét bidrag. Pythia roterer 16 af 64 komponenter i dette head; de øvrige passerer uændret. Hele prikproduktet før rotation er en beregnet sammenligning, ikke den score modellen faktisk anvender. Modellen skalerer den roterede score og bruger softmax over alle tilladte keys, så attention-vægten ikke kan udledes af dette par alene. Eksemplet er én tekst og ét head, ikke evidens om alle inputs.
Gentag lokalt med fast checkpoint: Hent rope_pythia.py og kør python rope_pythia.py --output min-rope.json. Første kørsel henter modellen; tilføj --offline når den er cached. Før du vælger positioner, se tokennumrene med python rope_pythia.py --text "The cat and the cat" --list-tokens. Denne kommando bruger kun tokenizeren og indlæser ikke modelvægtene. Brug derefter numrene i en måling, fx python rope_pythia.py --text "The cat and the cat" --query 4 --key 1 --layer 1 --head 3 --pair 2 --output mit-forsøg.json. Teksten skal give 2–32 tokens; positioner tælles fra 0, og key må ikke ligge efter query. Lag er 0–5, heads og komponentpar 0–7. Uden positionsvalg bruges sidste query og en key op til to pladser før. Filen indeholder teksten, token-ID’er og målinger; del den kun efter eget valg. Åbn den ovenfor. Kun samme opsætning sammenlignes direkte med standardeksemplet. Filer og hashes kan redigeres.
Kilder: Su m.fl.: RoFormer ↗ · Hugging Face: RoPE-varianter ↗.
Vælg to tokens fra en rigtig, åben sprogmodel. Prøv først ␠cat og ␠dog, og vælg derefter samme token to gange. Hvad sker der med ligheden?
Vil du se, hvad der sker gennem modellen? Start et færdigt forsøg med teksten The cat and the cat.
Her sammenligner du to forudberegnede kørsler: A: The cat and the cat og B: The dog and the cat. Kun tokenet på position 2 er ændret. Det sidste ␠cat har samme ID og position i begge tekster. Forudsig først: Er dets aktivering efter lag 1 ens?
Prøv også at sammenligne det første token, The, i A og B. Det står før ændringen og kan ikke se senere tokens i denne model. Største komponentforskel sammenfatter alle 512 tal; cosinus måler retning. To eksempler viser ikke, hvilken intern mekanisme der forårsager forskellen.
Eksemplet er forudberegnet fra Pythia-70M og hentes først, når du trykker. Ingen installation nødvendig.
De første 8 af 512 komponenter. Stregens retning viser fortegnet; begge tokens bruger samme skala.
␠ betyder mellemrum. ␠cat og cat er forskellige tokens med forskellige ID’er. Figuren viser et udsnit, ikke en projektion af hele vektoren; ligheden beregnes på alle 512 tal. Cosinuslighed måler vinklens lighed fra −1 til 1 og siger ikke i sig selv, hvad modellen forstår eller vil svare. Input-embedding er en vægt før transformerens kontekstbehandling. Et transformerlag viser derimod aktiveringen på en position efter laget. Den kan påvirkes af tidligere tokens og positionen; cosinus alene fortæller ikke hvorfor to aktiveringer er forskellige.
De seks vektorer er udtrukket på forhånd fra Pythia-70M, fastlåst checkpoint; ingen modelvægte trænes eller ændres her. Token-ID’er og vægte gælder denne model, ikke de andre tokenizers. Du kan reproducere udtrækket: Hent export_embeddings.py, installér PyTorch og Transformers, og kør python export_embeddings.py --output pythia-embedding-examples.js. Første kørsel henter modellen. Filen indeholder kun de seks valgte vektorer.
python export_embeddings.py --tekst "The cat and the cat" --lag --output mine-embeddings.json. Første gang hentes model og tokenizer. Vælg senere din egen korte tekst; den skal give 2–16 tokens. Hvis filnavnet allerede findes, vælg et andet navn.Fil og tekst behandles lokalt på din computer og sendes ikke til Learn the Machine. Python-programmet henter model og tokenizer fra Hugging Face første gang. Filen indeholder tokenstykker, ID’er og vektorer fra din tekst, herunder lagaktiveringer når du bruger --lag; del den kun, hvis du ønsker at dele dette. Gentagne ID’er bruger samme inputvektor, uanset position. Med --lag køres teksten også gennem modellen, og vektoren efter hvert af de seks transformerlag gemmes før modellens afsluttende normalisering. Modellen kan kun bruge den aktuelle og tidligere tekst, ikke efterfølgende tokens. Forskelle kan ikke alene tilskrives ét bestemt ord eller én mekanisme. De importerede tokenstykker er tokenizerens interne symboler; ␠ viser Ġ, mens andre byte-symboler ikke nødvendigvis kan læses som almindelig tekst. Filen beskriver sin oprindelse, men siden kan ikke verificere vægtenes ægthed.
Vælg et opdigtet token-ID, og se den tilhørende vektor som et punkt. Flyt komponenterne, og se hvordan en lille outputberegning ændrer næste-token-fordelingen.
En lille fordeling over to mulige næste tokens:
Tallene, token-ID’erne og de to svarmuligheder er konstrueret til øvelsen. En fast lineær outputberegning og softmax giver fordelingen; skyderne ændrer en vektor manuelt, de træner den ikke. Her er ingen transformer eller kontekst fra tidligere tokens. En rigtig model har langt flere dimensioner og bruger transformeren mellem opslag og output.
Vil du se, hvordan en position kan blande information fra tidligere positioner? Næste øvelse bruger andre, konstruerede tal for query, key og value.
En chatskabelon gør beskeder med roller til én tokenfølge. Prøv et afgrænset eksempel med Qwen2.5-0.5B-Instruct: én systembesked og én brugerbesked, uden værktøjer eller tidligere samtale.
Tokenizeren kører lokalt i browseren og indlæses første gang, du bruger den.
Formateret tekst (linjeskift er en del af formatet):
Markørerne <|im_start|> og <|im_end|> er særlige tokens; rollen og linjeskift er også del af input. Antal tokens for hele chatten inkluderer systembeskeden og formatet. Forskellen kan ikke generelt tilskrives formatet alene, fordi opdeling afhænger af kontekst. Andre modeller og chatprodukter bruger andre skabeloner. Dette eksempel udelader værktøjer og historik og forudsiger ikke API-forbrug.
Kilder: Qwens fastlåste chatskabelon · Hugging Face: chat templates.
Her er hvert tegn et token. Modellen ser ét tegn og gætter det næste; den er ikke en transformer. Den har sit eget lille ordforråd og ændrer ikke tokenizeren eller Pythia-modellen fra før.
Ingen træningspar har dette tegn som input.
Dit bud vurderes efter næste træning. Under 0,05 procentpoint regnes som næsten uændret.
Du har nået grænsen på 1.000 skridt. Gem en observation, hvis du vil beholde den, og vælg Start forfra for at træne igen.
Se fordelingen nedenfor, eller fortsæt med attention.
Prøv en valgfri Python-opgave med forklaring og et sammenligneligt resultat. Du kan fortsætte med attention bagefter.
Træn to nye tegnmodeller fra samme nulvægte i 20 skridt. Model A ser de oprindelige tre sætninger. Vælg, hvad kat skal erstattes med for model B. Begge bruger 57 træningspar, samme læringsrate og den samme målesætning. Flere tegnpar kan ændres. Modellerne er opslagstabeller med ét tegns kontekst og har ingen attention-heads.
Under 0,05 procentpoint regnes som næsten ens. Buddet gemmes ikke og kan gives efter, at du har set resultatet.
Øverste søjle er A, nederste er B. Alle søjler bruger samme skala; tallene er antal, ikke sandsynligheder. ␠ viser mellemrum.
Målesætningen deler tegnpar med træningen og bruges gentagne gange. Forsøget sammenligner to små modeller; det måler ikke, hvordan et head opstår i Pythia.
Gem data, indstillinger og målinger i Eksperimentlog på denne enhed. Modelvægtene gemmes ikke; noten kan indgå i din sikkerhedskopi.
Øvrige samler de tegn, der ikke vises hver for sig. Alle observerede træningsfacit vises enkeltvis. Procenterne er afrundet.
Se hvordan buddene flyttede sig. Grøn er før og orange er efter den seneste træning. Søjlerne bruger samme 0–100 %-skala. Kun to mulige næste tegn vises; hele fordelingen summerer til 100 %.
Vægten er modellens score for dette tegnpar, ikke en sandsynlighed. Modellen omregner alle scorer for inputtegnet til sandsynligheder, der tilsammen giver 100 %. Træningen justerer også andre vægte.
Her er målingen fra seneste træning og dit eventuelle bud ved træningsstart. Den gemmes med modellen på denne enhed, når browserlagring virker, og kan medtages i sikkerhedskopien. Gem den i eksperimentloggen sammen med din valgfri bemærkning. Buddet dokumenterer ikke, hvad du vidste, før du åbnede øvelsen.
0 træningsskridt · træningstab — · valideringstab —
Træningstekst: “en kat kan se en mus.” · “en mus kan se en kat.” · “kat og mus kan se.”
Skriv selv softmax og gradienten. En lokal Python-opgave kontrollerer din kode og træner den samme lille næste-tegn-model i 20 skridt. Den kræver Python 3, men ingen ekstra pakker.
Opgaven bruger funktioner, lister og løkker. Du kan tage en introduktion først og vende tilbage hertil.
Et selvstændigt eksempel med ét træningspar og tre mulige næste tegn. Det ændrer ikke modellen ovenfor.
Softmax omregner scorer til sandsynligheder. For hvert tegn er gradienten sandsynlighed minus facit: 1 for det rigtige tegn, 0 for de andre.
Ændr én score ganske lidt op og ned. Forskellen i tab divideret med afstanden giver en numerisk tilnærmelse til gradienten.
Her bruges ±0,001 på ét eksempel. Python-checkeren bruger en anden lille ændring og flere mål. Tallene vises afrundet. Et numerisk tjek er en tilnærmelse ved bestemte input, ikke et bevis for, at koden altid er korrekt.
Eksemplet bruger ét gradientskridt med læringsrate 0,5. Kodeopgaven bruger flere tegn og gennemsnittet over alle træningspar. Træk den største score fra før exp for bedre numerisk stabilitet.
min_model.py, og kør python tjek_og_traen.py i mappen.naeste-tegn-resultat.json her og sammenlign træning og måletekster med browserens beregning.De åbne kontroller er ikke en fuldstændig kodetest. Python-koden kører på din computer; kør kun kode, du stoler på. Dette er én-tegns kontekst, ikke en transformer.
Når dine funktioner virker, kan du træne med samme dataændring som i browserforsøget. Den oprindelige resultatfil overskrives ikke.
python tjek_og_traen.py --replacement matVælg også kan eller kat som uændret kontrol. Programmet gemmer fx naeste-tegn-mat.json; åbn filen nedenfor. Browseren genberegner modellen for det angivne valg. Måleteksterne overlapper træningsdata og er ikke urørte sluttests.
P(a efter k) efter 20 skridt · samme skala fra 0 til 100 %.
I hvert felt: tab · sandsynlighed for a efter k.
| Skridt | Python | Browser |
|---|
Ingen af måleteksterne ændrer vægtene. Sammenlign før og efter inden for samme tekst; forskelle mellem tekster kan skyldes deres indhold. Efter gentagen brug er de ikke urørte sluttests.
Tab i nats pr. par · Python / browser.
| Skridt | Validering | Anden tekst |
|---|
Sammenligningen genberegner en separat model fra nul i browseren. Tallene og hashene kan redigeres; overensstemmelse beviser ikke filens oprindelse eller at koden virker for alle input.
Åbn endnu et resultat med samme angivne kodehashes og måletekster. Begge filer læses lokalt. Hashes og resultater kan redigeres og beviser ikke ophav.
Sandsynlighederne bruger skalaen 0–100 %. Tabssøjlerne bruger en fælles skala op til det største af de to tab; de to slags søjler kan ikke sammenlignes direkte.
Begge måles på samme tekster; overlap afhænger af træningsdata. Måleteksterne er genbrugt og ikke urørte sluttests. Et enkelt tegns kontekst viser ikke generel sprogforståelse.
Træn på opdelingen fra din egen tekst i en særskilt tabelmodel.
Du kan træne en lille tekstmodel i browseren eller fortsætte til Python-projekterne. At træne en BPE-tokenizer lokalt kræver Python og biblioteket tokenizers; den lokale transformer kræver også PyTorch.
Hvad ændrede træningen? Grøn er før, orange er efter det seneste tryk. Kortere søjle betyder lavere tab; begge rækker bruger samme skala.
Valideringssætningen bruges ikke til vægtopdateringen, men alle dens tegnpar findes også i træningen. Derfor er dette en begrænset test af nye tekster. Søjlerne gemmes ikke ved genindlæsning; tallene kan ses under observationen ovenfor.
Valideringssætningen bruges til måling, ikke til vægtopdateringer. Vælg et tegnpar og se, om det samme par også findes i træningen.
Blå markering er input; orange er facit. Modellen ser kun ét tegn ad gangen. At et par optræder i begge sæt beviser ikke, at hele sætningen blev brugt til træning; det viser, at målingen ikke tester et nyt tegnpar for netop den her model.
Eksemplet har ét nyt tegnpar. Mål teksten, træn videre, og se hvordan tabet ændrer sig på den samme tekst. Du kan redigere den med tegn fra modellens ordforråd.
Under 0,05 procentpoint regnes som næsten uændret. Dit bud gælder næste træning her og gemmes ikke ved genindlæsning.
Modellen har nået grænsen på 1.000 skridt. Start forfra for at lave en ny sammenligning.
Grøn viser målingen, da du trykkede; orange viser den aktuelle model. Kortere søjle betyder lavere tab. Tryk på Mål teksten igen for at starte en ny sammenligning. Den interaktive sammenligning nulstilles ved genindlæsning; du kan gemme et notat nedenfor.
Ved hvert par ses facitsandsynligheden ved første måling → nu. Orange omrids markerer par, der ikke findes i træningen. Teksten ændrer ikke vægtene. De to tekster har forskellig sammensætning, så forskelle i tab kan skyldes både kendte og nye par. Hvis du ændrer modellen efter at have set resultatet, er denne tekst ikke længere en urørt sluttest.
Hele teksten og målingerne gemmes lokalt på denne enhed og kan komme med i en sikkerhedskopi. Modellens vægte gemmes ikke i lognotatet.
Lavere tab betyder, at modellen samlet set klarer sig bedre på den målte tekst. Valideringssætningen deler ord og tegnpar med træningen; den er ikke en bred test af sproglig evne.
Vælg et emne, hvis du vil undersøge modellen nærmere. Du kan også fortsætte direkte.
Tabet er gennemsnittet af −ln(sandsynligheden for det observerede næste tegn); enkelte tegn kan stadig få lavere sandsynlighed. De fem største sandsynligheder vises sammen med eventuelle træningsfacit uden for top 5. Ved lighed sorteres tegnene efter ordforrådets rækkefølge.
Hvert par viser et input og det næste tegn, som modellen bliver trænet til at forudsige. Gentagne par tæller med hver gang; der laves ikke par på tværs af sætninger.
Modellen gemmer en logit for hvert muligt næste tegn. Her følger vi det mest almindelige facit for det valgte input. Gradienten viser, hvordan det samlede tab ændrer sig ved en lille ændring af denne logit, når de øvrige holdes faste. Gradient descent justerer alle logits på én gang ud fra hele træningssættet; læringsraten er 4.
Grøn: sandsynlighed nu · orange: efter ét skridt. Dette er en beregnet forhåndsvisning og ændrer ikke modellen.
Hvert træningspar giver −ln(sandsynligheden for sit facit). Gentagne par tæller hver gang. Tabellen viser kun par for det valgte input; bidraget divideres med alle træningspar.
| Næste tegn | Antal par | Modellens sandsynlighed | −ln(p) · nats pr. par | Bidrag til samlet tab |
|---|
Begge starter med tegnet valgt ovenfor og vælger derefter det mest sandsynlige næste tegn 32 gange. Modellen bruger kun det seneste tegn som input.
Før træning:
Efter 0 skridt:
␠ viser mellemrum. Når flere tegn har samme sandsynlighed, vælges det første i modellens faste tegnrækkefølge; før træning er alle tegn lige sandsynlige. Der bruges ikke et stoptegn, så visningen fortsætter altid 32 tegn. Den lille model kan gentage sig og er ikke en transformer.
Brug den aktuelle model og det valgte input ovenfor. Ved temperatur 1 og top-p 1 er søjlerne modellens egen fordeling. Lavere temperatur gør fordelingen mere koncentreret om de største logits; højere temperatur gør den fladere. Det ændrer udvælgelsen, ikke modellens vægte.
Efter temperatur sorteres tegn efter sandsynlighed. Vi beholder de mest sandsynlige, indtil deres samlede chance når top-p. Resten får 0 %, og de beholdte fordeles igen til 100 %. Ved lighed bruger vi modellens faste tegnrækkefølge. Top-p på 1 beholder alle.
Kandidatfeltet beregnes igen for hvert nyt input. Dette ændrer ikke modellens vægte. Kilde: Hugging Face om top-p ↗
Grøn øverst viser chancen efter temperatur, men før top-p. Orange nederst viser chancen efter top-p, som bruges til lodtrækningen. Tallene følger samme rækkefølge; tallet efter punktet viser observerede træk. Alle træk bruger samme input og er separate — de danner ikke en sammenhængende tekst. Ændres temperatur, top-p, input eller model, nulstilles optællingen. Der kan trækkes op til 10.000 gange pr. optælling.
Start med det valgte input ovenfor. Hvert trukket tegn bliver input til næste trin. Sammenlign med den separate optælling ovenfor, hvor input var det samme hver gang.
| Trin | Input | Trukket tegn | Chance ved dette trin |
|---|
✓ markerer det tegn, der blev trukket. Grøn: sandsynlighed efter temperatur og før top-p. Orange: sandsynlighed efter top-p. Fordelingen tilhører det valgte trin i kæden.
␠ viser mellemrum. Kæden bruger den aktuelle temperatur og top-p og nulstilles, hvis temperatur, top-p, input eller model ændres. Højst 32 tegn genereres; punktum stopper ikke modellen. Dette er en lille model, som kun ser ét tegn ad gangen, ikke en chatmodel.
Se input og facit i et af teksttransformerens vinduer. Visningen bruger tegn ligesom øvelsen her, men transformeren kan bruge flere tidligere tegn som kontekst. Du behøver ikke Python for at se den.
Vil du først se, hvad et ekstra tegn i konteksten ændrer? Træn to små modeller og sammenlign deres bud.
Prøv at svare uden at se ovenfor. Du kan prøve igen. Når begge svar er korrekte, gemmes tjekket i denne browser; det dokumenterer ikke samlet kompetence.
Træn to faktiske ByteLevel BPE-tokenizers på de samme træningstekster, men med forskellige ønskede størrelser på ordforrådet. Undersøg bagefter deres opdeling af valideringstekst, som ikke bruges til at lære tokenizeren.
Eksemplet stammer fra to tokenizers trænet på små, kunstige tekster. Du træner ikke selv ved at åbne det. Brug guiden nedenfor til at lave dit eget resultat.
Du skal bruge et aktiveret Python-miljø. Opsætningen installerer også PyTorch, som du får brug for til modellen bagefter.
cd "STIEN_TIL_MAPPEN", og erstat teksten med mappens faktiske sti. Brug eksempelfilen egne-tekster.json eller din egen fil fra datasætbyggeren.python -m pip install "tokenizers>=0.20,<0.22".python train_bpe.py --data egne-tekster.json. Har du hentet mine-tekster.json fra datasætbyggeren, så flyt den til projektmappen og kør python train_bpe.py --data mine-tekster.json. Terminalen viser Gemt: efterfulgt af stien til den nye mappe. Åbn bpe-result.json fra den mappe herunder.Tokens i alle valideringstekster:
Første valideringstekst:
Den næste lille model bruger op til otte tokens som kontekst. Flyt vinduet for hver tokenizer: otte tokens er input, og det efterfølgende token er facit. Vinduerne styres hver for sig og viser ikke nødvendigvis det samme sted i teksten. Modellen trænes ikke her.
Tokenizere kan dække forskellig tekst med otte tokens og kan derfor have forskellige facit her. Sammenligningen viser ikke, hvilken model der er bedst.
De første 256 pladser dækker byteværdier. Meget få data og krav om gentagelser kan give et faktisk ordforråd under det ønskede. Et lavere tokenantal betyder ikke i sig selv en bedre sprogmodel. Tokenizertræning er ikke træning af modelvægte.
Når du har trænet en tokenizer, kan du bruge den i næste forsøg.
Fagligt grundlag: Hugging Face: træn en BPE-tokenizer.
Et neuralt netværk består af mange enkle beregninger. Start med én: Ændr bias, og se hvordan neuronens svar ændrer sig.
En neuron lægger sine vægtede input sammen. Bias er et tal, der lægges til summen. Flyt bias fra 0 til 1, og se, hvad der sker med svaret.
Sigmoid omsætter summen til et tal mellem 0 og 100 %. Det er ikke automatisk en pålidelig sandsynlighed.
Vil du prøve at træne en model nu? Du kan springe de øvrige neurontrin over og vende tilbage til dem senere.
Et input er et tal, neuronen modtager. En vægt bestemmer inputtets bidrag: input × vægt. Her følger vi input x₂ og vægt w₂.
Flyt vægten fra −1 til 0. Hvad sker der med bidraget og neuronens output?
Ændr ét tal ad gangen. En vektor er her en liste med to tal: den grønne pil viser input, og den orange viser vægte.
Sigmoid omdanner summen til et tal mellem 0 og 1. I visse klassifikationsmodeller fortolkes det som et sandsynlighedsestimat, men et tal i dette interval er ikke automatisk en pålidelig sandsynlighed.
De samme to input går til begge neuroner. Hver forbindelse har sin egen vægt. Rækkerne i matrixen hører til hver sin neuron; kolonnerne hører til input 1 og 2.
Grøn fuld streg: positiv vægt · orange stiplet streg: negativ vægt. Tykkelsen viser vægtens størrelse. Tallene til højre er summerne før aktivering.
Neuron 1: → ReLU:
Neuron 2: → ReLU:
Åbn også «Udforsk flere input og vægte». Forudsig hvad der sker med begge summer, når du ændrer x₁. Nulstil, og ændr kun w₁₂. Kan du gøre z₁ negativ og se, hvad ReLU gør?
Med input som en søjle skriver vi z = Wx + b. Her er W 2 × 2, x har 2 tal og bias er fast b = (0,5; −0,5). ReLU giver max(0, z) for hver neuron. I PyTorch skrives batch-formen XWᵀ + b, fordi eksemplerne ligger som rækker.
Dette er en separat, manuelt indstillet fremadberegning; den trænes ikke. Et rigtigt lag kan have andre dimensioner og aktiveringsfunktioner. Når vægtene er fastlagt, bruges de samme vægte for hvert eksempel i en batch.
Fagligt grundlag: PyTorch: lineært lag og dimensioner ↗ · PyTorch: ReLU ↗ · gennemgået 31. oktober 2026.
Her prøver du en separat neuron med ét input. Et kendt svar er facit; tabet fortæller, hvor forkert neuronens bud er. Vælg et facit, og opdatér vægten én gang.
Den beregner z = x · w + b, derefter p = sigmoid(z) og et binært log-tab for facit y. Når y = 1, er tabet −ln(p); når y = 0, er det −ln(1 − p).
Hver lokal hældning fortæller, hvordan ét trin ændres ved en lille ændring i sit input. Kædereglen ganger dem sammen: således finder vi, hvordan tabet ændres, når vægten ændres en lille smule. Den numeriske kontrol prøver små ændringer af vægten og sammenligner tabet.
Opdateringen bruger læringsrate 0,2 og ændrer kun vægten for ét eksempel; bias holdes fast. I et netværk med mange lag og datapunkter beregnes og samles flere gradientbidrag. Visualiseringen regner i browseren; PyTorch bruger autograd til at beregne gradienter automatisk i den senere øvelse.
Fagligt grundlag: PyTorch: autograd og kædereglen ↗ · Google: backpropagation ↗ · gennemgået 31. oktober 2026.
To målinger eller egenskaber beskrives med hver sit tal. Hvilke egenskaber der bruges, afhænger af opgaven.
Vægte bestemmer inputtenes bidrag til summen. Bias forskyder summen, også når input er nul.
Sigmoid omsætter summen til et tal mellem 0 og 1. Andre neuroner kan bruge andre aktiveringsfunktioner.
Fagligt grundlag: Google: vægtet sum og sigmoid ↗ · PyTorch: sigmoid ↗ · gennemgået 31. oktober 2026.
Træn en lille model til at finde en sammenhæng i data. Den opdaterer faktisk sine to tal ud fra sine fejl — direkte på din enhed.
Modellen prøver at finde en linje, der passer til de grønne punkter. Hvad tror du, der sker med dens fejl, når du træner?
Vælg et bud, hvis du vil, og træn derefter modellen.
Punktet med ring har input x = 2,1 og kendt svar y = 2,1. Stregerne viser den lodrette forskel mellem modellens bud og punktet.
| Model | Bud | Bud − svar | Kvadreret fejl |
|---|---|---|---|
| Før | |||
| Nu |
Tallene er afrundet til tre decimaler. Dette er ét af 15 træningspunkter; den samlede træningsfejl er gennemsnittet af alle punkters kvadrerede fejl. Ét punkt fortæller ikke, om modellen generaliserer.
De orange punkter bruges til validering, ikke til træning. Fejlene er gennemsnitlige kvadrerede lodrette forskelle mellem punkter og linje.
Kurven viser kun den seneste knaptrykning. Den lodrette akse er logaritmisk, så både små og store fejl kan vises. Kurven gemmes ikke ved genindlæsning.
Flyt skyderen fra start til slut, og se hvordan linjen og fejlen ændrede sig under den seneste træning.
Fuld grøn: det valgte skridt. Stiplet orange: slutningen af runden. Linjer kan ligge uden for udsnittet. Visningen ændrer ikke den trænede model og gemmes ikke ved genindlæsning.
En større læringsrate giver større ændringer pr. skridt. En for stor rate kan få fejlen til at vokse. Nulstil, prøv 0,05 og derefter 0,5, og sammenlign kurverne. Læs om læringsrate ↗
ŷ er modellens bud. Vægt og bias er de to tal, træningen ændrer. Valideringspunkterne er ikke et urørt testsæt, da du kan justere efter dem.
Hvilken af de to fejl blev brugt til at justere modellen? Hvad kan den anden fortælle dig?
Modellen justeres efter de grønne træningspunkter. De orange valideringspunkter måler, hvordan den klarer andre eksempler i dette lille datasæt; de beviser ikke, at den virker på alle nye data.
Når du nulstiller modellen, er vægt og bias nul, og linjen er vandret.
Afstanden mellem modellens bud og de kendte svar bruges til at beregne en fejl.
Gradient descent bruger fejlen til at vælge retningen for en parameterændring. En for stor læringsrate kan alligevel øge fejlen. Gentag og mål på valideringsdata.
Dette er lineær regression på et lille syntetisk datasæt, ikke et neuralt netværk. Den samme idé om at optimere parametre er en byggesten i deep learning.
Videre læsning: Google Machine Learning Crash Course: gradient descent ↗
En model kan ramme de data, den har set, og stadig fejle på nye eksempler. Sammenlign tre modeller og undersøg hvorfor.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
En måling bygger på konkrete eksempler. Se, hvorfor resultatet kan variere, selv når den underliggende chance er uændret.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Kan en model lære en sammenhæng, som en enkelt ret linje ikke kan adskille? Træn et netværk og undersøg det indefra.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Start med et konkret chatsvar, og undersøg derefter, hvordan en lille model kan lære en skrøbelig genvej.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Du behøver ikke kunne programmere på forhånd. Lær de første byggesten, og skriv derefter små funktioner, der ligner dem i et ML-projekt.
En funktion er en navngivet opskrift. return giver svaret tilbage. En liste holder flere værdier, og en for-løkke gentager noget for hvert element.
Forudsig først resultatet for x = −1. Tryk derefter på Næste gennemløb. Ændr vægt og bias, og se både kode og beregning ændre sig.
def predict(x, weight, bias):
return x * weight + bias
inputs = [-1, 0, 1]
outputs = []
for x in inputs:
outputs.append(predict(x, 2, 1))Hvad giver predict(2, weight, bias) med skydernes aktuelle værdier?
Du kan prøve igen eller springe opgaven over. Svaret registreres ikke som et bestået tjek.
Tallene genberegnes i browserens JavaScript, når du ændrer en skyder; browseren kører ikke Python-koden. Den næste øvelse bruger samme funktion med tre argumenter og lader dig skrive og køre rigtig Python lokalt.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Træn et lille neuralt netværk med Python og PyTorch. Du får træningsmålinger, en graf og modellens gemte vægte, som du selv kan undersøge.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Activation patching er et kausalt indgreb: Vi kører den samme model på to input og erstatter en intern værdi fra det ene løb med en værdi fra det andet.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Byg videre på Python-øvelsen: Træn en lille kausal transformer lokalt, og indlæs dens faktiske attention-matrix her i browseren.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Gå fra næste-token-idéen til en faktisk transformer, som du selv træner og undersøger.
Start med de to sætninger, og se, hvordan modellens gæt ændrer sig. Du kan prøve dine egne tekster og senere træne en lille transformer i Python.
Modellen ser to tegn og gætter det næste. Tryk Træn for at starte; ændrer du teksten, oprettes en ny model ved næste træning.
Dette er en lille undervisningsmodel med ét attention-head og en fast pladsholder ?, ikke Python-transformeren nedenfor eller en fuld LLM. Den beregner kun output ved pladsholderen og har ingen MLP eller layer normalization.
Brug 4–160 tegn pr. tekst og højst 24 forskellige tegn i træningen. Valideringen skal bruge kendte tegn. Teksterne og modellen gemmes kun lokalt, hvis du selv vælger det nedenfor; de indgår ikke i sikkerhedskopien.
Midlertidig fortryd i denne sidevisning. Den forsvinder ved genindlæsning eller når en ny model er færdigtrænet.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Tag metoden fra de små eksperimenter med over til et åbent, fortrænet checkpoint. Her analyserer du modellen lokalt; du træner den ikke fra bunden.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Formulér en hypotese, gentag et forsøg på flere små modeller, og skriv, hvad resultaterne kan og ikke kan fortælle dig.
Dette laboratorium er en del af fuld adgang. Her kommer du til at arbejde med:
Fra dine første LLM-øvelser til små forskningsprojekter.
Alle starter med LLM’er. Hver retning husker din placering, og du kan skifte undervejs.
Retningen gemmes lokalt, når browserlagring er tilgængelig.
Den guidede vej: Fra tokens til attention og derefter videre i den valgte retning.
Fundament undervejs: Senere projekter forudsætter matematik og programmering. Tag eller genopfrisk emnerne her, når du har brug for dem.
Den guidede start går fra tokens til attention. Emnelisten indeholder også fundament, som du kan tage efter behov; senere projekter bygger på det. Lokale projekter kræver installation.
Små tjek giver feedback på din forståelse. Resultaterne er ikke en eksamen.
Begynd med de første øvelser, eller vælg et spor efter interesse. Vejledende tid inkluderer ikke lokal installation.
Forløbene nedenfor viser den videre vej. Nye emner kommer løbende.
Rigtige forskere skriver ikke kun resultater ned. De skriver også, hvad de forventede, og hvad der overraskede dem.
Dine noter, forståelsestjek, registrerede trin, læringsplacering, valgt retning og nogle gemte browsermodeller ligger kun her. Gem en kopi, hvis du vil flytte dem eller beskytte dem mod tab.
Vælg en tidligere kopi og gennemgå ændringerne. Noter og beståede tjek sammenlægges; eksisterende modeller, placering og retning bevares som udgangspunkt.
Filen er ikke krypteret og kan indeholde dine egne noter samt eventuelt tilvalgte tekster og safety-kladde. Opbevar den, som du ville opbevare andre private filer. De almindelige gemte browsermodeller er med; tekstmodellen medtages kun ved tilvalg. Midlertidige målinger, generaliseringsmodeller og lokalt kørte PyTorch-projekter er ikke med. Filen behandles lokalt og sendes ikke til en server.