# Et lille forskningsforsøg: holder effekten på nye tokenfølger?

Du undersøger ét fast Pythia-70M-checkpoint. I [Olsson m.fl. (2022)](https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html) bruges flere forskellige former for evidens til at undersøge induction heads. [HeadVis (2026)](https://www.transformer-circuits.pub/2026/headvis/index.html) viser, at et heads adfærd på brede data kan være mere varieret end på én opgave. Her undersøger du et langt snævrere spørgsmål. Øvelsen reproducerer ikke artiklernes samlede resultater.

## 1. Plan før måling

Skriv selv en konkret påstand: For det head, der vælges på udvælgelsesfølgen, hvad forventer du, at nulstilling gør ved gennemsnitligt næste-token-tab på nye gentagne følger? Angiv også, hvad du forventer af to kontrolheads og hvad der ville tale imod din forklaring. En høj attention-score alene viser ikke, hvilken information headet skriver til modellen.

Du kan skrive forventning, seed- og kontrolvalg, muligt modbevis og allerede kendte resultater i Learn the Machines valgfrie forsøgsplan og gemme den i Eksperimentlog på din enhed. Planen starter ikke programmet. I planens valgfrie kommandohjælp kan du oprette to kommandoer ud fra dine seeds og kontrolheads og indsætte dem i planen. Kopiér én kommando ad gangen til terminalen, og kontrollér, at de passer til dine valg. Vælg nye filnavne; hvis et kontrolhead er det samme som det valgte head, stopper programmet.

Gem planen med dato, seedvalg og kontrolvalg før du åbner de følgende resultater. En lokal fil og dens dato kan ændres; dette er ikke en verificerbar forhåndsregistrering. De færdige eksempler kan allerede være set, så dokumentér, hvad du kendte på forhånd.

## 2. Kør samme valgte head og to kontroller

Hent `induction_heads.py` og `induction_replication.py` fra øvelsen til samme mappe, og brug det eksisterende PyTorch-/Transformers-miljø. Første kørsel kræver adgang til det fastlåste checkpoint; tilføj `--offline`, når det findes lokalt. Vælg nye filnavne, så du ikke overskriver tidligere resultater.

Med den fastlåste model og udvælgelsesseed 7 er head 3:6 valgt i det medfølgende eksempel. Følgende to kommandoer vælger samme head på ny og måler de samme fem testfølger med forskellige kontrolheads. Hvis din kørsel vælger et andet head, kontrollér opsætningen og vælg en kontrol, der ikke er det valgte head. Opgavens anden kontrol er 2:1. Sidens første færdige kontrolsammenligning bruger 2:4. Du kan også åbne den faktiske kørsel med 2:1 i sammenligningen eller hente [resultatfilen](induction-replication-control-21-example.json). De to kontrollers effekter behøver ikke ligne hinanden. De færdige resultater er kendt på forhånd og erstatter ikke din egen plan. Begge valg er eksempler, ikke garanteret neutrale kontroller.

```sh
python induction_replication.py --discover-seed 7 --test-seeds 17 31 41 53 67 --control 0 0 --output studie-kontrol-a.json
python induction_replication.py --discover-seed 7 --test-seeds 17 31 41 53 67 --control 2 1 --output studie-kontrol-b.json
```

Brug eventuelt knappen **Åbn mine resultatfiler** i kommandohjælpen: den åbner først det færdige eksempel, hvis nødvendigt, og fører til import af din første fil. Åbn første fil under **Holder effekten på flere testfølger?** og sammenlign derefter den anden fil under kontrolsammenligningen. Efter import af din første fil kan knappen **Åbn din anden resultatfil** føre direkte til sammenligningen. Du kan valgfrit gemme målingerne for det valgte seed og din fortolkning i Eksperimentlog; behold de rå JSON-filer separat. Sammenhold hvert kontrolhead med det valgte head på de samme følger. Notér også, om baseline og det valgte indgreb stemmer mellem filerne, samt eventuelle versions- eller hashforskelle. Filer og hashes kan ændres; de beviser ikke ophav eller uafhængighed.

## 3. Prøv et nyt sæt

Fastlæg på forhånd, hvad der ville ændre din konklusion. Kør derefter samme opsætning på nye seeds, for eksempel:

```sh
python induction_replication.py --discover-seed 7 --test-seeds 71 73 79 83 89 --control 0 0 --output studie-ny-a.json
python induction_replication.py --discover-seed 7 --test-seeds 71 73 79 83 89 --control 2 1 --output studie-ny-b.json
```

Åbn og sammenlign det nye par på samme måde. Åbn derefter `studie-kontrol-a.json` som første sæt og vælg `studie-ny-a.json` under **Sammenlign med et nyt sæt testfølger**. Sammenlign rækkerne og beskriv forskellene i dine egne noter. Følgerne er syntetiske, deler model og opgave og kan have fælles token-ID'er. Et andet seed er ikke automatisk en uafhængig eller repræsentativ sproglig test.

## 4. Skriv en kort rapport

- **Påstand og måling:** Hvilket head blev valgt, hvordan blev det valgt, og hvad var ændringen i tab for hver testfølge?
- **Kontroller:** Hvad skete der ved nulstilling af de to kontrolheads på de samme følger? Er et kontrolresultat overraskende?
- **Modbevis og begrænsning:** Hvilke følger eller kontrolresultater udfordrer påstanden? Nulstilling af hele headet kan påvirke flere funktioner og skabe en unaturlig tilstand. Attention og ablation viser ikke alene QK-/OV-mekanismen eller direkte kopiering.
- **Næste undersøgelse:** Foreslå et konkret andet inputdesign eller en anden måling af headets output, og forklar, hvilket muligt resultat der ville tale imod din forklaring.
- **Efterprøvning:** Angiv kommandoer, modelrevision, biblioteks- og programversioner, seeds, valgte kontroller, resultatfiler og hjælpemidler. Skeln mellem observationer og dine egne fortolkninger. Del kun filer efter egen aftale.

Åbn **Skriv et kort forskningsnotat** ved hovedresultatet, hvis du vil gemme en første fortolkning lokalt. Det notat erstatter ikke denne sammenligning eller uafhængig faglig kritik.

## 5. Sammenlign dit design med en forskningsbenchmark

[Mueller m.fl., MIB (ICML 2025)](https://proceedings.mlr.press/v267/mueller25a.html) skelner mellem to forskellige spørgsmål: hvilke modelkomponenter og forbindelser der er vigtige for en opgave, og hvilke repræsentationer der svarer til en opgaverelevant kausal variabel. Deres benchmark omfatter flere opgaver og modeller. Dit forsøg er ikke en MIB-kørsel og giver ikke et direkte sammenligneligt benchmarkresultat.

Brug dine egne målinger og skriv tre korte svar:

1. **Komponenter:** Hvad viste udvælgelsen med attention, og hvad viste nulstilling af netop det valgte head sammenlignet med kontrollerne? Hvilke forbindelser og andre heads er ikke kortlagt?
2. **Repræsentation:** Hvilken information mener du, headet kunne bruge eller sende videre? Forklar, hvorfor din attention-score og tabsændring ikke alene viser indholdet af headets output eller en fuld kopi-mekanisme.
3. **Modprøve:** Vælg en konkret anden måling eller et andet inputdesign. Skriv, hvilket muligt udfald der ville svække din forklaring, og hvilken begrænsning den nye måling stadig ville have. For eksempel kan du undersøge headets output eller sammenligne gentagelser med nøje valgte kontrolfølger; angiv præcis hvilke følger og hvilken målestørrelse du ville bruge.

At en bestemt metode klarer sig godt på MIB's opgaver betyder ikke, at den automatisk giver en korrekt forklaring på dette head. Gennemfør kun de ekstra målinger, som dit værktøj faktisk understøtter; markér resten som en plan, ikke et resultat.


Til en frivillig faglig gennemgang kan du bruge [bedømmelsesarket](induction-review.md). Det gælder denne snævre opgave og er ikke en jobvurdering.
