MULTIHEAD-OPGAVE

Forudsætning: Du har arbejdet med én attention-head og har Python og PyTorch.
1. Åbn mit_multihead.py i din editor. Udfyld split_heads og merge_heads.
2. Kør: python tjek_multihead.py
3. Ret fejlene, hvis en åben kontrol fejler. De to kontroller afprøver former,
   værdier og gradienter; de er ikke en fuld bedømmelse af din kode.
4. Når kontrollerne er bestået, trænes en lille transformer med fire heads på
   en syntetisk kopieringsopgave. Åbn multihead-resultat.json i Learn the Machine.

Hint: reshape og transpose kan bruges. Når man samler heads, skal position
komme før head i dimensionernes rækkefølge. Bevar autograd-forbindelsen.
Hvis outputfilen findes, brug et andet navn: --output mit-andet-forsog.json
Validering holder symbolkombinationer tilbage, men ikke nye symboler; det er
ikke en test af naturligt sprog eller en stor sprogmodel.

Efter træningen måles et ekstra indgreb: Én heads output ved sidste position
nulstilles før outputprojektionen. En identitetskontrol kopierer output uden at
ændre det. Modellen trænes ikke videre under målingerne. Filen viser resultaterne;
dette ene indgreb og input forklarer ikke headets generelle funktion.

Programmet måler også alle 36 inputpar med og uden hvert head. De 27
trænings- og 9 valideringspar deler model og symboler; det er ikke 36
uafhængige modeller eller en bred test af naturligt sprog.

Den nye resultatfil gemmer også hvert heads attention fra sidste position
for hvert par. I Learn the Machine kan du vælge et par og sammenholde vægte og
indgreb; vægtene er målt før indgrebet.

Gentag med en anden initialisering, uden at overskrive den første fil:
python tjek_multihead.py --seed 19 --output seed19.json
Brug samme kildefiler og antal skridt, når du sammenligner. Heads med samme
nummer kan lære forskellige funktioner i forskellige modeller.

Efter træningen måles også samtidig nulstilling af alle kombinationer af
to, tre eller fire heads, på de samme par. Det er separate indgreb i modellen,
ikke en summering af virkninger fra enkeltindgreb.

GEM OG GENÅBN EN TRÆNET MODEL
Træn og gem modellen med nye filnavne:
python tjek_multihead.py --save-model min-model.pt --output forste.json
Mål et andet par uden at træne igen:
python tjek_multihead.py --load-model min-model.pt --first 3 --second 1 --output andet-input.json
Behold alle tre kodefiler og samme PyTorch-version. Programmet sammenligner
kildehashes før genindlæsning; modelfiler og hashes kan ændres og beviser ikke
oprindelse. Brug kun filer fra kilder, du stoler på.
