SKRIV DIN EGEN KAUSALE ATTENTION

1. Pak hele zip-filen ud i en ny mappe. Brug dit eksisterende Python-miljø med PyTorch.
2. Åbn mit_attention.py i en teksteditor. Udfyld causal_attention(q, k, v).
   Behold filnavn, funktionsnavn og argumenter. Returnér output og vægte.
3. Åbn en terminal i den udpakkede mappe, og kør:

   python tjek_attention.py

   Programmet kontrollerer to åbne eksempler og gradienter mod PyTorchs
   scaled_dot_product_attention. Består de, trænes den lille transformer
   med din funktion, og en ny mappe med attention.json og model.pt gemmes.
   Hvis et tjek fejler, så læs den første fejlbesked: den peger f.eks. på
   tensorformer, fremtidige positioner eller rækker, der ikke summerer til 1.
   Ret én ting ad gangen og kør tjekket igen. Tjekkene viser ikke alle fejl.
4. Åbn attention.json på trinnet 'Se din models attention' i Learn the Machine.
   Åbn også opgave-resultat.json samme sted for at se trænings- og valideringstab. Åbn
   "Undersøg et indgreb i attention" for at se effekten af nulstilling og identitetskontrollen.
   Gem din kode og de rå filer; hashes kontrollerer konsistens, ikke oprindelse.
5. Prøv et nyt input med den samme model uden at træne igen. Erstat DIN-MAPPE:

   python probe_egen_attention.py --run-dir attention-opgave-runs/DIN-MAPPE --first 3 --second 1

   Åbn den nye fil i Learn the Machines sammenligning. Behold kode og model uændret.
   Brug de samme kodefiler som under træningen, også hvis du henter en nyere
   opgavepakke. En ny pakke kan have en anden programhash og kan derfor ikke
   genindlæse gamle resultater. Behold den oprindelige pakke eller træn igen.
6. Mål det samme indgreb på alle 36 symbolpar uden at træne igen:

   python undersog_egen_attention.py --run-dir attention-opgave-runs/DIN-MAPPE

   Åbn alle-par-filen under indgrebet i Learn the Machine. Alle 36 deler model,
   og ni valideringspar er kombinationer af kendte symboler. Den nye hjælper
   måler også hele outputfordelingen før og efter; KL(før ∥ nulstillet) er
   forskellig fra opgavekorrekthed og top-token-overensstemmelse.

Opgaven kører din egen Python-kode lokalt. Brug kun kode, du stoler på.
To åbne testtilfælde beviser ikke, at funktionen virker for alle input.
Modellen er meget lille og trænes på en kunstig kopieringsopgave; den er ikke en LLM.
