GENTAGELSE OG KONTROL I PYTHIA-70M

Dette er et lille, afgrænset forskningsforsøg. Det bruger Python-miljøet fra Learn the Machines åbne model-øvelse med PyTorch og Transformers.

1. Åbn en terminal i denne mappe. Redigér eventuelt tekster.json: brug 2–10 forskellige tekster, som hver giver 3–128 Pythia-tokens. Eksempelteksterne er opdigtede.
2. Kør:

python induction_repeated_text.py --texts tekster.json --head 3 6 --control 0 0 --output repeated-text.json

Kontrolheadet skal være forskelligt fra det valgte head. Første kørsel henter et fast Pythia-checkpoint, hvis det ikke allerede er i cachen. Når det er hentet, kan du tilføje --offline. Vælg et andet outputnavn ved næste kørsel; eksisterende filer overskrives ikke.
3. Åbn repeated-text.json i Learn the Machines øvelse «Samme måltokens med og uden gentagelse».

Resultatfilen indeholder teksterne og deres token-ID'er. Brug ikke følsomme tekster, hvis du vil dele filen. De to betingelser har forskellige kontekster og positioner; et indgreb viser ikke alene en komplet mekanisme.
