# Bedøm et lille patching-projekt

Dette ark hjælper en fagperson med at give konkret feedback på Learn the Machines forskningsprojekt. Det vurderer et afgrænset, syntetisk forsøg – ikke generel forskningskompetence, publicerbarhed eller jobparathed. Rubrikken er et forslag til denne prototype og er endnu ikke valideret med bedømmere.

## Materiale

Bed om deltagerens egen vurdering, `report.md`, `study.json`, eventuel `research_plan.json`, koden og seed-mappernes `pairs.csv`, `sweep.json`, `training.log` samt eventuelle modelvægte. Deltageren vælger selv, hvad der deles. Notér manglende materiale og den programversion, du faktisk undersøger; en hash identificerer filindhold, men beviser ikke ophav eller korrekthed.

## Før du bedømmer

1. Læs deltagerens påstand og find den tilhørende måling og dens retning. Afgør, hvad de konkrete data kan sige om netop denne model og opgave.
2. Sammenhold mindst én seed-række i notatet med `study.json` og `pairs.csv`. Undersøg også identitets-, første-positions- og fuld-patch-kontrollen. Kontrollerne gælder den målte logitforskel; en lille afvigelse beviser ikke, at hele modellen er korrekt.
3. Hold øje med, om deltagerens egen fortolkning tilføjer noget til den automatisk genererede rapport. Tilskriv ikke skabelonens standardtekst til deltagerens selvstændige arbejde uden yderligere evidens.
4. Hvis du gentager en kørsel, registrér Python/PyTorch-versioner, kode, indstillinger og afvigelser. Resultater kan påvirkes af miljøet; en gentagelse er ikke automatisk uafhængig validering.

## Rubrik

Vælg **0** for manglende eller væsentligt forkert forklaring, **1** for delvis eller uklar forklaring og **2** for en konkret og korrekt begrundelse inden for forsøgets rammer. Brug **U** når nødvendigt materiale mangler, så punktet ikke kan bedømmes; U er ikke 0. Skriv fil, sted og kort begrundelse for hvert punkt. Bedøm ikke efter om hypotesen blev bekræftet.

| Punkt | Eksempel på, hvad en 2'er kræver | Vurdering / evidens |
| --- | --- | --- |
| Påstand og observation | Henviser til konkrete seeds og resultater, også fund imod forventningen; skelner måling fra fortolkning. | 0 / 1 / 2 / U · fil og sted: |
| Kontroller og metrik | Forklarer hvad indgrebet og den valgte logitforskel måler; rapporterer relevante kontrolafvigelser og deres betydning uden at overfortolke dem. | 0 / 1 / 2 / U · fil og sted: |
| Begrænsninger og afhængighed | Forklarer at par deler model og data, at seeds deler datasplit, og at valideringen er genbrugt; tager stilling til fejl i baseline og mulige unaturlige patch-aktiveringer. | 0 / 1 / 2 / U · fil og sted: |
| Alternativ og næste forsøg | Giver en plausibel alternativ forklaring samt en konkret ny kontrol eller nye data og et muligt resultat, der ville udfordre forklaringen. | 0 / 1 / 2 / U · fil og sted: |
| Efterprøvbarhed | Angiver kode, data, model, seeds og trin, så en anden kan finde eller forsøge at genskabe hovedmålingen; skelner hash fra bevis for ophav. | 0 / 1 / 2 / U · fil og sted: |

## Samlet tilbagemelding

- Bedømt version og dato:
- Modtaget / mangler:
- Mest væsentlige styrke med konkret henvisning:
- Vigtigste faglige problem eller usikkerhed med konkret henvisning:
- Ét næste skridt, som kan kontrolleres:
- Er en gentagelse forsøgt? Miljø, kommando, resultat og eventuelle afvigelser:
- Hvad kan **ikke** afgøres ud fra materialet?

Rapportér hvert punkt og eventuelle U'er frem for at gemme dem i en totalscore. Hvis to fagpersoner vurderer samme arbejde, lad dem først gøre det uafhængigt; gem begge oprindelige vurderinger og beskriv uenighed før en eventuel fælles konklusion.

## Fagligt udgangspunkt

- [Heimersheim & Nanda: How to use and interpret activation patching](https://arxiv.org/abs/2404.15255) – valg af indgreb, metrik og fortolkning.
- [NeurIPS Paper Checklist](https://neurips.cc/public/guides/PaperChecklist) – rapportering af metode, begrænsninger og reproducerbarhed. Dette ark er en afgrænset undervisningsrubrik, ikke den officielle tjekliste.
