#!/usr/bin/env python3
"""Compare actual Hugging Face tokenizers; output is for the Learn the Machine viewer."""
import argparse
import json
from pathlib import Path
from transformers import AutoTokenizer

MODELS = {
    'qwen35': ('Qwen3.5-0.8B', 'Qwen/Qwen3.5-0.8B', '2fc06364715b967f1860aea9cf38778875588b17'),
    'qwen': ('Qwen2.5-0.5B-Instruct', 'Qwen/Qwen2.5-0.5B-Instruct', 'c89bee90d9f811437d9735454613c35b4a3c4dc8'),
    'pythia': ('Pythia-70M', 'EleutherAI/pythia-70m', 'a39f36b100fe8a5377810d56c3f4789b9c53ac42'),
    'gpt2': ('GPT-2', 'openai-community/gpt2', '607a30d783dfa663caf39e06633721c8d4cfcd7e'),
    'bert': ('BERT base cased · WordPiece', 'google-bert/bert-base-cased', 'dc873191fea8f264c2adc08e8e0b7270e20280fb'),
}

def compare(text, tokenizers):
    results = []
    for label, model, revision, tokenizer in tokenizers:
        encoding = tokenizer(text, add_special_tokens=False)
        ids = encoding['input_ids']
        results.append({'label': label, 'model': model, 'revision': revision,
                        'ids': ids, 'pieces': tokenizer.convert_ids_to_tokens(ids),
                        'decoded': tokenizer.decode(ids, clean_up_tokenization_spaces=False)})
    return {'format': 'learning-lab-tokenizers-v1', 'text': text, 'special_tokens': False, 'results': results}

def main():
    parser = argparse.ArgumentParser(description='Sammenlign to faktiske model-tokenizers.')
    parser.add_argument('--tekst', default='Hej verden! Jeg lærer om sprogmodeller 🧠')
    parser.add_argument('--fil', help='Læs UTF-8-tekst fra en fil i stedet for --tekst')
    parser.add_argument('--foerste', choices=MODELS, default='qwen35', help='Første tokenizer (standard: qwen35)')
    parser.add_argument('--anden', choices=MODELS, default='gpt2', help='Anden tokenizer (standard: gpt2)')
    parser.add_argument('--offline', action='store_true', help='Brug kun allerede hentede tokenizerfiler')
    parser.add_argument('--output', default='tokenizers-resultat.json')
    args = parser.parse_args()
    text = Path(args.fil).read_text(encoding='utf-8') if args.fil else args.tekst
    if len(text) > 4000:
        parser.error('Teksten må højst indeholde 4000 tegn.')
    output_path = Path(args.output)
    if output_path.exists():
        parser.error('Outputfilen findes allerede. Vælg et andet navn med --output.')
    tokenizers = []
    for label, model, revision in (MODELS[args.foerste], MODELS[args.anden]):
        print('Indlæser', label, '(kan hente tokenizerfiler første gang)...')
        tokenizer = AutoTokenizer.from_pretrained(model, revision=revision, use_fast=True, trust_remote_code=False, local_files_only=args.offline)
        tokenizers.append((label, model, revision, tokenizer))
    output = compare(text, tokenizers)
    try:
        with output_path.open('x', encoding='utf-8') as file:
            json.dump(output, file, ensure_ascii=False, indent=2)
    except FileExistsError:
        parser.error('Outputfilen findes allerede. Vælg et andet navn med --output.')
    print('Gemt:', args.output, '— åbn filen i Learn the Machine.')

if __name__ == '__main__':
    main()
