nlm ist ein selbst implementiertes Transformer-Sprachmodell mit rund 10,66 Mio. Parametern: eigener Byte-Level-BPE-Tokenizer, manuell implementierter Backward Pass und ein CPU-only-Pre-Training auf TinyStories.
Die Teile bauen aufeinander auf: von der Frage, warum ich ein eigenes Modell baue, über Tokenizer und Embeddings bis zur Bewertung dessen, was das trainierte Modell tatsächlich kann. In jedem Teil steht eine Annahme, die ich mit einem Experiment prüfe.
- Teil 1 · 28. Oktober 2026 Warum ich ein eigenes Sprachmodell baue nlm ist ein kleines, eigenes GPT-ähnliches Sprachmodell für englische Kindergeschichten. In diesem Beitrag erkläre ich, warum ich es von Grund auf baue, auf CPU trainiere und seine Grenzen öffentlich dokumentiere.
- Teil 2 · 31. Oktober 2026 Vom Text zum Token: Wie nlm Sprache in Zahlen übersetzt Ein Sprachmodell liest keinen Text, sondern Zahlen. In diesem Beitrag zeige ich, wie der selbst gebaute Byte-Level-BPE-Tokenizer von nlm einen echten Satz Schritt für Schritt in Token-IDs übersetzt — und wieder verlustfrei zurück.
- Teil 3 · 1. November 2026 Embeddings: Warum ein Token mehr als ein Wort ist Eine Token-ID ist nur eine Zahl und bei nlm liegt diese zwischen 0 und 4095. Wie wird daraus ein Vektor, der tatsächlich etwas über ein Wort "weiß"? Dazu habe ich die echte, trainierte Embedding-Tabelle von nlm geöffnet und nachgemessen, was tatsächlich gelernt wurde.
- Teil 4 · 3. November 2026 Nach dem Training beginnt die eigentliche Arbeit: Was nlm wirklich kann nlm hat das Pre-Training abgeschlossen. In diesem Beitrag zeige ich, wie ich die ersten generierten Geschichten geprüft, einen systematischen Test gebaut und mit einer Ablationsstudie zum ersten Mal kausal ins Innere des Modells geschaut habe.
- Teil 5 · Angekündigt Warum mein Modell die Wortstellung kennen muss