Die Frage hinter dem Tool
Ein Sprachmodell über eine API zu nutzen, erklärt nicht, warum es funktioniert. Tokenisierung, Attention, Backpropagation bleiben Begriffe, keine nachvollzogenen Mechanismen – und ohne dieses Verständnis bleibt jede tiefere Entscheidung beim Einsatz von LLMs ein Blackbox-Vertrauen.
nlm entsteht deshalb nicht als Produkt, sondern als Weg: Jede Komponente – vom Tokenizer bis zum letzten Layer – wird selbst geschrieben, auf Standard-Hardware ohne GPU trainiert, und jeder Schritt wird dokumentiert, bevor er als verstanden gilt.
Was nlm ist
- Eigener BPE-Tokenizer, byte-level, von Grund auf implementiert, nicht aus einer Bibliothek übernommen
- Transformer-Architektur selbst gebaut: 12 Layer, 8 Attention-Heads, 256 Dimensionen, ~10,66 Mio. Parameter
- Training auf TinyStories-Korpus, CPU-only, kein Cloud-GPU-Training
- Self-Supervised Learning als Trainingsgrundlage, nicht Fine-Tuning auf ein fertiges Basismodell
- Öffentliches Buch parallel zum Code: jedes Kapitel erklärt einen Baustein anhand des tatsächlichen, laufenden Projekts
- Build-Log auf prodowner.de: wöchentliche Einträge
Guardrails
| Guardrail | Konsequenz |
|---|---|
| Kein Framework übernimmt die Architektur | Tokenizer, Attention, Feed-Forward und Training-Loop sind selbst geschrieben, nicht importiert |
| Kein Chatbot-Anspruch | nlm ist ein fokussiertes Modell für eine klar begrenzte Aufgabe, kein allgemeines Sprachmodell |
| Trainingsfortschritt wird nicht beschönigt | Einzelne Loss-Werte werden nicht als Qualitätsurteil verkauft; Bewertung erst nach Abschluss eines Laufs |
| Dokumentation vor Behauptung | Ein Kapitel oder Build-Log-Eintrag entsteht erst, wenn der beschriebene Schritt tatsächlich erreicht ist |
Aufbau
nlm ist ein reines CPU-Projekt: Tokenizer, Modell und Trainingsschleife sind in Python implementiert, ohne High-Level-Frameworks, die Architekturdetails verdecken. Das Modell hat rund 10,66 Mio. Parameter (d_model=256, 12 Layer, 8 Heads, Kontextlänge 512) und wird auf dem TinyStories-Korpus trainiert – bewusst klein genug, um ein vollständiges Training auf gewöhnlicher Hardware durchzuführen und dabei jeden Schritt nachvollziehen zu können.
Der Code und das begleitende Buch (Grundlagen, Architektur, Training) entstehen parallel; das spätere Produkt – aktuell unter dem Arbeitstitel „Verdant Spark" – übernimmt den Namen erst, wenn eine eigene Web-Oberfläche entsteht. Bis dahin bleibt alles unter nlm.
Stand
Das Modell befindet sich aktuell im Pretraining auf dem TinyStories-Korpus. Tokenizer und Architektur sind fertig implementiert und dokumentiert; Textgenerierung nach Abschluss des laufenden Trainings ist der nächste geplante Schritt. Buch und Build-Log werden parallel zum Trainingsfortschritt weitergeschrieben.