Open-Weight-Modelle · Anwendungen · Evaluation
KI bauen.
Ergebnisse prüfen.
Ich entwickle Werkzeuge und Anwendungen mit Open-Weight-Modellen. Hier dokumentiere ich, was funktioniert, wo Grenzen liegen und welche Entscheidungen ich daraus ableite.
Beiträge
Experimente, Ergebnisse und die Entscheidungen dahinter.
Eine Token-Embedding-Tabelle allein weiß nicht, ob ein Wort am Satzanfang oder am Satzende steht. Ich habe nlm's echte, trainierte Positions-Embeddings geöffnet und nachgemessen, was sie tatsächlich über "Nähe" gelernt haben ohne dass es dem Modell je gesagt wurde, was Nähe bedeutet.
nlm hat das Pre-Training abgeschlossen. In diesem Beitrag zeige ich, wie ich die ersten generierten Geschichten geprüft, einen systematischen Test gebaut und mit einer Ablationsstudie zum ersten Mal kausal ins Innere des Modells geschaut habe.
Eine Token-ID ist nur eine Zahl und bei nlm liegt diese zwischen 0 und 4095. Wie wird daraus ein Vektor, der tatsächlich etwas über ein Wort "weiß"? Dazu habe ich die echte, trainierte Embedding-Tabelle von nlm geöffnet und nachgemessen, was tatsächlich gelernt wurde.
Ein Sprachmodell liest keinen Text, sondern Zahlen. In diesem Beitrag zeige ich, wie der selbst gebaute Byte-Level-BPE-Tokenizer von nlm einen echten Satz Schritt für Schritt in Token-IDs übersetzt — und wieder verlustfrei zurück.
nlm ist ein kleines, eigenes GPT-ähnliches Sprachmodell für englische Kindergeschichten. In diesem Beitrag erkläre ich, warum ich es von Grund auf baue, auf CPU trainiere und seine Grenzen öffentlich dokumentiere.
An zehn hypothetischen Aufgaben rechne ich API-Kosten, menschlichen Prüfaufwand, Tokenverbrauch, Erfolgsquote und Bearbeitungszeit durch. So wird nachvollziehbar, wie die Kosten pro erfolgreich erledigter Aufgabe entstehen.
Ein niedriger Tokenpreis macht noch kein wirtschaftliches KI-System. An einem hypothetischen E-Mail-Workflow zeige ich, wie Kosten, Erfolgsquote, menschliche Prüfung und Laufzeit gemeinsam bewertet werden können.
Derselbe Text kann je nach Tokenizer unterschiedlich viele Tokens benötigen. An einem Thai-Satz vergleiche ich fünf Tokenizer und zeige, was die Unterschiede für Kontextfenster, Kosten und Modellauswahl bedeuten.
Projekte
Entwicklungen mit nachvollziehbaren Ergebnissen.
nlm
Wie entsteht ein Sprachmodell von Grund auf – und was kann es nach einem vollständigen Training ohne GPU tatsächlich?
Ein selbst implementiertes Transformer-Sprachmodell mit rund 10,66 Mio. Parametern: eigener Byte-Level-BPE-Tokenizer, manuell implementierter Backward Pass und abgeschlossenes CPU-only-Pre-Training auf TinyStories. Generierte Geschichten, Embedding-Strukturen und die Beiträge einzelner Attention-Heads werden systematisch untersucht. Ein begleitendes Buch dokumentiert Grundlagen, Architektur, Training und Bewertung.
Phrom
Sind meine GitHub Issues bereit fürs Refinement – und welche Lücken sollte ich vorher schließen?
Read-only CLI, die GitHub Issues gegen ein transparentes Regelwerk prüft, lokale KI-Checks über Ollama ergänzt und Verbesserungsentwürfe zur manuellen Prüfung erzeugt. Der Product Owner entscheidet, nichts wird automatisch geändert.
Über mich
Ich bin Marius Kalder. Zehn Jahre Erfahrung an der Schnittstelle von Produktstrategie und Engineering — von Anforderungsanalyse und Architekturentscheidungen bis zur Umsetzung auf eigener Infrastruktur.
Mich interessiert nicht nur, ob ein Modell antwortet, sondern ob seine Antwort für eine konkrete Aufgabe brauchbar ist.
Beratung
Ihr arbeitet an einer ähnlichen Aufgabe? Ich unterstütze bei der Bewertung und Integration von KI-Anwendungen.
Kontakt aufnehmen