Tokenizer

Tokenizer – warum derselbe Text unterschiedlich viele Tokens benötigt

Derselbe Text kann je nach Tokenizer unterschiedlich viele Tokens benötigen. An einem Thai-Satz vergleiche ich fünf Tokenizer und zeige, was die Unterschiede für Kontextfenster, Kosten und Modellauswahl bedeuten.