| BPE |
Byte Pair Encoding: Verfahren, das ein Token-Vokabular aufbaut, indem es das häufigste benachbarte Symbolpaar im Trainingstext wiederholt zu einem neuen Token zusammenfasst. |
Sennrich et al. (arXiv) · Wikipedia |
| Byte-Level BPE |
BPE-Variante, die statt auf Zeichen direkt auf den Bytes des Textes arbeitet. Jeder Text lässt sich damit ohne unbekannte Zeichen darstellen, auch Emojis oder seltene Schriften. |
GPT-2-Paper (OpenAI) · Hugging Face |
| Embedding |
Gelernte Zahlenvektoren, die Token (oder andere Objekte) im Raum so abbilden, dass ähnliche Bedeutungen nahe beieinander liegen. Die Token-ID dient als Schlüssel für die Zuordnung. |
Wikipedia · Google ML Crash Course |
| GPT |
Generative Pre-trained Transformer: Familie von Sprachmodellen, die auf der Decoder-Seite der Transformer-Architektur basieren und das jeweils nächste Token vorhersagen. |
Wikipedia · GPT-2-Paper (OpenAI) |
| Inferenz |
Anwendung eines fertig trainierten Modells auf neue Eingaben, zum Beispiel beim Beantworten eines Prompts. Dabei werden die Gewichte nicht mehr verändert. |
Google ML Glossary |
| LLM |
Large Language Model: sehr großes, auf riesigen Textmengen trainiertes neuronales Netz, das Text verarbeitet und erzeugt, meist auf Basis der Transformer-Architektur. |
Wikipedia · Hugging Face LLM Course |
| Machine Learning |
Teilgebiet der KI, in dem Modelle Muster aus Daten lernen, statt dass Regeln von Hand programmiert werden. |
Wikipedia · Google ML Crash Course |
| Neuronales Netz |
Modell aus verbundenen Schichten einfacher Recheneinheiten (Neuronen), dessen Gewichte beim Training angepasst werden. |
Wikipedia |
| Token |
Kleinste Texteinheit, mit der ein Sprachmodell arbeitet. Ein Token kann ein Wort, ein Wortteil, ein Satzzeichen oder eine Byte-Folge sein. |
Hugging Face |
| Tokenisierung |
Zerlegung von Text in Token und Zuordnung der Token-IDs. Welche Zerlegung entsteht, hängt vom Tokenizer und seinem Vokabular ab. |
Hugging Face LLM Course · Hugging Face |
| Training |
Phase, in der ein Modell seine Gewichte anhand von Daten anpasst, indem es einen Fehlerwert (Loss) schrittweise verkleinert. |
Google ML Glossary |
| Transformer |
Neuronale Architektur, die mit Attention-Mechanismen alle Positionen einer Eingabe miteinander in Beziehung setzt. Grundlage der meisten heutigen LLMs. |
Attention Is All You Need (arXiv) · Wikipedia |
| UTF-8 |
Verbreitete Zeichenkodierung, die jedes Unicode-Zeichen als ein bis vier Bytes darstellt. Grundlage für Byte-Level-Tokenisierung. |
RFC 3629 · Wikipedia |