LLM-Bewertung: Formeln und Beispielrechnungen

Alle Aufgaben, Preise und Messwerte in diesem Dokument sind hypothetisch. Sie dienen der Erklärung; es handelt sich nicht um einen gemessenen Modellvergleich oder aktuelle Anbieterpreise.

Wir verwenden durchgehend denselben Datensatz. So passen Tokenverbrauch, Kosten, Erfolgsquote, Bearbeitungszeit und Eingriffsquoten zusammen.

Ausgangssituation und gemeinsame Annahmen

Ein System sortiert zehn eingehende E-Mails. Es bestimmt Kategorie und zuständiges Team. Wenn nötig, versucht es die Aufgabe erneut, ruft ein stärkeres Modell auf oder bezieht einen Menschen ein.

Das gesamte System nennen wir $m$ . Darin sind beide Modelle, die Wiederholungsregeln und die menschliche Bearbeitung enthalten. $m$ bezeichnet hier also nicht nur ein einzelnes Modell.

$N=10$ : zehn ursprüngliche Aufgaben.
$i$ : eine Aufgabe, beispielsweise E-Mail 4.
$j$ : ein Modellaufruf innerhalb dieser Aufgabe.
$A_{m,i}$ : Anzahl der Modellaufrufe für diese Aufgabe.
Ein zweiter Aufruf ist kein neuer Testfall. Zehn Aufgaben können mehr als zehn Aufrufe erzeugen.

Hypothetische Tarife

Modell	Input pro Million Tokens	Output pro Million Tokens
Basis	1 USD	4 USD
Stark	3 USD	12 USD

Menschliche Prüf- und Bearbeitungszeit wird mit 30 USD pro Stunde angesetzt. Es gibt keine zusätzlichen Cache-Tarife in diesem Beispiel.

Die übrigen Kosten $Z_{m,i}$ enthalten ausschließlich noch nicht erfasste Toolkosten. Einmalige Entwicklungskosten und zusätzliche fixe Betriebskosten bleiben in dieser Übung außen vor.

Akzeptanzkriterium und Messgrenze

Eine Aufgabe gilt als erfolgreich, wenn Kategorie, Team und Ausgabeformat am Ende den festgelegten Kriterien entsprechen. Eine menschliche Korrektur darf zum Erfolg beitragen; ihre Zeit wird dann als Aufwand berechnet.

Wir messen damit Workflow-Erfolg. Daraus darf nicht automatisch Modellgenauigkeit oder autonomer Erfolg abgeleitet werden.

Die Laufzeit beginnt mit der Übergabe der Aufgabe und endet mit akzeptiertem Abschluss oder Abbruch. Sie enthält in diesem Beispiel auch menschliche Prüfung und Wartezeit. Die Kosten berücksichtigen hingegen die aktive menschliche Arbeitszeit, nicht jede Wartezeit.

Nachträgliche Bewertung für den Benchmark ist von der betrieblichen menschlichen Prüfung getrennt. Eine im Benchmark entdeckte Fehlantwort kann deshalb $S=0$ haben, obwohl im getesteten Ablauf kein Mensch eingriff.

Rohdaten: alle Modellaufrufe

Jede Tabellenzeile ist ein tatsächlicher Aufruf innerhalb unseres hypothetischen Ablaufs:

Aufgabe i	Aufruf j	Modell	Input-Tokens	Output-Tokens	API-Kosten in USD
1	1	Basis	1000	200	0,0018
2	1	Basis	1500	300	0,0027
2	2	Stark	2000	400	0,0108
3	1	Basis	800	100	0,0012
4	1	Basis	1200	200	0,0020
4	2	Basis	1500	300	0,0027
4	3	Stark	1800	500	0,0114
5	1	Basis	1000	100	0,0014
6	1	Basis	600	100	0,0010
7	1	Basis	1400	200	0,0022
7	2	Stark	2000	400	0,0108
8	1	Basis	900	150	0,0015
9	1	Basis	1100	250	0,0021
10	1	Basis	700	100	0,0011

Es sind 14 Modellaufrufe für zehn Aufgaben. Aufgabe 4 benötigt drei Aufrufe: zwei mit dem Basismodell und einen mit dem stärkeren Modell.

Die Tokens eines Folgeaufrufs werden vollständig gezählt. Erneut übermittelter Kontext wird nicht abgezogen, nur weil er inhaltlich schon einmal vorkam.

A. Kosten je Aufgabe bei API-Nutzung

Die Formel

C_{m,i} = \sum_{j=1}^{A_{m,i}} \left( \frac{T^{\text{in}}_{m,i,j}}{1\,000\,000}P^{\text{in}}_{m,i,j} + \frac{T^{\text{out}}_{m,i,j}}{1\,000\,000}P^{\text{out}}_{m,i,j} \right) + H_{m,i}w + Z_{m,i}

So liest du die Formel

Berechne für jeden Aufruf die Input-Kosten.
Berechne für denselben Aufruf die Output-Kosten.
Addiere beides.
Wiederhole das für alle Aufrufe der Aufgabe und addiere die Beträge. Das ist die Bedeutung des Summenzeichens über $j$ .
Addiere menschliche Prüf- und Bearbeitungskosten.
Addiere weitere zurechenbare Kosten, ohne Positionen doppelt zu erfassen.

Dabei ist:

$C_{m,i}$ : Gesamtkosten einer Aufgabe im System $m$ .
$T^{\text{in}}_{m,i,j}$ und $T^{\text{out}}_{m,i,j}$ : Input- und Output-Tokens des jeweiligen Aufrufs.
$P^{\text{in}}_{m,i,j}$ und $P^{\text{out}}_{m,i,j}$ : Preise pro Million Tokens für das tatsächlich verwendete Modell.
$H_{m,i}$ : aktive menschliche Arbeitszeit in Stunden.
$w$ : Personalkosten pro Stunde.
$Z_{m,i}$ : weitere Kosten.

Beispiel A1: Aufgabe 1 – ein Aufruf, kein Mensch

Das Basismodell verarbeitet 1.000 Input- und 200 Output-Tokens.

C^{\text{in}}_{m,1,1} = \frac{1\,000}{1\,000\,000}\times1 = 0{,}0010\,\text{USD}

C^{\text{out}}_{m,1,1} = \frac{200}{1\,000\,000}\times4 = 0{,}0008\,\text{USD}

C_{m,1} = 0{,}0010+0{,}0008+0+0 = 0{,}0018\,\text{USD}

Es gibt nur einen Summanden, weil $A_{m,1}=1$ . Menschliche Kosten und weitere Kosten sind null. Die Aufgabe kostet 0,18 US-Cent.

Beispiel A2: Aufgabe 4 – drei Aufrufe, Modellwechsel und Korrektur

Hier gilt $A_{m,4}=3$ .

Erster Aufruf: Basismodell

C^{\text{API}}_{m,4,1} = \frac{1\,200}{1\,000\,000}\times1 + \frac{200}{1\,000\,000}\times4 = 0{,}0020\,\text{USD}

Zweiter Aufruf: erneut Basismodell

C^{\text{API}}_{m,4,2} = \frac{1\,500}{1\,000\,000}\times1 + \frac{300}{1\,000\,000}\times4 = 0{,}0027\,\text{USD}

Dritter Aufruf: stärkeres Modell

C^{\text{API}}_{m,4,3} = \frac{1\,800}{1\,000\,000}\times3 + \frac{500}{1\,000\,000}\times12 = 0{,}0054+0{,}0060 = 0{,}0114\,\text{USD}

API-Kosten addieren:

C^{\text{API}}_{m,4} = 0{,}0020+0{,}0027+0{,}0114 = 0{,}0161\,\text{USD}

Danach prüft und korrigiert ein Mensch das Ergebnis. Dafür benötigt er zwei Minuten.

H_{m,4} = \frac{2}{60}\,\text{Stunden}

H_{m,4}w = \frac{2}{60}\times30 = 1{,}00\,\text{USD}

Zusätzlich entstehen $Z_{m,4}=0{,}0030$ USD Toolkosten.

C_{m,4} = 0{,}0161+1{,}0000+0{,}0030 = 1{,}0191\,\text{USD}

Der menschliche Aufwand ist hier deutlich teurer als die Modellaufrufe. Das ist ein Ergebnis unserer gewählten Zahlen, keine allgemeingültige Aussage über jede KI-Anwendung.

Beispiel A3: Menschliche Prüfung ohne Korrektur

Aufgabe 3 ist inhaltlich richtig, erfordert aber eine Minute menschliche Prüfung und Freigabe. Die Antwort bleibt unverändert.

C_{m,3} = 0{,}0012+\frac{1}{60}\times30+0 = 0{,}5012\,\text{USD}

Keine Korrektur bedeutet also nicht keine menschlichen Kosten. Für diese Aufgabe gilt später $V=1$ , aber $B=0$ .

Kostenübersicht aller Aufgaben

Aufgabe	API in USD	Menschliche Minuten	Mensch in USD	Weitere Kosten in USD	Gesamt in USD
1	0,0018	0,0	0,0000	0,0000	0,0018
2	0,0135	0,0	0,0000	0,0020	0,0155
3	0,0012	1,0	0,5000	0,0000	0,5012
4	0,0161	2,0	1,0000	0,0030	1,0191
5	0,0014	0,0	0,0000	0,0000	0,0014
6	0,0010	0,0	0,0000	0,0000	0,0010
7	0,0130	1,5	0,7500	0,0020	0,7650
8	0,0015	0,0	0,0000	0,0000	0,0015
9	0,0021	0,5	0,2500	0,0000	0,2521
10	0,0011	0,0	0,0000	0,0000	0,0011

Bei mehreren menschlichen Rollen würde man statt $H_{m,i}w$ die Kosten je Rolle addieren. Bei Eigenbetrieb ersetzt eine dokumentierte Infrastrukturzuordnung den API-Gebührenterm. Solche Kosten werden hier nicht zusätzlich erfunden.

B. Einfacher Spezialfall: nur Input-Kosten

C_{\text{Input}} = \frac{N_{\text{Input-Tokens}}}{1\,000\,000} \times P_{\text{Input}}

Beispiel: erster Aufruf von Aufgabe 2

1.500 Input-Tokens werden zum Basistarif von 1 USD pro Million verarbeitet:

C_{\text{Input}} = \frac{1\,500}{1\,000\,000}\times1 = 0{,}0015\,\text{USD}

Dabei ist:

$N_{\text{Input-Tokens}}=1\,500$ : der Verbrauch genau dieses Aufrufs.
$P_{\text{Input}}=1$ : der Preis pro Million Input-Tokens in USD.
$C_{\text{Input}}=0{,}0015$ USD: ausschließlich dessen Input-Kosten.

Der erste Aufruf hat zusätzlich 300 Output-Tokens, die 0,0012 USD kosten. Zusammen kostet er 0,0027 USD.

Aufgabe 2 benötigt aber noch einen zweiten Aufruf und ein Tool. Die vollständige Aufgabe kostet deshalb 0,0155 USD. Die Input-Spezialformel darf nicht mit den vollständigen Aufgabenkosten verwechselt werden.

C. Durchschnittlicher Tokenverbrauch

Datengrundlage je Aufgabe

Aufgabe	Erster Input	Input aller Aufrufe	Output aller Aufrufe	Tokens insgesamt
1	1000	1000	200	1200
2	1500	3500	700	4200
3	800	800	100	900
4	1200	4500	1000	5500
5	1000	1000	100	1100
6	600	600	100	700
7	1400	3400	600	4000
8	900	900	150	1050
9	1100	1100	250	1350
10	700	700	100	800

C1. Durchschnittlicher Input des ersten Aufrufs

\overline{T}^{\text{in, erster Aufruf}}_m = \frac{1}{N}\sum_{i=1}^{N}T^{\text{in}}_{m,i,1}

Wir nehmen von jeder Aufgabe nur den Input des ersten Aufrufs:

1\,000+1\,500+800+1\,200+1\,000+600+1\,400+900+1\,100+700 = 10\,200

\overline{T}^{\text{in, erster Aufruf}}_m = \frac{10\,200}{10} = 1\,020\,\text{Tokens pro Aufgabe}

Der Überstrich bedeutet hier Durchschnitt. Wiederholungen und Output sind in diesem Wert bewusst nicht enthalten.

C2. Durchschnittlicher Gesamtverbrauch

\overline{T}^{\text{gesamt}}_m = \frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{A_{m,i}} \left(T^{\text{in}}_{m,i,j}+T^{\text{out}}_{m,i,j}\right)

Zuerst addieren wir innerhalb jeder Aufgabe alle Input- und Output-Tokens. Danach addieren wir die Aufgaben:

1\,200+4\,200+900+5\,500+1\,100+700+4\,000+1\,050+1\,350+800 = 20\,800

Alternativ ergibt die getrennte Addition 17.500 Input- und 3.300 Output-Tokens:

\overline{T}^{\text{gesamt}}_m = \frac{17\,500+3\,300}{10} = 2\,080\,\text{Tokens pro Aufgabe}

Der Nenner ist 10 und nicht 14: Gefragt ist der Durchschnitt pro ursprünglicher Aufgabe, nicht pro Modellaufruf.

Pro Aufruf wären es dagegen:

\frac{20\,800}{14} \approx 1\,485{,}71\,\text{Tokens pro Aufruf}

Das ist eine andere Kennzahl. Die Summe der Tokens allein ergibt noch keine Kostenrechnung, weil Input, Output und die beiden Modelle unterschiedliche Tarife haben.

Bei einer regelbasiert abgeschlossenen Aufgabe ohne Modellaufruf wird der Modelltokenverbrauch als null erfasst. Dann muss der erste-Aufruf-Wert entsprechend definiert werden; alternativ berichtet man ihn nur für Aufgaben mit Modellaufruf und nennt deren Anzahl als Nenner.

D. Erfolgsindikator und Erfolgsquote

Gemeinsame Ergebnis- und Prozessdaten

Aufgabe	S: Erfolg	R: Wiederholung	V: Mensch	B: Korrektur	U: R oder V	Laufzeit in s
1	1	0	0	0	0	4
2	1	1	0	0	1	12
3	1	0	1	0	1	75
4	1	1	1	1	1	160
5	0	0	0	0	0	5
6	1	0	0	0	0	3
7	0	1	1	0	1	130
8	1	0	0	0	0	6
9	1	0	1	1	1	45
10	1	0	0	0	0	4

Zur Interpretation einiger Fälle:

Aufgabe 3: unverändert nach menschlicher Prüfung freigegeben; erfolgreich.
Aufgabe 4: nach Wiederholungen und menschlicher Korrektur erfolgreich.
Aufgabe 5: falsch und ohne weiteren betrieblichen Eingriff beendet; erfolglos. Der Fehler wurde erst bei der Benchmark-Bewertung festgestellt.
Aufgabe 7: trotz Wiederholung und menschlicher Prüfung bis zum Abbruch ungelöst.
Aufgabe 9: erst nach menschlicher Korrektur erfolgreich.

D1. Einzelne Aufgabe bewerten

S_{m,i} = \begin{cases} 1, & \text{wenn die Aufgabe die Akzeptanzkriterien erfüllt}\\ 0, & \text{sonst} \end{cases}

Damit gilt beispielsweise $S_{m,4}=1$ und $S_{m,7}=0$ .

Der Indikator ist keine feine Qualitätsnote. Er beantwortet nur, ob die vorher definierten Anforderungen auf der betrachteten Ebene erfüllt sind.

D2. Erfolgsquote berechnen

Q_m = \frac{1}{N}\sum_{i=1}^{N}S_{m,i}

Q_m = \frac{1+1+1+1+0+1+0+1+1+1}{10} = \frac{8}{10} = 0{,}8 = 80\,\%

Das bedeutet: Acht von zehn Aufgaben wurden im gesamten erlaubten Workflow erfolgreich abgeschlossen.

Es bedeutet nicht: Das Modell hat 80 % beim ersten Versuch ohne menschliche Hilfe richtig gelöst. Für diese Aussage müssten wir separate Erstversuchs-Indikatoren erfassen.

E. Gesamtkosten des Testlaufs

C^{\text{gesamt}}_m = \sum_{i=1}^{N}C_{m,i}

Mit der Kostenübersicht aus A:

\begin{aligned} C^{\text{gesamt}}_m ={}&0{,}0018+0{,}0155+0{,}5012+1{,}0191+0{,}0014\\ &+0{,}0010+0{,}7650+0{,}0015+0{,}2521+0{,}0011\\ ={}&2{,}5597\,\text{USD} \end{aligned}

Die gleiche Summe ergibt sich nach Kostenarten:

Kostenart	Betrag
Alle Modellaufrufe	0,0527 USD
Menschliche Arbeit: insgesamt 5 Minuten	2,5000 USD
Weitere Toolkosten	0,0070 USD
Gesamt	2,5597 USD

Kontrollrechnung:

0{,}0527+\frac{5}{60}\times30+0{,}0070 = 2{,}5597\,\text{USD}

Auch erfolglose Aufgaben bleiben enthalten

Aufgabe 7 kostet 0,7650 USD, obwohl sie nicht erfolgreich abgeschlossen wurde. Aufgabe 5 kostet 0,0014 USD und scheitert ebenfalls.

Würden wir beide Kosten entfernen, sähe das System wirtschaftlicher aus, als es tatsächlich war. Fehlversuche verbrauchen reale Ressourcen.

Verbindung zur zentralen Kennzahl

E_m=\sum_{i=1}^{N}S_{m,i}=8

K_m = \frac{C^{\text{gesamt}}_m}{E_m} = \frac{2{,}5597}{8} = 0{,}3199625\,\text{USD} \approx 0{,}32\,\text{USD pro Erfolg}

Die durchschnittlichen Kosten pro eingegangener Aufgabe wären dagegen:

\frac{2{,}5597}{10}=0{,}25597\,\text{USD}

Über die Erfolgsquote kommen wir zum gleichen Ergebnis:

\frac{0{,}25597}{0{,}8}=0{,}3199625\,\text{USD}

Bei null Erfolgen wäre $K_m$ nicht definiert. Dann würden Gesamtkosten und Erfolgsquote berichtet, aber kein künstlicher Ersatznenner eingesetzt.

F. Bearbeitungszeit

F1. Durchschnittliche Bearbeitungszeit

\overline{L}_m = \frac{1}{N}\sum_{i=1}^{N}L_{m,i}

Unsere Zeiten in Aufgabenreihenfolge lauten:

4, 12, 75, 160, 5, 3, 130, 6, 45, 4 Sekunden

\overline{L}_m = \frac{4+12+75+160+5+3+130+6+45+4}{10} = \frac{444}{10} = 44{,}4\,\text{Sekunden}

Die Zeiten menschlich bearbeiteter Aufgaben sind größer, weil wir hier die vollständige Bearbeitungszeit betrachten. Diese Zeit ist nicht identisch mit der aktiven menschlichen Arbeitszeit aus der Kostenformel.

F2. Das 95. Perzentil mit expliziter Berechnungsmethode

L_{95,m}=P_{95}(L_{m,1},\ldots,L_{m,N})

Das Symbol allein sagt noch nicht, welche konkrete Stichproben-Quantilmethode verwendet wird. Für das folgende Beispiel legen wir die Nearest-Rank-Methode fest.

Schritt 1: Zeiten aufsteigend sortieren.

Rang:     1  2  3  4  5   6   7   8    9    10
Sekunden: 3  4  4  5  6  12  45  75  130   160

Schritt 2: Rang berechnen.

r=\left\lceil0{,}95\times N\right\rceil =\left\lceil9{,}5\right\rceil =10

Die Klammern $\lceil\ \rceil$ bedeuten Aufrunden auf die nächste ganze Zahl.

Schritt 3: Wert an Rang 10 nehmen.

L_{95,m}=160\,\text{Sekunden}

Bei nur zehn Aufgaben fällt p95 mit dieser Methode auf das Maximum. Das macht deutlich, wie grob ein solches Randquantil bei kleinen Stichproben ist.

Warum ein anderes Tool einen anderen Wert ausgeben könnte:

Bei einer verbreiteten linearen Interpolation mit Rangposition $h=1+(N-1)p$ ergäbe sich:

h=1+9\times0{,}95=9{,}55

P_{95}^{\text{linear}} =130+0{,}55\times(160-130) =146{,}5\,\text{Sekunden}

Beide Werte gehören zu unterschiedlichen ausdrücklich definierten Rechenkonventionen. Für Vergleiche muss dieselbe Methode verwendet werden. Ein interpoliertes Stichprobenperzentil ist nicht automatisch der Anteil tatsächlich beobachteter Fälle unter dieser Zeitgrenze.

F3. Anteil innerhalb einer Frist direkt berechnen

Wenn die Anforderung lautet „mindestens 95 % innerhalb von 60 Sekunden“, können wir die Fälle direkt zählen:

Innerhalb von 60 Sekunden: Aufgaben 1, 2, 5, 6, 8, 9 und 10.
Das sind 7 von 10 Aufgaben, also 70 %.

F_m=\frac{7}{10}=70\,\%

Davon ist Aufgabe 5 erfolglos. Erfolgreich und fristgerecht sind daher nur sechs Aufgaben:

F^{\text{erfolgreich}}_m=\frac{6}{10}=60\,\%

Ein schnelles falsches Ergebnis soll nicht als erfolgreich eingehaltene Bearbeitungsfrist gelten.

F4. Nur erfolgreiche Aufgaben separat betrachten

Die acht erfolgreichen Aufgaben benötigen zusammen 309 Sekunden:

\overline{L}^{\text{erfolgreich}}_m =\frac{309}{8} =38{,}625\,\text{Sekunden}

Diese Zahl wird ausdrücklich als separate Kennzahl bezeichnet. Sie ersetzt nicht die Laufzeitmessung aller Aufgaben, da die fehlgeschlagenen Fälle sonst unsichtbar würden.

G. Wiederholung, menschliche Prüfung und Korrektur

Die Indikatoren

$R_{m,i}=1$ : mindestens ein zusätzlicher Modellversuch.
$V_{m,i}=1$ : notwendige menschliche Prüfung, Freigabe oder Bearbeitung.
$B_{m,i}=1$ : tatsächliche menschliche Korrektur.

Ein zusätzlicher Versuch muss im Vergleich eindeutig definiert sein. In diesem Beispiel ist jeder Aufruf nach dem ersten ein erneuter Bearbeitungsversuch. In einem anderen Workflow könnte ein zweiter Aufruf ein regulärer geplanter Verarbeitungsschritt sein; dann dürfte er nicht ohne Weiteres als Wiederholung gelten.

G1. Wiederholungsquote

Aufgaben 2, 4 und 7 haben Wiederholungen:

R_m =\frac{1}{N}\sum_{i=1}^{N}R_{m,i} =\frac{3}{10} =30\,\%

Aufgabe 4 hat zwei zusätzliche Aufrufe, zählt in der Quote aber nur einmal. Die Quote misst betroffene Aufgaben, nicht zusätzliche Aufrufe.

Es gibt insgesamt vier zusätzliche Aufrufe bei zehn Aufgaben. Das wären 0,4 zusätzliche Aufrufe pro Aufgabe – eine andere Kennzahl als die Wiederholungsquote von 30 %.

G2. Quote menschlicher Beteiligung

Bei Aufgaben 3, 4, 7 und 9 arbeitet ein Mensch mit:

V_m =\frac{1}{N}\sum_{i=1}^{N}V_{m,i} =\frac{4}{10} =40\,\%

Prüfen und unverändert freigeben zählt mit. Ein erfolgloser Prüfversuch wie bei Aufgabe 7 ebenfalls.

G3. Korrekturquote

Nur bei Aufgaben 4 und 9 wird das Ergebnis tatsächlich geändert:

B_m =\frac{1}{N}\sum_{i=1}^{N}B_{m,i} =\frac{2}{10} =20\,\%

Die menschliche Beteiligung liegt bei 40 %, die tatsächliche Korrekturquote bei 20 %. Beide Begriffe sind deshalb nicht austauschbar.

G4. Gemeinsame Eingriffsquote ohne Doppelzählung

U_m =\frac{1}{N}\sum_{i=1}^{N}\max(R_{m,i},V_{m,i})

Das Maximum der beiden binären Indikatoren entspricht hier einem logischen ODER:

R	V	max(R,V)	Interpretation
0	0	0	Weder Wiederholung noch menschliche Beteiligung
1	0	1	Nur Wiederholung
0	1	1	Nur menschliche Beteiligung
1	1	1	Beides; trotzdem nur ein betroffener Fall

Betroffen sind Aufgaben 2, 3, 4, 7 und 9:

U_m =\frac{5}{10} =50\,\%

Die falsche Rechnung wäre $30\,\%+40\,\%=70\,\%$ . Dabei würden die Aufgaben 4 und 7 doppelt gezählt.

Mit der Überschneidung korrekt gerechnet:

U_m =\frac{3+4-2}{10} =50\,\%

G5. Warum die Eingriffsquote keine Fehlerquote ist

Aufgabe 5 scheitert, erhält aber keinen zusätzlichen Versuch und keine betriebliche menschliche Bearbeitung. Deshalb gilt dort:

S_{m,5}=0,\qquad R_{m,5}=0,\qquad V_{m,5}=0

Die Aufgabe senkt die Erfolgsquote, erhöht aber nicht die Eingriffsquote. Umgekehrt kann eine korrekte Antwort wegen einer verbindlichen Freigaberegel menschliche Prüfung benötigen.

Erfolg und Eingriff sind somit unterschiedliche Dimensionen.

G6. Häufigkeit ist nicht Aufwand

Unsere vier menschlich bearbeiteten Aufgaben benötigen insgesamt fünf aktive Minuten. Die Prüfquote sagt noch nicht, wie viel Zeit diese Fälle kosten.

Als zusätzliches hypothetisches Vergleichsbeispiel: Zwei Systeme haben jeweils vier menschlich bearbeitete Aufgaben von zehn.

System X: je 30 Sekunden, insgesamt 2 Minuten.
System Y: je 3 Minuten, insgesamt 12 Minuten.

Bei 30 USD pro Stunde ergibt das:

C^{\text{Mensch}}_X=\frac{2}{60}\times30=1\,\text{USD}

C^{\text{Mensch}}_Y=\frac{12}{60}\times30=6\,\text{USD}

Gleiche Beteiligungsquote, aber sechsmal so hohe menschliche Kosten. Deshalb werden Quote und Arbeitszeit getrennt gemessen.

Zusammenfassung des durchgängigen Beispiels

Kennzahl	Ergebnis
Ursprüngliche Aufgaben	10
Modellaufrufe insgesamt	14
Input-Tokens insgesamt	17.500
Output-Tokens insgesamt	3.300
Erster Input je Aufgabe, Mittelwert	1.020 Tokens
Gesamtverbrauch je Aufgabe, Mittelwert	2.080 Tokens
Erfolgreiche Abschlüsse	8
Workflow-Erfolgsquote	80 %
API-Kosten	0,0527 USD
Menschliche Kosten	2,5000 USD
Weitere Kosten	0,0070 USD
Gesamtkosten	2,5597 USD
Kosten pro erfolgreicher Aufgabe	ca. 0,32 USD
Mittlere Bearbeitungszeit aller Aufgaben	44,4 Sekunden
p95 nach Nearest Rank	160 Sekunden
Wiederholungsquote	30 %
Menschliche Beteiligung	40 %
Menschliche Korrekturen	20 %
Gemeinsame Eingriffsquote	50 %

Was ich daraus entscheiden kann – und was nicht

Aus diesem Datensatz kann ich die Kennzahlen nachvollziehbar berechnen. Ein echter Auswahlentscheid erfordert aber mindestens einen weiteren Kandidaten, die gleiche Aufgabenbasis und vorher definierte Mindestanforderungen.

Eine Anforderung von mindestens 90 % Workflow-Erfolg wäre in diesem beobachteten Test nicht erfüllt. Auch die Anforderung „95 % erfolgreich innerhalb von 60 Sekunden“ wäre verfehlt. Ein niedriger Kostenwert würde diese Anforderungen nicht ersetzen.

Zehn hypothetische Aufgaben sind außerdem nur ein Rechenbeispiel. Sie belegen weder reale Modellleistung noch statistisch belastbare Produktionswerte.

Die Formeln strukturieren die Bewertung. Ihre Aussagekraft entsteht erst durch saubere Messdaten, eindeutige Erfolgskriterien und eine dokumentierte Systemgrenze.

Aufgabe	S: Erfolg	R: Wiederholung	V: Mensch	B: Korrektur	U: R oder V	Laufzeit in s
1	1	0	0	0	0	4
2	1	1	0	0	1	12
3	1	0	1	0	1	75
4	1	1	1	1	1	160
5	0	0	0	0	0	5
6	1	0	0	0	0	3
7	0	1	1	0	1	130
8	1	0	0	0	0	6
9	1	0	1	1	1	45
10	1	0	0	0	0	4

Aufgabe	S: Erfolg	R: Wiederholung	V: Mensch	B: Korrektur	U: R oder V	Laufzeit in s
1	1	0	0	0	0	4
2	1	1	0	0	1	12
3	1	0	1	0	1	75
4	1	1	1	1	1	160
5	0	0	0	0	0	5
6	1	0	0	0	0	3
7	0	1	1	0	1	130
8	1	0	0	0	0	6
9	1	0	1	1	1	45
10	1	0	0	0	0	4

Aufgabe	S: Erfolg	R: Wiederholung	V: Mensch	B: Korrektur	U: R oder V	Laufzeit in s
1	1	0	0	0	0	4
2	1	1	0	0	1	12
3	1	0	1	0	1	75
4	1	1	1	1	1	160
5	0	0	0	0	0	5
6	1	0	0	0	0	3
7	0	1	1	0	1	130
8	1	0	0	0	0	6
9	1	0	1	1	1	45
10	1	0	0	0	0	4