arbeiten-mit-ki workflows produktivitaet

Wie wir Speech-to-Text mit 90 Datenpunkten und zwei Prompts deutlich besser gemacht haben

Martin Rau · 22. Mai 2026 · 8 Min. Lesezeit

Wir nutzen Speech-to-Text täglich. Anweisungen an die KI werden gesprochen — statt getippt. Das ist schneller, natürlicher, und man kann dabei herumlaufen. Wer ernsthaft mit KI arbeitet und viele Prompts schreibt, merkt schnell: Die Hände sind oft der Flaschenhals. Speech-to-Text löst das.

Das Problem: Whisper, das Open-Source-Modell das wir für die Transkription verwenden, hatte anfangs keine Ahnung, was „DEVI Runner”, „boostN” oder „MindVaults” bedeuten soll. Die KI hörte „Debbie Runner”, „Boosten” und „Mindwalls”. Und diese Fehler landeten direkt im nächsten Prompt — und damit im Ergebnis.

Das war kein theoretisches Problem. Es war ein tägliches Ärgernis.

Das eigentliche Problem: STT-Fehler propagieren still

Wenn Whisper „Heiko” statt „Haiku” transkribiert, merkt man das oft nicht sofort. Der Folge-Prompt klingt noch verständlich. Die KI interpretiert es irgendwie. Aber das Ergebnis ist schlechter als es sein müsste — und man weiß nicht warum.

Das Tückische an Speech-to-Text-Fehlern: Sie sind unsichtbar. Man spricht, bekommt eine Antwort, und denkt nie daran, dass zwischen Mund und KI-Input etwas schiefgelaufen ist. Besonders bei Fachbegriffen, Eigennamen und domänenspezifischem Vokabular ist das kleine Whisper-Modell strukturell überfordert — nicht weil es schlecht ist, sondern weil es nichts über den eigenen Kontext weiß.

Unsere Hypothese: Wenn wir die häufigsten Fehler kennen und dem Modell die richtigen Keywords vorab als Hint mitgeben, könnten wir das systematisch beheben — ohne Training, ohne Fine-Tuning, ohne Infrastruktur.

Der Ansatz: Messen, bevor man optimiert

Whisper hat einen Parameter namens initial_prompt. Man kann dem Modell vor der Transkription eine Keyword-Liste mitgeben — quasi einen Kontext, der ihm sagt: „Du wirst gleich über diese Dinge hören. Kenn sie.” Das ist kein Fine-Tuning und kein echtes Modell-Training — es ist ein deterministischer Hint, der sofort wirkt und keine Trainings-Pipeline braucht.

Aber welche Keywords gehören rein? Raten wäre Verschwendung.

Also haben wir gemessen — mit KI-Unterstützung.

Schritt 1: Jede STT-Session bewerten lassen

Wir haben einen Bewertungs-Prompt entwickelt, der für jede Transkription eine strukturierte Analyse ausgibt:

Du bewertest eine automatische Sprachtranskription (Speech-to-Text).

Ich gebe dir:
- den Originaltext (was der User gemeint hat / den korrigierten Text)
- die STT-Transkription (Whisper-Output, unkorrigiert)

Bewerte die Transkription auf einer Skala von 1–10 in diesen Kategorien:
- wortgenauigkeit
- englische_begriffe
- deutsche_fachbegriffe
- vollstaendigkeit

Notiere außerdem alle konkreten Fehler im Feld fehler_notizen:
- Format: "Falsch statt Richtig" — z.B. "Davy Runner statt DEVI Runner"
- Worttrennungsfehler markieren mit "(Worttrennung)"
- Sinnentstellende Fehler markieren mit "(sinnentstellend)"

Gib das Ergebnis als eine CSV-Zeile aus.

Das Ergebnis: eine wachsende CSV-Datei, Zeile für Zeile, Session für Session.

Ein Blick in die rohen Daten

Damit man ein Gefühl bekommt, was wir da eigentlich gemessen haben — hier zehn echte Zeilen aus der CSV, ungeschönt:

| Zeitpunkt | Wortgen. | EN-Begriffe | DE-Begriffe | Vollst. | Fehler | |---|---|---|---|---|---| | 05.04. 01:25 | 7 | 4 | 8 | 9 | Cloth Session → Claude Session; son net → Sonnet; Heiko → Haiku | | 05.04. 01:30 | 6 | 5 | 7 | 8 | Clot → Claude; Boosten → boostN; Fußsch alter → Fußschalter (3x) | | 06.04. 00:55 | 7 | 8 | 6 | 9 | Prozeltiere → Prozeduren (sinnentstellend) | | 06.04. 18:25 | 6 | 5 | 6 | 9 | Herdbeet → Heartbeat; abstuerbt → abstirbt; schuetzt → schickt | | 06.04. 20:56 | 7 | 5 | 7 | 9 | Hammersboden → Hammerspoon; Drücker → Fußschalter | | 10.04. 10:00 | 6 | 4 | 7 | 8 | Speed to Text → Speech to Text; CL I → CLI; lock dich ein → logg dich ein | | 10.04. 10:20 | 6 | 4 | 6 | 9 | Whispernitzen → Whisper nutzen; Boosten Jason → boostn.json; Enft → .env | | 11.04. 00:15 | 7 | 5 | 8 | 9 | Debbie Runner → DEVI Runner; Sosommengesetzte → zusammengesetzte | | 12.04. 00:10 | 6 | 7 | 6 | 9 | Transpiration → Transkription; Beißbetext → Beispieltext | | 12.04. 16:15 | 7 | 8 | 6 | 8 | Transklippierung → Transkribierung |

Ein paar davon sind echte Klassiker: „Prozeltiere” statt „Prozeduren” — da hat Whisper phonetisch geraten und ist komplett ins Leere gelaufen. Oder „Hammersboden” statt „Hammerspoon” (ein Tool-Name) — das Modell hatte schlicht keinen Kontext. Und „Whispernitzen” statt „Whisper nutzen” zeigt, wie fließende Sprache bei schnellem Sprechen als ein einziges Fantasiewort landet.

Interessant auch die Vollständigkeitswerte: Fast alle Sessions landen bei 8–9, selbst wenn Einzelwörter danebengehen. Der Gesamtsinn ist meistens noch da — aber eben mit Rauschen, das sich nach unten akkumuliert.

Schritt 2: Nach ~90 Einträgen auswerten

Nach rund 90 annotierten Sessions — gesammelt über etwa eine Woche — haben wir die CSV in einen zweiten Prompt gegeben:

Analysiere die Fehler und beantworte:

1. Top-Fehlermuster — Welche Wörter werden am häufigsten falsch transkribiert?
2. Glossar-Empfehlung — Erstelle eine Liste für Whisper initial_prompt (max. 15 Begriffe).
3. Qualitäts-Trend — Verbessert oder verschlechtert sich die Qualität über die Sessions?
4. Nicht lösbare Fehler — Was lässt sich durch ein Glossar NICHT beheben?

Was wir gelernt haben

Die Fehler gruppierten sich sofort in klare Muster:

| Fehlerklasse | Beispiele | |---|---| | Eigennamen & Marken | Claude → Kloat / Clot, DEVI Runner → Davy / Debbie Runner, boostN → Boosten | | Modellnamen | Sonnet → son net, Haiku → Heiko | | Tech-Begriffe | JWT → JVT, Heartbeat → Herdbeet, CLI → CLi | | Worttrennungen | Fußsch alter, ab geschickt, auf rufen | | Halluzinationen | Transpiration statt Transkription, Prozeltiere statt Prozeduren |

Eigennamen und Modellnamen: lösbar durch Glossar. Worttrennungen und Halluzinationen: brauchen einen anderen Ansatz (Korrektions-Layer, größeres Modell).

Das Glossar, das aus der Analyse hervorging:

DEVI Runner, boostN, MindVaults, Sonnet, Haiku, Heartbeat, Fußschalter, Transkription, Claude, CLI, JWT, Commit, Branch, Node, Worktree

Die überraschende Erkenntnis: Keyword-Anzahl ist entscheidend

Hier haben wir etwas gelernt, das wir nicht erwartet hatten — und das für jeden relevant ist, der Whisper mit initial_prompt nutzt.

Bei Whisper-small — dem kleinen, schnellen Modell — gibt es einen klaren Sweet Spot: unter 15 Keywords im Glossar. Sobald man mehr reingibt, verschlechtern sich die allgemeinen Transkriptionen spürbar. Das Modell verliert den Überblick, Fehler häufen sich, und der Gewinn durch die Keyword-Liste wird durch neue Fehler aufgefressen.

Das ist ein wichtiger Hinweis für alle, die Whisper-small mit eigenen Fachbegriffen optimieren wollen: Weniger ist mehr. Nicht alle Fehler auf einmal lösen wollen — priorisieren.

Mit Whisper-medium (dem mittleren Modell) ist das Kapazitätsfenster deutlich größer. Dort könnte man die Keyword-Liste problemlos erweitern — was wir als nächsten Schritt im Hinterkopf behalten. Unser Gefühl: Mit dem mittleren Modell ist die Grundqualität ohnehin schon besser, und das Glossar könnte 20–25 Begriffe tragen, ohne die allgemeine Erkennung zu verschlechtern.

Das Ergebnis

Nach dem Einspielen des Glossars: Eigennamen werden zuverlässig korrekt transkribiert. „DEVI Runner” bleibt „DEVI Runner”. „Claude” bleibt „Claude”. „Haiku” bleibt „Haiku”.

Kein Training. Kein Fine-Tuning. Keine Infrastruktur. Zwei KI-Prompts, eine CSV, 90 Datenpunkte — und ein merklich besseres Speech-to-Text-System, das auf den eigenen Kontext zugeschnitten ist.

Der Ansatz skaliert: Wer regelmäßig mit KI arbeitet und eigene Fachbegriffe, Produktnamen oder Tooling hat, kann diesen Prozess 1:1 übernehmen. Das Ergebnis ist ein personalisiertes Keyword-Glossar — kein generisches Fine-Tuning, sondern präzise auf den eigenen Workflow abgestimmt.

Das kannst du selbst machen

Das Schöne an diesem Ansatz: Er ist nicht an unsere Infrastruktur gebunden. Du brauchst nur:

Ein STT-System mit Whisper (oder einem kompatiblen Modell)
Den Bewertungs-Prompt — für jede Session eine CSV-Zeile, ausgewertet von jeder KI
Den Auswertungs-Prompt — nach ~50–100 Sessions folgt das automatische Keyword-Glossar

Wenn du Whisper selbst hostest oder über eine API nutzt, kannst du das initial_prompt-Feld direkt mit deiner Keyword-Liste befüllen. Keine weitere Infrastruktur, kein Fine-Tuning nötig.

Oder der schnellere Weg: Wenn du boostN nutzt, bringt die CLI Speech-to-Text direkt mit — inklusive Glossar-Integration. Der Account ist kostenlos, die Installation läuft in wenigen Minuten. Einfach testen, eigenes Glossar aufbauen, Sprachsteuerung spürbar verbessern.

Die beiden Prompts aus diesem Projekt findest du am Ende als Kopiervorlage.

Prompt 1: STT-Bewertung (pro Session)

Du bewertest eine automatische Sprachtranskription (Speech-to-Text).

Ich gebe dir:
- den Originaltext (was der User gemeint hat / den korrigierten Text)
- die STT-Transkription (Whisper-Output, unkorrigiert)

Bewerte die Transkription auf einer Skala von 1–10 in diesen Kategorien:

wortgenauigkeit — Wie viele Wörter wurden korrekt transkribiert?
englische_begriffe — Wie gut wurden englische Fachbegriffe erkannt?
deutsche_fachbegriffe — Wie gut wurden deutsche Fachbegriffe und Eigennamen erkannt?
vollstaendigkeit — Wie vollständig ist der Sinn erhalten?

Notiere alle konkreten Fehler im Feld fehler_notizen:
- Format: "Falsch statt Richtig"
- Worttrennungsfehler: "(Worttrennung)"
- Sinnentstellend: "(sinnentstellend)"
- Keine Fehler: "Keine Fehler"

Gib das Ergebnis als eine CSV-Zeile aus:
timestamp,wortgenauigkeit,englische_begriffe,deutsche_fachbegriffe,vollstaendigkeit,wortanzahl,fehler_notizen

Originaltext:
[ORIGINAL HIER EINFÜGEN]

STT-Transkription:
[WHISPER-OUTPUT HIER EINFÜGEN]

Prompt 2: Auswertung & Glossar-Empfehlung (nach ~90 Sessions)

Ich habe eine CSV mit annotierten Sprachtranskriptionen.
Spalten: timestamp, wortgenauigkeit, englische_begriffe, deutsche_fachbegriffe,
vollstaendigkeit, wortanzahl, fehler_notizen

Hier ist die CSV:
[CSV HIER EINFÜGEN]

Analysiere die Fehler und beantworte:

1. Top-Fehlermuster — Welche Wörter werden am häufigsten falsch transkribiert?
   Gruppiere nach: Eigennamen/Marken · Englische Fachbegriffe · Worttrennungen · Halluzinationen

2. Glossar-Empfehlung — Erstelle eine kommagetrennte Liste für Whisper initial_prompt.
   Max. 15 Begriffe. Priorisiere nach Fehlerhäufigkeit.

3. Qualitäts-Trend — Verbessert oder verschlechtert sich die Qualität über die Sessions?

4. Nicht lösbare Fehler — Was lässt sich durch ein Glossar NICHT beheben?

Entdecke mehr

Blog

Themenuebersicht

Arbeiten mit KI Workflows Produktivität