Begriff
whisper.cpp
whisper.cpp ist eine quelloffene C++-Portierung von OpenAIs Whisper-Spracherkennung — eine kompakte Native-Binary für lokale Transkription auf CPU, CUDA, Metal oder Vulkan, ohne Python-Abhängigkeit.
whisper.cpp — ausführlicher erklärt
whisper.cpp ist die in modernem C++ geschriebene Inferenz-Implementierung von OpenAIs Whisper-Modell, gestartet 2022 von Georgi Gerganov — derselbe Entwickler, der mit llama.cpp die parallele Bewegung im LLM-Bereich angestoßen hat. Beide Projekte teilen sich die ggml-Tensor-Bibliothek als Backend. Lizenziert unter MIT, Repository: ggerganov/whisper.cpp. Die Bibliothek hat keine Python-Abhängigkeit und kompiliert zu einer schlanken Binary, die auf nahezu jedem System läuft.
Beispiel / Praxisbezug
whisper.cpp liefert mehrere ausführbare Werkzeuge mit: main für Datei-Transkription, server als HTTP-Endpunkt für Inferenz-Requests, stream für Live-Streaming vom Mikrofon. Modelle kommen im Format ggml-<size>.bin (mit quantisierten Varianten wie q5_0, q5_1, q8_0) und werden über das mitgelieferte Script download-ggml-model.sh geholt. Unterstützte Backends: CPU mit AVX/AVX2/AVX-512, CUDA, Metal auf Apple Silicon, Vulkan, OpenCL sowie CoreML über eine separate Konvertierung. Typische Einsatzfelder sind Diktat-Tools, Voice-Input in CLIs, Offline-Untertitelung und Inferenz auf Edge-Devices ohne Cloud-Zugriff.
Abgrenzung zu ähnlichen Begriffen
Whisper bezeichnet das Modell von OpenAI; whisper.cpp ist nur eine von mehreren Laufzeitumgebungen dafür — daneben existieren die offizielle Python-Referenz sowie schnellere Wrapper wie faster-whisper (CTranslate2). Trade-offs: Die erste Installation kompiliert lokal und braucht eine Compiler-Toolchain; Modelle müssen explizit gewählt und nachgeladen werden, automatische Updates gibt es nicht.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.