Begriff
Text-Generation-WebUI
Text-Generation-WebUI (oobabooga) ist eine quelloffene Web-Oberfläche zum lokalen Betreiben von LLMs. Sie bündelt mehrere Inferenz-Backends, Chat- und Completion-Modi sowie eine OpenAI-kompatible API unter einer gemeinsamen Bedienoberfläche.
Text-Generation-WebUI — ausführlich erklärt
Text-Generation-WebUI, nach dem Entwickler oft schlicht oobabooga genannt, ist eine der ältesten und vielseitigsten Web-Oberflächen für den lokalen Betrieb von Sprachmodellen. Der Kerngedanke: eine einheitliche Gradio-basierte Oberfläche, hinter der sich mehrere austauschbare Inferenz-Backends verbergen — darunter llama.cpp, Transformers, ExLlamaV3 und TensorRT-LLM. Modelle und Backends lassen sich ohne Neustart wechseln, was die Software für Experimente mit verschiedenen Quantisierungen und Engines beliebt macht.
Funktional bietet das Projekt Chat-, Instruct- und Notebook-/Completion-Modi, eine OpenAI- und Anthropic-kompatible API (Chat-, Completions- und Messages-Endpunkte inkl. Tool-Calling), multimodale Eingaben (Bilder, PDF-/DOCX-Anhänge) sowie LoRA-Training. Portable Builds erlauben für GGUF-Modelle einen Zero-Setup-Start: herunterladen, entpacken, ausführen — ohne Installation von Abhängigkeiten.
Beispiel / Praxisbezug
Ein typischer Anwender lädt ein quantisiertes GGUF-Modell, startet die portable Version unter Windows und chattet sofort lokal — ohne Cloud, vollständig offline. Wer eine andere Engine testen will, schaltet im Model-Tab von llama.cpp auf ExLlamaV3 um, um GPU-spezifische Geschwindigkeitsvorteile zu prüfen. Über die OpenAI-kompatible API lässt sich die laufende Instanz zudem als drop-in-Backend in bestehende Tools einbinden, die sonst die OpenAI-API ansprechen.
Abgrenzung zu ähnlichen Begriffen
LM Studio verfolgt ein ähnliches Ziel, ist aber eine geschlossene Desktop-App mit poliertem GUI, während Text-Generation-WebUI quelloffen und stärker auf Backend-Flexibilität ausgelegt ist. Open WebUI ist primär eine Chat-Frontend-Schicht, die selbst keine Inferenz macht, sondern an Backends wie Ollama andockt. llama.cpp ist eine der Inferenz-Engines, die Text-Generation-WebUI unter der Haube nutzt — kein konkurrierendes Frontend.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.