LLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.
Redaktion
Lokales LLM
in KI-Werkzeuge
Tools zum Betreiben von Sprachmodellen auf eigener Hardware.
Glossar
GPT4All Lokales LLM
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
Jan Lokales LLM
Jan ist eine quelloffene Desktop-Anwendung, mit der sich große Sprachmodelle lokal und vollständig offline auf dem eigenen Rechner ausführen lassen. Sie nutzt die llama.cpp-Engine und gilt als datenschutzfreundliche ChatGPT-Alternative.
llama.cpp Lokales LLM
llama.cpp ist eine quelloffene C++-Bibliothek zum effizienten Inferieren von LLMs auf CPU und GPU — die Engine, auf der viele lokale Tools wie Ollama und LM Studio basieren.
Llamafile Lokales LLM
Llamafile ist ein Mozilla-Projekt, das ein lokales Sprachmodell als eine einzige ausführbare Datei verpackt — Modellgewichte und Inferenz-Engine in einem. Diese Datei läuft ohne Installation auf mehreren Betriebssystemen.
LM Studio Lokales LLM
LM Studio ist eine Desktop-Anwendung zum lokalen Betrieb von LLMs mit grafischer Oberfläche — inklusive Modell-Browser, Chat-Interface und OpenAI-kompatiblem Server.
Ollama Lokales LLM
Ollama ist ein Tool zum lokalen Betrieb von Sprachmodellen wie Llama, Mistral oder Qwen — Bedienung per CLI, mit OpenAI-kompatiblem HTTP-Server für Anwendungen.
Open WebUI Lokales LLM
Open WebUI ist eine Open-Source-Chat-Oberfläche für lokale und remote LLMs — ChatGPT-ähnliche UX im Browser, läuft als Docker-Container und spricht Ollama, OpenAI-kompatible APIs und mehr an.
TensorRT-LLM Lokales LLM
TensorRT-LLM ist eine quelloffene Bibliothek von NVIDIA, die LLM-Inferenz auf NVIDIA-GPUs optimiert. Sie kompiliert Modelle in hochoptimierte Laufzeit-Engines und bietet In-Flight-Batching, Paged-KV-Cache und Quantisierung für hohen Durchsatz bei niedriger Latenz.
Text-Generation-WebUI Lokales LLM
Text-Generation-WebUI (oobabooga) ist eine quelloffene Web-Oberfläche zum lokalen Betreiben von LLMs. Sie bündelt mehrere Inferenz-Backends, Chat- und Completion-Modi sowie eine OpenAI-kompatible API unter einer gemeinsamen Bedienoberfläche.
TGI (Text Generation Inference) Lokales LLM
TGI (Text Generation Inference) ist ein quelloffenes Toolkit von Hugging Face zum performanten Bereitstellen großer Sprachmodelle. Es liefert einen produktionsreifen Inferenz-Server mit Continuous Batching, Token-Streaming und optimierten Attention-Verfahren.
vLLM Lokales LLM
vLLM ist ein quelloffener Hochdurchsatz-Inferenzserver für LLMs — bekannt für PagedAttention, kontinuierliches Batching und einen OpenAI-kompatiblen API-Endpoint, weit verbreitet in produktiven Self-Hosting-Setups.
whisper.cpp Lokales LLM
whisper.cpp ist eine quelloffene C++-Portierung von OpenAIs Whisper-Spracherkennung — eine kompakte Native-Binary für lokale Transkription auf CPU, CUDA, Metal oder Vulkan, ohne Python-Abhängigkeit.