Lokales LLM
Tools zum Betreiben von Sprachmodellen auf eigener Hardware.
- GPT4All Lokales LLM
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
- Jan Lokales LLM
Jan ist eine quelloffene Desktop-Anwendung, mit der sich große Sprachmodelle lokal und vollständig offline auf dem eigenen Rechner ausführen lassen. Sie nutzt die llama.cpp-Engine und gilt als datenschutzfreundliche ChatGPT-Alternative.
- llama.cpp Lokales LLM
llama.cpp ist eine quelloffene C++-Bibliothek zum effizienten Inferieren von LLMs auf CPU und GPU — die Engine, auf der viele lokale Tools wie Ollama und LM Studio basieren.
- Llamafile Lokales LLM
Llamafile ist ein Mozilla-Projekt, das ein lokales Sprachmodell als eine einzige ausführbare Datei verpackt — Modellgewichte und Inferenz-Engine in einem. Diese Datei läuft ohne Installation auf mehreren Betriebssystemen.
- LM Studio Lokales LLM
LM Studio ist eine Desktop-Anwendung zum lokalen Betrieb von LLMs mit grafischer Oberfläche — inklusive Modell-Browser, Chat-Interface und OpenAI-kompatiblem Server.
- Ollama Lokales LLM
Ollama ist ein Tool zum lokalen Betrieb von Sprachmodellen wie Llama, Mistral oder Qwen — Bedienung per CLI, mit OpenAI-kompatiblem HTTP-Server für Anwendungen.
- Open WebUI Lokales LLM
Open WebUI ist eine Open-Source-Chat-Oberfläche für lokale und remote LLMs — ChatGPT-ähnliche UX im Browser, läuft als Docker-Container und spricht Ollama, OpenAI-kompatible APIs und mehr an.
- TensorRT-LLM Lokales LLM
TensorRT-LLM ist eine quelloffene Bibliothek von NVIDIA, die LLM-Inferenz auf NVIDIA-GPUs optimiert. Sie kompiliert Modelle in hochoptimierte Laufzeit-Engines und bietet In-Flight-Batching, Paged-KV-Cache und Quantisierung für hohen Durchsatz bei niedriger Latenz.
- Text-Generation-WebUI Lokales LLM
Text-Generation-WebUI (oobabooga) ist eine quelloffene Web-Oberfläche zum lokalen Betreiben von LLMs. Sie bündelt mehrere Inferenz-Backends, Chat- und Completion-Modi sowie eine OpenAI-kompatible API unter einer gemeinsamen Bedienoberfläche.
- TGI (Text Generation Inference) Lokales LLM
TGI (Text Generation Inference) ist ein quelloffenes Toolkit von Hugging Face zum performanten Bereitstellen großer Sprachmodelle. Es liefert einen produktionsreifen Inferenz-Server mit Continuous Batching, Token-Streaming und optimierten Attention-Verfahren.
- vLLM Lokales LLM
vLLM ist ein quelloffener Hochdurchsatz-Inferenzserver für LLMs — bekannt für PagedAttention, kontinuierliches Batching und einen OpenAI-kompatiblen API-Endpoint, weit verbreitet in produktiven Self-Hosting-Setups.
- whisper.cpp Lokales LLM
whisper.cpp ist eine quelloffene C++-Portierung von OpenAIs Whisper-Spracherkennung — eine kompakte Native-Binary für lokale Transkription auf CPU, CUDA, Metal oder Vulkan, ohne Python-Abhängigkeit.