Begriff
llama.cpp
llama.cpp ist eine quelloffene C++-Bibliothek zum effizienten Inferieren von LLMs auf CPU und GPU — die Engine, auf der viele lokale Tools wie Ollama und LM Studio basieren.
llama.cpp — ausführlicher erklärt
llama.cpp ist eine schlanke, in modernem C++ geschriebene Bibliothek für lokale Modell-Inferenz. Das Projekt startete 2023 als Reimplementierung von Metas LLaMA-Modellen ohne Abhängigkeit von Python, PyTorch oder CUDA — und entwickelte sich rasch zur de-facto-Standard-Engine für offline laufende LLMs.
GGUF — das Format dazu
Mit dem Wechsel zu GGUF kam ein eigenes Modell-Format mit, das quantisierte Gewichte effizient speichert. Quantisierung — vereinfacht: Reduktion der Parameter-Genauigkeit von 16 oder 32 Bit auf 4 oder 8 Bit — schrumpft Modelle auf einen Bruchteil ihrer Originalgröße, mit überraschend geringem Qualitätsverlust.
Indirekte Relevanz
llama.cpp wird selten direkt benutzt — es ist die Engine im Maschinenraum. Wenn jemand mit Ollama oder LM Studio ein Modell startet, läuft darunter llama.cpp; wenn ein Tool ein GGUF-Modell anbietet, kommt es von dieser Bibliothek. Damit bestimmt llama.cpp indirekt die Geschwindigkeit, Hardware-Kompatibilität und Modell-Auswahl der gesamten lokalen LLM-Welt.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.