Begriff
Llamafile
Llamafile ist ein Mozilla-Projekt, das ein lokales Sprachmodell als eine einzige ausführbare Datei verpackt — Modellgewichte und Inferenz-Engine in einem. Diese Datei läuft ohne Installation auf mehreren Betriebssystemen.
Llamafile — ausführlich erklärt
Llamafile ist ein quelloffenes Projekt, das ursprünglich von Justine Tunney bei Mozilla entwickelt wurde. Ziel ist es, das Ausführen lokaler Sprachmodelle radikal zu vereinfachen: Statt Laufzeitumgebung, Paketmanager und Modelldatei getrennt zu verwalten, steckt alles in einer einzigen ausführbaren Datei mit der Endung .llamafile. Man lädt sie herunter und startet sie direkt — ohne Python, Docker oder Installation.
Technisch kombiniert Llamafile zwei Bausteine. Die Inferenz übernimmt llama.cpp, das CPU- und GPU-Berechnung mit handoptimierten Kerneln (AVX, NEON, Metal, CUDA) liefert. Die Portabilität stammt von der Cosmopolitan Libc, die ein „Actually Portable Executable” erzeugt: Dieselbe Datei ist zugleich ein gültiges Windows-, Linux- und macOS-Programm und läuft auf sechs Betriebssystemen. Die Modellgewichte im GGUF-Format werden per PKZIP in die Datei eingebettet und direkt in den Speicher gemappt — ähnlich einem selbst-entpackenden Archiv.
Beim Start nutzt Llamafile eine vorhandene GPU, sonst die CPU, und stellt eine lokale Weboberfläche sowie eine OpenAI-kompatible API bereit. Es eignet sich besonders zur einfachen Weitergabe eines lauffähigen Modells an Personen ohne technisches Setup.
Beispiel / Praxisbezug
Ein Team will ein quantisiertes Modell an nicht-technische Kolleginnen verteilen. Statt eine Anleitung für Ollama oder llama.cpp zu schreiben, packt es das Modell in ein einziges .llamafile. Die Empfänger laden die Datei, machen sie ausführbar und starten sie — im Browser öffnet sich eine Chat-Oberfläche, alles läuft lokal ohne Cloud. Da die Datei mehrere Betriebssysteme abdeckt, genügt eine einzige Variante für Windows-, Mac- und Linux-Rechner.
Abgrenzung zu ähnlichen Begriffen
llama.cpp ist die zugrunde liegende Inferenz-Engine; Llamafile bündelt sie mit dem Modell zu einer portablen Einzeldatei. Ollama verfolgt ein ähnliches Ziel der Vereinfachung, setzt aber auf eine installierte Anwendung mit Modell-Registry statt auf eine eigenständige Datei pro Modell. Die eingebetteten Gewichte liegen im GGUF-Format vor und sind meist quantisiert, um Größe und Speicherbedarf zu senken.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.