Begriff
Ollama
Ollama ist ein Tool zum lokalen Betrieb von Sprachmodellen wie Llama, Mistral oder Qwen — Bedienung per CLI, mit OpenAI-kompatiblem HTTP-Server für Anwendungen.
Ollama — ausführlicher erklärt
Ollama ist eine schlanke Runtime, mit der sich Sprachmodelle direkt auf der eigenen Hardware betreiben lassen — ohne Cloud, ohne Token-Kosten, ohne dass Daten das Gerät verlassen.
Bedienung
Die Hauptoberfläche ist eine schmale Kommandozeile: ollama run llama3 lädt das Modell aus einer kuratierten Bibliothek und startet einen Chat. Verfügbare Modelle reichen von kleinen (Llama 3 8B, Phi-3) bis zu großen (Qwen 72B, DeepSeek), jeweils in quantisierten Varianten unterschiedlicher Genauigkeit.
API-Server
Parallel zur CLI startet Ollama einen HTTP-Server mit OpenAI-kompatibler Schnittstelle. Damit lassen sich Tools, die ursprünglich gegen die OpenAI-API entwickelt wurden — Continue.dev, Aider, eigene Skripte —, gegen die lokale Instanz richten, indem nur Endpoint und Modellname getauscht werden.
Voraussetzungen
Geschwindigkeit und Modellgröße hängen direkt von der verfügbaren Hardware ab. Für 7B-Modelle reichen 8 GB RAM, für 70B-Modelle braucht es 64 GB plus eine starke GPU. Wer lokal arbeiten will, sollte vor der Modellwahl die Spec der Maschine im Blick haben.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.