Lokales LLM

LLMs lokal betreiben — Hardware, Tools, Modelle

Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.