Lösungen für
Bitte auswählen
Web-App testen
ki-werkzeuge

Self-Hosted Agenten-Stack (n8n, Dify, Ollama)

Redaktion ·

Wenn Mandantendaten das Haus nicht verlassen dürfen — warum dich das angeht

Eine Steuerkanzlei will Mandanten-Belege automatisch vorsortieren lassen. Eine Arztpraxis möchte Anfragen aus dem Kontaktformular von einem Modell zusammenfassen lassen. Beide stehen vor demselben Problem: Sobald die Daten an OpenAI oder Anthropic gehen, verlassen sie die eigene Infrastruktur. Für viele Branchen ist das ein Showstopper — nicht aus Prinzip, sondern wegen Berufsgeheimnis, Auftragsverarbeitung und der Frage, was im Ernstfall im Verzeichnis der Verarbeitungstätigkeiten steht.

Genau hier kommt der selbst gehostete KI-Stack ins Spiel. Die Kombination aus n8n, Dify und Ollama hat sich 2026 als pragmatischer Standard etabliert, um KI-Automatisierung komplett auf eigener Hardware laufen zu lassen — ohne dass ein Token den Server verlässt. Der Reiz liegt nicht in Ideologie, sondern in einer sauberen Arbeitsteilung: Jedes der drei Werkzeuge macht eine Schicht, und keines versucht, die Arbeit der anderen mitzumachen.

Dieser Artikel erklärt, wer welche Aufgabe übernimmt, wie die drei zusammenspielen, was das gegenüber der Cloud kostet (an Geld und an Nerven) und für welche Use-Cases sich der Aufwand lohnt. Am Ende solltest du den Stack jemandem erklären können, der noch nie ein Docker-Compose-File gesehen hat.

Die Grundmechanik: drei Schichten, drei Jobs

Der häufigste Fehler bei Self-Hosting-Versuchen ist, ein einziges Tool zu nehmen und ihm alles aufzubürden — Integrationen, Prompt-Logik, RAG, Modell-Hosting. Das endet in einem unwartbaren Monolithen. Der n8n/Dify/Ollama-Stack macht das Gegenteil: Er trennt drei Dinge, die in den meisten Bastel-Setups vermischt werden.

Schicht 1 — Ollama: das Modell-Runtime

Ganz unten sitzt Ollama. Es ist die Laufzeitumgebung, die Open-Weight-Modelle (Llama, Mistral, Qwen, Gemma und viele mehr) auf deiner eigenen Hardware ausführt. Du lädst ein Modell mit einem Befehl wie ollama pull llama3.1, und Ollama stellt es über eine HTTP-API bereit. Entscheidend: Diese API ist OpenAI-kompatibel. Das heißt, jedes Tool, das mit der OpenAI-Schnittstelle reden kann, kann auch mit Ollama reden — du tauschst nur die Basis-URL aus. Genau das macht den ganzen Stack erst zusammensteckbar.

Ollama kümmert sich nicht um Workflows und nicht um Prompts. Es bekommt einen Request rein und gibt eine Antwort raus. Punkt. Das ist die unterste, dümmste und wichtigste Schicht — sie hält das eigentliche Sprachmodell am Laufen.

Schicht 2 — Dify: die LLM-App-Plattform

In der Mitte sitzt Dify. Hier baust du das, was man im engeren Sinne als „KI-Anwendung” bezeichnet: konversationelle Apps, Agenten-Flows, Wissensdatenbanken (RAG), Prompt- und Versionsmanagement. Dify ist die Schicht, in der die LLM-Logik lebt — welcher System-Prompt gilt, welche Dokumente in den Kontext geholt werden, wie das Gedächtnis eines Chatbots funktioniert.

Wichtig für das Zusammenspiel: Dify spricht über Plugins direkt mit Ollama als Modell-Backend, und Dify stellt das fertig gebaute Ergebnis selbst wieder als API bereit. Du baust also in Dify einen RAG-Chatbot über deine Firmen-PDFs und bekommst am Ende einen Endpunkt, den andere Systeme aufrufen können.

Schicht 3 — n8n: die Workflow-Automation

Ganz oben sitzt n8n. Das ist der Automatisierungs-Bus: Trigger (Webhooks, Zeitpläne, Polling), Verzweigungen, Wiederholungen bei Fehlern (Retries) und vor allem Hunderte Konnektoren zu SaaS-Diensten — E-Mail, CRM, Datenbanken, Dateiablagen. n8n ist das Tool, das Daten von A nach B bewegt und die Geschäftslogik des Ablaufs erzwingt.

n8n selbst ist kein KI-Tool. Es ruft die KI-Schicht (Dify, oder direkt Ollama) als einen Schritt unter vielen auf. Wenn jemand das mit Cloud-Tools vergleichen will: n8n ist das selbst gehostete Gegenstück zu Make oder Zapier — nur dass es auf deinem Server läuft und du keine pro-Task-Gebühren zahlst.

Wie die drei zusammenspielen — die typische Architektur

Das gängigste Muster sieht so aus: Ein Ereignis trifft in n8n ein (neue E-Mail, hochgeladene Datei, geplanter Lauf). n8n bereitet die Daten auf und ruft Dify als KI-Schicht auf. Dify nimmt den Request, holt bei Bedarf passende Dokumente aus seiner Wissensdatenbank (RAG), baut den Prompt und schickt ihn an Ollama. Ollama führt das Modell aus und gibt die Antwort zurück — über Dify zurück an n8n, das dann das Ergebnis weiterverarbeitet (in eine Datenbank schreibt, eine Antwort-Mail rausschickt, einen Slack-Post absetzt).

Die saubere Trennung hat einen handfesten Vorteil: Du kannst jede Schicht einzeln tauschen. Ein besseres Open-Weight-Modell erscheint? Ein ollama pull, fertig — Dify und n8n merken nichts. Du willst die RAG-Logik überarbeiten? Das passiert nur in Dify. Ein neuer Datenquelle kommt dazu? Nur n8n wird angefasst.

Wann du Dify weglassen kannst

Nicht jeder Use-Case braucht alle drei Schichten. Für einfache Aufgaben — „fasse diese E-Mail zusammen”, „klassifiziere diese Anfrage in drei Kategorien” — kann n8n direkt mit Ollama reden und Dify überspringen. n8n unterstützt Ollama-Endpunkte nativ. Dify lohnt sich, sobald RAG, Gesprächsgedächtnis, Agenten-Verhalten oder eine wiederverwendbare KI-API ins Spiel kommen. Für reines „Text rein, Text raus” ist es Overhead.

Stolperfallen, die fast jeder unterschätzt

Hardware ist der eigentliche Kostenblock. Self-Hosting ist nicht gratis — du verschiebst die Kosten nur von der Cloud-Rechnung auf Hardware und Betriebsaufwand. Ein brauchbares lokales Modell braucht eine GPU mit ordentlich VRAM. Ein Praktiker mit einer NVIDIA A10 (24 GB VRAM) berichtet, dass er damit mehrere kleinere Modelle gleichzeitig oder ein einzelnes größeres Modell laden kann. Faustregel: kleine Modelle (7–8B, quantisiert) laufen schon auf Consumer-GPUs ab ca. 8–12 GB VRAM, große (70B) brauchen deutlich mehr oder müssen stark quantisiert werden — mit spürbaren Qualitätseinbußen.

„Self-Hosted” heißt nicht automatisch „dicht”. Logs, Traces und Drittanbieter-Plugins können Kontext nach außen leaken, wenn du nicht aufpasst. Wer ein Plugin in Dify oder einen Cloud-Konnektor in n8n einbaut, der nach Hause telefoniert, hat das Datenschutz-Versprechen schon gebrochen. Self-Hosting ist eine Grundlage, keine Garantie.

Betrieb ist Arbeit. Updates, Backups, GPU-Treiber, Reverse-Proxy, TLS, Monitoring — all das, was bei der Cloud der Anbieter macht, machst du jetzt selbst. Für eine Agentur mit IT-Affinität ist das machbar. Für einen Solo-Betrieb ohne Ops-Erfahrung ist das oft der Punkt, an dem die Cloud doch wieder gewinnt.

Self-Hosted vs. Cloud — der ehrliche Vergleich

| Kriterium | Self-Hosted Stack | Cloud-KI (OpenAI/Anthropic) | |---|---|---| | Datenschutz | Daten bleiben auf eigener Hardware | Daten gehen zum Anbieter (AVV nötig) | | Laufende Kosten | Hardware + Strom + Ops-Zeit, keine Token-Gebühren | pro-Token-Abrechnung, kein Hardware-Invest | | Einstiegshürde | hoch (GPU, Docker, Betrieb) | niedrig (API-Key reicht) | | Modellqualität | Open-Weight, je nach Hardware begrenzt | Frontier-Modelle, beste Qualität | | Skalierung | begrenzt durch eigene Hardware | quasi unbegrenzt | | Kontrolle | volle Kontrolle über Stack und Updates | abhängig vom Anbieter |

Die Entscheidung ist selten Schwarz-Weiß. Viele Setups fahren hybrid: sensible Routine-Workloads lokal über Ollama, anspruchsvolle Aufgaben (komplexe Analysen, hochwertige Texte) über eine Cloud-API. n8n als Orchestrierungsschicht macht genau diese Weiche trivial — derselbe Workflow kann je nach Datensensibilität die eine oder andere KI-Schicht ansteuern. Wie die reine Automatisierungsseite ohne KI funktioniert, vertieft der Artikel KI-Workflows automatisieren.

Praxisbeispiel: Beleg-Vorsortierung in einer Kanzlei

Konkret durchgespielt: Eine Kanzlei bekommt Mandanten-Belege per E-Mail. n8n überwacht das Postfach (Trigger), zieht den Anhang, schickt das PDF an Dify. Dify extrahiert per lokalem Modell über Ollama die relevanten Felder (Datum, Betrag, Kategorie) und gleicht sie gegen eine Wissensdatenbank mit Buchungskonten ab (RAG). Das strukturierte Ergebnis geht zurück an n8n, das den Datensatz in die Kanzlei-Software schreibt und bei Unsicherheit eine Rückfrage an die Sachbearbeiterin auslöst.

Der entscheidende Punkt: Kein einziger Beleg verlässt den Kanzlei-Server. Das Berufsgeheimnis bleibt gewahrt, ein AVV mit einem US-Anbieter ist nicht nötig, und die laufenden Kosten sind die Hardware — nicht eine Token-Rechnung, die mit jedem Mandanten wächst.

FAQ

Brauche ich zwingend alle drei Tools?
Nein. Für einfache „Text rein, Text raus"-Aufgaben kann n8n direkt mit Ollama reden und Dify entfällt. Dify lohnt sich erst, wenn RAG, Gesprächsgedächtnis oder eine wiederverwendbare KI-API gebraucht werden.
Welche Hardware brauche ich mindestens?
Für kleine, quantisierte Modelle (7–8B) reichen Consumer-GPUs ab etwa 8–12 GB VRAM. Größere Modelle (70B) brauchen deutlich mehr — ein Praktiker nutzt für mehrere Modelle parallel eine NVIDIA A10 mit 24 GB VRAM.
Ist Self-Hosting automatisch DSGVO-konform?
Nein. Der Stack ist die Grundlage, keine Garantie. Logs, Traces und Drittanbieter-Plugins können Daten leaken. Du musst aktiv dafür sorgen, dass nichts nach außen geht.
Ist das günstiger als die Cloud?
Es verschiebt die Kosten. Du sparst Token-Gebühren, zahlst aber Hardware, Strom und vor allem Betriebsaufwand. Bei hohem, konstantem Volumen rechnet sich Self-Hosting eher als bei sporadischer Nutzung.
Bekomme ich lokal dieselbe Qualität wie bei GPT oder Claude?
In der Regel nicht. Open-Weight-Modelle auf bezahlbarer Hardware liegen unter den Frontier-Modellen der großen Anbieter. Für viele Routine-Aufgaben reicht das — für anspruchsvolle Texte oder komplexe Analysen oft nicht.

Fazit

Der Self-Hosted Stack aus n8n, Dify und Ollama ist 2026 die pragmatische Antwort auf eine simple Frage: Wie nutze ich KI, ohne meine Daten aus der Hand zu geben? Die Stärke liegt in der sauberen Schichtung — Ollama führt Modelle aus, Dify baut die KI-Logik, n8n verkabelt alles mit der realen Welt. Jede Schicht ist einzeln austauschbar, und für einfache Fälle reichen sogar zwei.

Der Preis ist Ehrlichkeit beim Aufwand: Hardware kostet Geld, Betrieb kostet Zeit, und Frontier-Modellqualität bekommst du lokal nicht geschenkt. Für Branchen mit harten Datenschutz-Anforderungen — Kanzleien, Praxen, Behörden — ist der Stack trotzdem oft die einzige saubere Option. Für alle anderen lohnt sich der Hybrid-Ansatz: lokal, wo es sensibel wird, Cloud, wo es auf Qualität ankommt.

Themenuebersicht

KI-WerkzeugeWorkflow-Automation