KI-Werkzeuge

Accelerate ist eine quelloffene Bibliothek von Hugging Face, die PyTorch-Trainingscode mit minimalen Änderungen auf beliebiger Hardware und in verteilten Setups lauffähig macht — inklusive Mixed Precision sowie FSDP- und DeepSpeed-Unterstützung.

Aider ist ein quelloffener KI-Pair-Programmer für die Kommandozeile, der Code direkt im Git-Repository editiert und jede Änderung automatisch committet.

Ein Sicherheits-Layer in Claude Code: ein kleines LLM bewertet jeden nicht explizit erlaubten Tool-Call live auf Risiko und blockt destruktive oder nicht-autorisierte Aktionen.

AutoGen ist ein quelloffenes Framework von Microsoft zum Bauen von Multi-Agenten-Anwendungen mit LLMs. Mehrere KI-Agenten lösen Aufgaben gemeinsam in strukturierten Konversationen, etwa im Gruppenchat oder über asynchronen Nachrichtenaustausch.

Chroma (ChromaDB) ist eine quelloffene Vektordatenbank zum Speichern und Durchsuchen von Embeddings. Sie wird vor allem in RAG-Systemen genutzt, um relevante Textpassagen per Ähnlichkeitssuche an Sprachmodelle zu liefern.

Claude Code ist Anthropics offizielles KI-Coding-Tool — verfügbar als Terminal-CLI, VS-Code-Extension, JetBrains-Plugin und Web-App, mit starkem Fokus auf Tool-Use und konfigurierbare Workflows.

Continue.dev ist eine quelloffene, modell-agnostische KI-Coding-Extension für VS Code und JetBrains — Konfiguration via YAML, funktioniert mit kommerziellen wie lokalen Modellen.

CrewAI ist ein quelloffenes Framework zur Orchestrierung mehrerer autonomer KI-Agenten. Es weist Agenten Rollen, Ziele und Werkzeuge zu und lässt sie in Teams ("Crews") zusammenarbeiten, um komplexe Aufgaben in koordinierten, mehrstufigen Abläufen zu lösen.

Cursor ist ein KI-erster Code-Editor — ein Fork von Visual Studio Code mit tief in den Editor integrierter KI-Unterstützung.

Datasets ist eine Open-Source-Python-Bibliothek von Hugging Face zum Laden, Verarbeiten und Teilen von Datensätzen für maschinelles Lernen. Sie nutzt Apache Arrow und Memory-Mapping, um auch sehr große Datenmengen effizient zu handhaben.

Diffusers ist eine quelloffene Python-Bibliothek von Hugging Face zum Nutzen und Trainieren von Diffusionsmodellen für die Bild-, Video- und Audiogenerierung. Sie baut auf PyTorch auf und gliedert sich in Pipelines, Modelle und Scheduler.

DSPy ist ein quelloffenes Python-Framework der Stanford NLP Group, das LLM-Anwendungen programmieren statt manuell prompten lässt. Aufgaben werden über deklarative Signaturen und Module beschrieben; Optimizer erzeugen daraus automatisch wirksame Prompts und Beispiele.

Flowise ist ein quelloffenes Low-Code-Werkzeug, mit dem sich LLM-Anwendungen und KI-Agenten visuell per Drag-and-drop zusammenbauen lassen. Es baut auf dem LangChain-Ökosystem auf und verbindet Modelle, Datenquellen und Werkzeuge als Knoten.

GitHub Copilot ist der KI-Coding-Assistent von GitHub — als Extension für gängige Editoren mit Tab-Autocomplete, Chat und Multi-File-Edits, mit GPT- und Claude-Modellen wählbar.

GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.

Haystack ist ein quelloffenes KI-Orchestrierungs-Framework von deepset zum Bau produktionsreifer LLM-Anwendungen. Aus modularen Komponenten — Retriever, Generatoren, Router, Tools — werden explizite Pipelines für RAG, Agenten und semantische Suche zusammengesetzt.

Hugging Face ist die zentrale Plattform der Open-Source-KI-Community — Hub für Modelle, Datasets und Demos sowie Anbieter weit verbreiteter Bibliotheken wie Transformers, Diffusers und PEFT.

Zentrale Plattform für offen geteilte KI-Modelle, Datensätze und Demos — eine Art GitHub für Machine-Learning-Artefakte.

Jan ist eine quelloffene Desktop-Anwendung, mit der sich große Sprachmodelle lokal und vollständig offline auf dem eigenen Rechner ausführen lassen. Sie nutzt die llama.cpp-Engine und gilt als datenschutzfreundliche ChatGPT-Alternative.

Open-Source-Framework, das LLMs mit Datenquellen, Tools und Speicher zu Anwendungen verkettet — die wohl bekannteste Pipeline-Bibliothek für KI-Apps.

LangGraph ist ein Open-Source-Framework von LangChain für zustandsbehaftete, graph-basierte LLM-Workflows — Knoten sind Funktionen oder Agenten, Kanten definieren den Kontrollfluss inklusive Schleifen und Verzweigungen.

llama.cpp ist eine quelloffene C++-Bibliothek zum effizienten Inferieren von LLMs auf CPU und GPU — die Engine, auf der viele lokale Tools wie Ollama und LM Studio basieren.

Llamafile ist ein Mozilla-Projekt, das ein lokales Sprachmodell als eine einzige ausführbare Datei verpackt — Modellgewichte und Inferenz-Engine in einem. Diese Datei läuft ohne Installation auf mehreren Betriebssystemen.

Datenrahmen für LLM-Anwendungen, spezialisiert auf das Indexieren, Anreichern und Abrufen privater Daten — Kernstück vieler RAG-Architekturen.

LM Studio ist eine Desktop-Anwendung zum lokalen Betrieb von LLMs mit grafischer Oberfläche — inklusive Modell-Browser, Chat-Interface und OpenAI-kompatiblem Server.

Make (früher Integromat) ist eine cloudbasierte No-Code-Plattform zur Workflow-Automatisierung. Über eine visuelle Oberfläche verbindet man Apps und APIs zu mehrstufigen Abläufen ("Szenarien"), ohne zu programmieren — etwa um Daten zwischen Diensten zu übergeben.

Milvus ist eine quelloffene, verteilte Vektordatenbank für die schnelle Ähnlichkeitssuche über große Mengen von Embeddings. Sie steht unter Apache-2.0-Lizenz im Rahmen der LF AI & Data Foundation, Hauptentwickler ist die Firma Zilliz.

Ollama ist ein Tool zum lokalen Betrieb von Sprachmodellen wie Llama, Mistral oder Qwen — Bedienung per CLI, mit OpenAI-kompatiblem HTTP-Server für Anwendungen.

Open WebUI ist eine Open-Source-Chat-Oberfläche für lokale und remote LLMs — ChatGPT-ähnliche UX im Browser, läuft als Docker-Container und spricht Ollama, OpenAI-kompatible APIs und mehr an.

Eine Globaleinstellung in Claude Code, die festlegt, wie Tool-Aufrufe behandelt werden: Plan (nur planen), Default (mit Nachfrage), Accept Edits (Files frei), Bypass (alles erlauben).

pgvector ist eine quelloffene PostgreSQL-Erweiterung für Vektor-Suche — bringt Embedding-Spalten, Distanzfunktionen und ANN-Indizes (HNSW, IVFFlat) direkt in die bestehende Postgres-Datenbank.

Pinecone ist ein gemanagter Vektor-Datenbank-Dienst für RAG- und Semantic-Search-Workloads — speichert Embeddings, beantwortet Nearest-Neighbor-Suchen und skaliert ohne dass der Nutzer den Index selbst betreibt.

Qdrant ist eine Open-Source-Vektor-Datenbank in Rust — speichert Embeddings für Semantic Search, RAG und Empfehlungssysteme, läuft lokal, im eigenen Cluster oder als gemanagte Cloud.

Hugging Face Spaces ist eine Hosting-Plattform, auf der sich interaktive Machine-Learning-Anwendungen ohne eigene Server-Infrastruktur bereitstellen und teilen lassen. Apps werden direkt im Browser nutzbar, etwa über Gradio, Streamlit, Docker oder statisches HTML.

TensorRT-LLM ist eine quelloffene Bibliothek von NVIDIA, die LLM-Inferenz auf NVIDIA-GPUs optimiert. Sie kompiliert Modelle in hochoptimierte Laufzeit-Engines und bietet In-Flight-Batching, Paged-KV-Cache und Quantisierung für hohen Durchsatz bei niedriger Latenz.

Text-Generation-WebUI (oobabooga) ist eine quelloffene Web-Oberfläche zum lokalen Betreiben von LLMs. Sie bündelt mehrere Inferenz-Backends, Chat- und Completion-Modi sowie eine OpenAI-kompatible API unter einer gemeinsamen Bedienoberfläche.

TGI (Text Generation Inference) ist ein quelloffenes Toolkit von Hugging Face zum performanten Bereitstellen großer Sprachmodelle. Es liefert einen produktionsreifen Inferenz-Server mit Continuous Batching, Token-Streaming und optimierten Attention-Verfahren.

Open-Source-Python-Bibliothek von Hugging Face, die einen einheitlichen Zugriff auf tausende vortrainierte Modelle für Text, Bild und Audio bietet.

vLLM ist ein quelloffener Hochdurchsatz-Inferenzserver für LLMs — bekannt für PagedAttention, kontinuierliches Batching und einen OpenAI-kompatiblen API-Endpoint, weit verbreitet in produktiven Self-Hosting-Setups.

Weaviate ist eine quelloffene Vektor-Datenbank in Go — sie speichert Objekte samt Embeddings, kombiniert semantische und Keyword-Suche (BM25) und bietet integrierte Vektorisierung, RAG und Multi-Mandanten-Betrieb.

whisper.cpp ist eine quelloffene C++-Portierung von OpenAIs Whisper-Spracherkennung — eine kompakte Native-Binary für lokale Transkription auf CPU, CUDA, Metal oder Vulkan, ohne Python-Abhängigkeit.

Windsurf ist eine KI-IDE auf VS-Code-Basis mit Fokus auf agentische Coding-Workflows — der Cascade-Agent plant und führt mehrschrittige Änderungen autonom aus.

Zapier AI bündelt die KI-Funktionen der Automatisierungs-Plattform Zapier — darunter Copilot zum Bauen von Workflows per Sprache, autonome Agents, Chatbots und einen MCP-Server, der Tausende Zapier-Aktionen für externe Sprachmodelle bereitstellt.