Begriff
Attention-Mechanismus
Rechenverfahren in Transformer-Modellen, das gewichtet, welche Teile des Eingabetextes für die Vorhersage des nächsten Tokens am relevantesten sind — statt jeden Teil gleich stark zu berücksichtigen.
Attention-Mechanismus — ausführlicher erklärt
Der Attention-Mechanismus (deutsch: Aufmerksamkeits-Mechanismus) ist das Herzstück moderner Transformer-Sprachmodelle. Wenn ein Modell das nächste Wort vorhersagt, schaut es nicht starr nur auf das unmittelbar vorausgehende Wort, sondern bewertet den gesamten bisherigen Text und entscheidet, welche Stellen für genau diese Vorhersage wichtig sind. Diese Gewichtung — wie viel „Aufmerksamkeit” jedes vorherige Token bekommt — ist es, was den Mechanismus ausmacht.
Anschaulich: Im Satz „Die Katze, die im Garten saß, war müde” muss das Modell „müde” mit „Katze” verknüpfen, obwohl viele Wörter dazwischenstehen. Der Attention-Mechanismus erlaubt es, diese weit auseinanderliegende Beziehung herzustellen, indem er „Katze” beim Verarbeiten von „müde” ein hohes Gewicht gibt und die Füllwörter ein niedriges.
Die heute dominierende Variante heißt Self-Attention (Selbst-Aufmerksamkeit): Jedes Token im Text wird mit jedem anderen Token derselben Sequenz in Beziehung gesetzt. So entsteht für jede Position ein Bild davon, welcher Kontext für sie zählt. Self-Attention ist der Baustein, der die 2017 vorgestellte Transformer-Architektur von älteren, sequenziell arbeitenden Ansätzen abhebt.
Beispiel / Praxisbezug
Aufmerksamkeit ist endlich und priorisierend, nicht erschöpfend. Das Modell setzt nicht jede Stelle gegen jede andere mit voller Schärfe in Beziehung, sondern verteilt ein begrenztes Gewichtsbudget.
Das wird besonders bei langem, stark verschachteltem Code spürbar: Bei einer großen, eng verflochtenen Datei kann das Modell nicht jede Zeile gleichzeitig scharf gegen jede andere prüfen. Es priorisiert die Stellen, die im jeweiligen Moment am relevantesten erscheinen. Das erklärt, warum dasselbe Modell bei wiederholter Analyse derselben Codebasis unterschiedliche Auffälligkeiten findet — die Prüfung ist selektiv, nicht vollständig. Wer das versteht, formuliert Aufgaben enger (kleinere Ausschnitte, klare Fragen) und erhält dadurch stabilere, gründlichere Antworten.
Abgrenzung zu ähnlichen Begriffen
- Transformer bezeichnet die Gesamtarchitektur; der Attention-Mechanismus ist deren zentrale Komponente, nicht das Ganze.
- Self-Attention ist die konkrete, innerhalb einer Sequenz arbeitende Spielart von Attention. „Attention” als Oberbegriff umfasst auch Formen, die zwei verschiedene Sequenzen verbinden (Cross-Attention).
- Kontextfenster beschreibt, wie viel Text das Modell überhaupt aufnehmen kann; Attention bestimmt, wie dieser aufgenommene Text intern gewichtet wird.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDSGVO-konformer LLM-Einsatz
DSGVO-konformer LLM-Einsatz bezeichnet die datenschutzgerechte Nutzung grosser Sprachmodelle wie ChatGPT, Claude oder Gemini im Unternehmen — mit Rechtsgrundlage, Auftragsverarbeitungsvertrag, kontrollierter Eingabe personenbezogener Daten, EU-Hosting und Trainings-Opt-out.
LexikonFunction Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.