Basis-Begriffe rund um Large Language Models.
Was das Kontextfenster ist, wie groß moderne Fenster sind, das Lost-in-the-Middle-Phänomen, Kosten und Latenz, und die Abgrenzung zu RAG und Langzeitgedächtnis.
Ein Embedding ist ein Vektor aus Zahlen, der Bedeutung im Raum verortet. Warum aehnliche Inhalte nah liegen und wofuer man Embeddings braucht.
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.
Wie ein LLM das nächste Token wählt: Temperatur staucht oder spreizt die Wahrscheinlichkeiten, Top-p und Top-k begrenzen die Auswahl. Welche Einstellung wofür.
Was ein Token ist, wie Tokenizer Text zerlegen und warum Tokens über Kosten, Kontextfenster und Geschwindigkeit entscheiden — mit Faustregeln zur Schätzung.