Begriff
Code Llama
Code Llama ist Metas auf Programmierung spezialisierte Llama-2-Variante vom August 2023 — offen gewichtet, in mehreren Größen und mit Basis-, Python- und Instruct-Ausprägungen.
Code Llama — ausführlicher erklärt
Code Llama ist eine auf Programmierung spezialisierte Modellfamilie von Meta, die auf Llama 2 aufbaut und am 24. August 2023 veröffentlicht wurde. Die Modelle wurden auf großen Mengen Code und code-nahen Daten weitertrainiert und sind darauf ausgelegt, Code zu generieren, zu vervollständigen und zu erklären sowie natürliche Sprache in Code zu übersetzen. Wie Llama 2 stehen die Gewichte offen zur Verfügung und dürfen kommerziell genutzt werden.
Eckdaten
- Release: 24. August 2023, Zugang über offene Gewichte (Hugging Face, Meta).
- Größen: 7 Mrd., 13 Mrd. und 34 Mrd. Parameter zum Start; das 70B-Modell folgte im Januar 2024.
- Varianten: Code Llama (Basis), Code Llama - Python (auf Python spezialisiert) und Code Llama - Instruct (auf Instruktions-Befolgung feinjustiert, mit rund 5 Mrd. zusätzlichen Tokens).
- Training: die ersten Modelle auf rund 500 Mrd. Tokens Code, das 70B-Modell auf rund 1 Billion Tokens.
- Kontext: trainiert auf 16.000-Token-Sequenzen, mit Verbesserungen bei Eingaben bis zu 100.000 Tokens.
Beispiel / Praxisbezug
Die 7B- und 13B-Modelle unterstützen zusätzlich Infilling (Einfügen von Code an einer Cursor-Position) und eignen sich damit für IDE-Autovervollständigung. Die Instruct-Varianten sind für den Dialog- und Assistenz-Einsatz gedacht, die Python-Varianten für Python-lastige Projekte. Durch die offenen Gewichte lassen sich die Modelle selbst hosten und auf eigene Codebasen feintunen — relevant für Datenschutz und domänenspezifische Assistenten.
Abgrenzung
Code Llama ist die Code-Spezialisierung von Llama 2 und grenzt sich vom generalistischen Basismodell durch das Code-fokussierte Weitertraining und die längeren Kontext-Fähigkeiten ab. Gegenüber proprietären Code-Modellen wie GitHub Copilots Backend oder den Coding-Modi von GPT und Claude bietet es offene Gewichte, liegt aber bei Leistung hinter aktuellen Generationen. Nachfolger im offenen Bereich sind spätere Llama-Generationen und spezialisierte Coding-Modelle wie Qwen-Coder.