Konzeptkarte

LoRA und QLoRA — parametereffizientes Fine-Tuning im Produktivmaßstab

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist LoRA und QLoRA — parametereffizientes Fine-Tuning im Produktivmaßstab?

LoRA friert das Basismodell ein und trainiert nur kleine, in die Attention-Projektionen eingefügte Rang-r-Matrizen — eine 128-fache Reduktion der trainierbaren Parameter, die es erlaubt, ein 70-Milliarden-Parameter-Modell auf einer einzigen GPU statt auf einem 8-GPU-Cluster fein abzustimmen.

Worum es geht

LoRA (Low-Rank Adaptation) und seine quantisierte Variante QLoRA sind 2026 die Produktivstandard-Technik, um ein großes Sprachmodell an eine bestimmte Domäne oder ein bestimmtes Verhalten anzupassen, ohne alle seine Gewichte neu zu trainieren. Statt jeden der sieben bis siebzig Milliarden Parameter eines Modells zu aktualisieren, friert LoRA die Basisgewichte vollständig ein und injiziert ein kleines Paar trainierbarer Rang-Matrizen niedrigen Rangs in jede Attention-Projektion. Der trainierbare Fußabdruck schrumpft um zwei bis drei Größenordnungen — das ist der Unterschied zwischen einem Acht-GPU-Cluster und dem Fine-Tuning eines Siebzig-Milliarden-Parameter-Modells auf einem einzigen High-End-Beschleuniger.

Warum es zählt

Die Mathematik ist exakt und günstig: bei r=16, d=4096 sind das 131.072 trainierbare Parameter pro Gewichtsmatrix gegenüber 16.777.216 bei vollständigem Fine-Tuning — eine 128-fache Reduktion, von Dettmers et al. als qualitätsgleich zu Full-Precision innerhalb des Rauschens nachgewiesen.
QLoRAs 4-Bit-NF4-Quantisierung senkt den Speicherbedarf um weitere 4x und ermöglicht 70B-Fine-Tuning auf einer einzigen 48-GB-GPU (L40S, A6000, H100 PCIe) — ein Hardwarekosten-Unlock, nicht nur ein Effizienzgewinn.
Das Überspringen der MLP-Gate-Projektionen (gate_proj, up_proj) und alleiniges Ansteuern der Attention lässt ~30 % der anpassbaren Parameter untrainiert — ein konkreter, vermeidbarer Konfigurationsfehler.

Kernpunkte

Mechanismus: Basisgewicht W einfrieren; trainierbare Rang-r-Matrizen B und A injizieren, sodass das effektive Gewicht W + (α/r)×BA ist; nur B und A trainieren — 100- bis 1000-mal weniger Parameter als vollständiges Fine-Tuning.
QLoRA: fügt 4-Bit-NF4-Quantisierung der eingefrorenen Basis hinzu, senkt den Speicherbedarf um weitere 4x; 70B-Modelle lassen sich auf einer einzigen 48-GB-GPU fine-tunen; erreicht Full-Precision-Qualität innerhalb statistischen Rauschens (Dettmers et al. 2023, Vicuna + MMLU).
Hyperparameter: r=8-32 für Verhaltensanpassung, r=64 für komplexes Schlussfolgern; alpha=2r; LR=1e-4 bis 3e-4 (10x höher als vollständiges Fine-Tuning); 3-5 Epochen über 10K-100K kuratierte Beispiele.
Zielmodule: alle vier Attention-Projektionen (q_proj, k_proj, v_proj, o_proj) plus MLP-Gates (gate_proj, up_proj); das Weglassen der MLP-Gates lässt ~30 % der anpassbaren Kapazität ungenutzt.
Hot-Swap-Serving: mehrere Adapter teilen sich ein Basismodell im GPU-Speicher; pro Mandant oder Aufgabe wird zur Anfragezeit der passende Adapter mit ~1ms Wechsellatenz im LoRA-Serving-Modus von vLLM ausgewählt.
Wann LoRA vs. Alternativen einsetzen: LoRA für aufgabenspezifisches Verhalten mit 10K-1M gelabelten Beispielen; RAG (C203) für retrieval-gestütztes Wissen; CPT (C257) für rohes domänensprachliches Pretraining.
Adapter-Merge für Latenzfreiheit: `peft.merge_adapter()` vor dem ONNX-Export ausführen — das zusammengeführte Modell ist in Größe und Geschwindigkeit identisch mit der Basis, mit dem eingebackenen LoRA-Update.
Die Dokumentationspflicht nach Art. 9-49 EU-AI-Act gilt für fein abgestimmte Adapter, die in Hochrisiko-Entscheidungssystemen eingesetzt werden — Adapter-Trainingsdaten, Evaluationsergebnisse und Leistungsdelta gegenüber der Basis müssen protokolliert werden.
Kosten-Benchmark: QLoRA-Fine-Tuning eines 7B-Modells für SAP-Dokumentklassifikation auf 50K Beispielen dauert ~2h auf einer A100 zu ~5 € Gesamtrechenkosten; das Deployment des zusammengeführten Adapters fügt keinen Inferenz-Overhead hinzu.
Fehlermodus: ein Adapter, der auf ≥20 % der Held-out-Aufgabenkategorien schlechter als die Basis abschneidet — die Ursache liegt meist in unzureichenden oder falsch gelabelten Trainingsdaten, nicht in der Rangwahl.

Begriffe auf dieser Seite

LoRA: Low-Rank Adaptation; friert das Basisgewicht W ein und trainiert Low-Rank-Faktoren B (d×r) und A (r×k), sodass das effektive Gewicht W + (α/r)×BA ist; reduziert trainierbare Parameter um das 100- bis 1000-Fache bei vernachlässigbarem Qualitätsverlust für Verhaltensanpassung.
QLoRA: LoRA kombiniert mit 4-Bit-NF4-Quantisierung der eingefrorenen Basisgewichte; ermöglicht 70-Milliarden-Parameter-Fine-Tuning auf einer einzigen 48-GB-GPU bei Full-Precision-Qualität (Dettmers et al. 2023, arXiv:2305.14314).
NF4 (Normal Float 4): Ein für normalverteilte Gewichtswerte in LLMs optimierter 4-Bit-Datentyp; speichert jedes Gewicht in 4 statt 16 Bit für BF16, was den Speicherbedarf um das 4-Fache senkt, bei geringerem Quantisierungsfehler als Standard-INT4 oder FP4 auf Transformer-Gewichtsverteilungen.
Adapter hot-swap: Serving-Muster, bei dem das Basismodell einmal im GPU-Speicher geladen wird und pro Aufgabe oder Mandant LoRA-Adapter zur Anfragezeit geladen/entladen werden; der LoRA-Serving-Modus von vLLM unterstützt dies mit ~1ms Wechsellatenz.
Rank r: Die innere Dimension der LoRA-Zerlegung B (d×r) und A (r×k); steuert die anpassbare Kapazität — r=16 bei d=4096 ergibt 131.072 trainierbare Parameter pro Gewichtsmatrix gegenüber 16.777.216 bei vollständigem Fine-Tuning (128-fache Reduktion).
Alpha (LoRA scaling): Skalierungskonstante in W_eff = W + (α/r)×BA, die steuert, wie stark das LoRA-Update angewendet wird; alpha=2r ist der kanonische Ausgangspunkt; höheres Alpha verstärkt das Adapter-Signal und kann Trainingsinstabilität verursachen.
PEFT (Parameter-Efficient Fine-Tuning): Familie von Techniken — LoRA, QLoRA, Prefix Tuning, IA³, Adapter-Layer —, die große vortrainierte Modelle anpassen, indem nur ein winziger Bruchteil der Parameter trainiert wird; LoRA ist 2026 die dominante Produktivwahl wegen null Inferenz-Overhead nach dem Merge.
Merge adapter: Operation, die das Produkt BA dauerhaft zum Basisgewicht W addiert und ein Standard-Dense-Modell mit eingebackenem LoRA-Update erzeugt; `peft.merge_adapter()` in HuggingFace PEFT; beseitigt die Laufzeitkosten der Adapter-Berechnung.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →