Continual Pre-training — Domänenanpassung ohne Vergessen

Worum es geht

Continual Pre-training (CPT) ist das Verfahren, ein vollständig vortrainiertes Foundation-Modell — Llama-3, Mistral, Qwen oder ein per Fine-Tuning-API zugängliches Frontier-Closed-Modell — zu nehmen und ihm Milliarden weiterer Tokens aus einer Zieldomäne zuzuführen, sodass das Modell Vokabular, Redewendungen und Denkmuster dieser Domäne verinnerlicht, bevor irgendein aufgabenspezifisches Fine-Tuning stattfindet. Für SAP-Analytics besteht der Zielkorpus aus einer kuratierten Mischung aus SAP-Help-Portal, OSS-Hinweisen, ABAP- und HANA-SQL-Code, SAP-Community-Threads und Kundenimplementierungsdokumentation.

Das zentrale Risiko ist katastrophales Vergessen — das Phänomen, bei dem neues Training die Gewichte so weit verschiebt, dass das Modell allgemeine Fähigkeiten verliert, die es zu Beginn hatte (Mathematik, mehrsprachiges Schlussfolgern, Befolgen von Anweisungen). Drei Leitplanken dominieren die Literatur. Replay-Buffer mischen 5-15 % der ursprünglichen Pretraining-Verteilung in jeden CPT-Batch zurück, damit die allgemeine Verteilung verankert bleibt. Niedrige Lernraten (1e-5 bis 5e-5 gegenüber 1e-4 beim Pretraining von Grund auf) halten Gewichtsaktualisierungen klein. Loss-Masking auf System-Tokens und reservierten Instruktions-Markern verhindert, dass sich das Modell auf Formatierungsartefakte überanpasst.

Die Daten-Pipeline ist der Punkt, an dem die meisten CPT-Projekte scheitern. Deduplizierung mittels MinHash oder SemDeDup ist nicht verhandelbar — wiederholter Inhalt fördert Auswendiglernen statt Generalisierung. Qualitätsfilterung mit Perplexity-Scoring gegen ein bekannt gutes Modell entfernt maschinell übersetzten Ausschuss. PII-Bereinigung und eine an Art. 10 des EU-AI-Acts orientierte Herkunftsprotokollierung sind für jedes Modell, das Endnutzern ausgesetzt wird, verpflichtend.

Warum es zählt

• Drei konkrete Leitplanken verhindern Vergessen: 5-15 % Replay der ursprünglichen Pretraining-Daten pro Batch, Lernraten von 1e-5 bis 5e-5 (gegenüber 1e-4 bei Pretraining von Grund auf) und Loss-Masking auf System-/Instruktions-Tokens.
• Die meisten CPT-Projekte scheitern an der Daten-Pipeline, nicht an der Trainingsschleife — Deduplizierung (MinHash/SemDeDup) und perplexity-basierte Qualitätsfilterung sind nicht verhandelbar.
• Die Entscheidungsregel ist explizit: greifen Sie zu CPT bei 10 Mrd.+ Tokens domänenspezifischen Dialekts (SAP ABAP, Recht, Biomedizin); greifen Sie zu LoRA (C258), wenn nur 10.000 bis 10 Millionen Aufgabenbeispiele vorliegen.

Kernpunkte

• Verfahren — 10 Mrd.-100 Mrd. Tokens Domänentext in ein vortrainiertes Modell bei niedriger Lernrate (1e-5 bis 5e-5) einspeisen, bevor überhaupt aufgabenspezifisches Fine-Tuning beginnt.
• Katastrophales Vergessen — das Hauptrisiko; abgemildert durch Replay-Buffer (5-15 % der ursprünglichen Verteilung), niedrige Lernrate und Loss-Masking auf System-Tokens.
• Daten-Pipeline — MinHash-/SemDeDup-Deduplizierung, perplexity-basierte Qualitätsfilterung, PII-Bereinigung, Herkunftsprotokollierung gemäß Art. 10 EU-AI-Act sind verpflichtend.
• Wann einsetzen — die Domäne hat ihren eigenen Dialekt (ABAP, Recht, Biomedizin) UND Sie haben 10 Mrd.+ Tokens; andernfalls LoRA-Fine-Tuning (C258) oder RAG (C203) verwenden.
• Evaluation — sowohl einen Domänen-Benchmark ALS AUCH einen allgemeinen Benchmark (MMLU, GSM8K) zurückhalten; beide bei jedem Checkpoint verfolgen, um Vergessen in Echtzeit zu erkennen.
• SAP-spezifische Vorsicht — SAP Domain Models (SAP-ABAP-2 und Nachfolger) existieren und laufen unter Joule/Joule Studio, aber SAP hat nicht veröffentlicht, dass sie speziell per Continual Pre-training gebaut werden; die Trainingsmethode als undokumentiert behandeln, nicht standardmäßig als CPT.
• SAPs Generative AI Hub setzt standardmäßig auf Orchestrierung (Grounding) und LoRA-artiges Fine-Tuning, bevor irgendetwas in Richtung CPT infrage kommt — erst zu CPT greifen, wenn Tokenzahl und Dialektbreite die Schwellen der Entscheidungstabelle überschreiten.
• Die Tokenzahl nach der Deduplizierung messen, bevor die Technik gescopt wird — ein Korpus, der in Rohbytes groß wirkt, kann nach Entfernen von Boilerplate und Beinahe-Duplikaten deutlich unter der 10-Mrd.-Token-Schwelle liegen.

Begriffe auf dieser Seite

Katastrophales Vergessen

Das Phänomen, bei dem neues Training die Modellgewichte so weit verschiebt, dass zuvor gelernte allgemeine Fähigkeiten (Mathematik, Mehrsprachigkeit, Befolgen von Anweisungen) sich verschlechtern; der zentrale Fehlermodus von Continual Pre-training.

Replay buffer

Ein Pool von Stichproben aus der ursprünglichen Pretraining-Verteilung, die in jeden neuen Trainings-Batch gemischt werden (typischerweise 5-15 %), um die allgemeine Verteilung zu verankern und Vergessen zu verhindern.

Perplexity filtering

Entfernen minderwertigen Texts aus einem Trainingskorpus, indem jedes Dokument mit einem bekannt guten Modell bewertet und die Zeilen mit der höchsten Perplexity (maschinell übersetzter Ausschuss, OCR-Rauschen, defektes HTML) verworfen werden.

SemDeDup

Semantische Deduplizierung (Abbas et al., 2023) mittels Cosinus-Ähnlichkeit von Satz-Embeddings, um Beinahe-Duplikate zu entfernen, die eine einfache hashbasierte Deduplizierung übersieht; reduziert Auswendiglernen und verbessert Generalisierung.

Elastic Weight Consolidation (EWC)

Technik von Kirkpatrick et al. (2017), die das Lernen bei Gewichten verlangsamt, die als wichtig für zuvor gelernte Aufgaben identifiziert wurden — ein früher und einflussreicher Ansatz zur Minderung katastrophalen Vergessens, der dem in der LLM-Praxis 2026 dominierenden Replay-Buffer-Ansatz vorausging.

Domain-adaptive pretraining (DAPT)

Gururangans Begriff für eine leichtere Alternative zu vollständigem CPT: eine einzelne zusätzliche Phase des In-Domain-Pretrainings, die nachweislich messbare Gewinne selbst bei bescheidenen Domänenkorpora erzielt — oft die richtige Wahl, wenn der Zielkorpus unter der Mehrmilliarden-Token-Schwelle von CPT bleibt.

Learning-rate re-warming / re-decaying

Die Praxis, die Lernrate beim Start eines Continual-Pretraining-Laufs auf neuen Daten vorübergehend wieder Richtung ihres ursprünglichen Zeitplans anzuheben und dann erneut abzusenken — nachweislich befähigt sie ein kontinuierlich vortrainiertes Modell, die Qualität eines Trainings von Grund auf bei einem Bruchteil der Rechenleistung zu erreichen.

Quellen

1. arXiv: Continual Pre-Training of Large Language Models — How to (re)warm your model? (Ibrahim et al. 2024)
2. arXiv: Simple and Scalable Strategies to Continually Pre-train Large Language Models (Gupta et al. 2024)
3. Anthropic Responsible Scaling Policy — model training governance
4. NIST AI Risk Management Framework 1.0
5. SAP Generative AI — official product page
6. arXiv — Abbas et al., "SemDeDup: Data-efficient learning at web-scale through semantic deduplication" (2023, fetched 2026-09-27)
7. arXiv — Lee et al., "Deduplicating Training Data Makes Language Models Better" (2021, fetched 2026-09-27)
8. arXiv — Gururangan et al., "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks" (ACL 2020, fetched 2026-09-27)
9. arXiv — Kirkpatrick et al., "Overcoming catastrophic forgetting in neural networks" — the Elastic Weight Consolidation paper (2017, fetched 2026-09-27)
10. SAP Help Portal — Orchestration service in the generative AI hub, SAP AI Core (fetched 2026-09-27)
11. SAP Help Portal — Metering and pricing for generative AI, SAP AI Core service guide (fetched 2026-09-27)
12. EUR-Lex — Regulation (EU) 2024/1689 (EU AI Act), consolidated text incl. Art. 10 data governance (fetched 2026-09-27)