Kuratierung von Pretraining-Daten — Common Crawl, The Pile, proprietärer Mix

Worum es geht

Die Kuratierung von Pretraining-Daten ist die Grundlagenphase beim Bau jedes großen Sprachmodells und wohl die folgenreichste, zugleich am wenigsten sichtbare. Bevor auch nur ein einziger Trainingsschritt läuft, verbringen Teams Monate damit, die Billionen Tokens zusammenzustellen, zu filtern, zu deduplizieren und neu auszubalancieren, die dauerhaft das Vokabular, den Reasoning-Stil, die faktische Fundierung und die blinden Flecken eines Modells prägen werden. Alles Nachgelagerte — Instruction Tuning, RLHF, Deployment-Verhalten — erbt die Verzerrungen und Lücken des Korpus. Für jeden, der einen Kunden bei der Wahl des Foundation-Modells für Joule oder einen BDC-gestützten Agenten berät, ist das Verständnis dessen, was in den Korpus eingeflossen ist, keine akademische Nebensächlichkeit — es ist der Unterschied zwischen einer informierten Modellauswahl-Entscheidung und einer marketinggetriebenen.

Warum es zählt

• Common Crawl liefert 250 Mrd.+ Rohseiten, ist aber roh unbrauchbar — die CCNet-, C4- und RefinedWeb-Pipelines entfernen 90-95 % der Rohbytes, bevor es trainierbar ist.
• Deduplizierung via MinHash + LSH entfernt typischerweise 30-50 % des Rohkorpus auf Dokument- und Absatzebene, und Dekontaminierung entfernt explizit Benchmark-Testsätze (MMLU, HumanEval, GSM8K), um Eval-Leckage zu verhindern.
• Domänen-Rebalancing gewichtet rohen Web-Text bewusst geringer und Bücher/Code/Papers stärker — die Chinchilla-Mischung selbst bestand zu 67 % aus Web plus 33 % hochwertigen Quellen —, um die Reasoning-Qualität zu heben.

Kernpunkte

• Chinchilla-Skalierung — rechenoptimal ≈ 20 Tokens/Parameter; ein 70B-Modell benötigt 1,4 Bio.+ Tokens, Spitzenmodelle inzwischen 10-15 Bio.
• Drei Quellen — Common Crawl (offenes Web, 90-95 % herausgefiltert) + The Pile / RedPajama / FineWeb (kuratierte Forschungsmischung) + proprietär (lizenzierte Bücher, Code, synthetisch).
• Fünfstufige Pipeline — Qualitätsfilter, Deduplizierung (MinHash+LSH, entfernt 30-50 %), Toxizität/PII, Domänen-Rebalancing, Benchmark-Dekontaminierung.
• Die Domänenmischung entscheidet über die nachgelagerte Fähigkeit — codelastige Mischungen heben das Reasoning; SAP-arme Mischungen garantieren Halluzination in der SAP-Domäne.
• Anti-Pattern — anzunehmen, ein LLM ‚kenne‘ proprietäre oder aktuelle Inhalte; war es nicht vor dem Trainings-Cutoff im Korpus, ist es nicht da.
• SAP Domain Models (SAP-ABAP-2, S/4HANA-/Ariba-Varianten) lösen die SAP-Vokabularlücke durch fortgesetztes Training auf SAPs eigenem Korpus, kein Pretraining von Grund auf — heute Early Adopter Care, GA für Q3 2026 anvisiert, noch kein zugesagtes Lieferelement.
• SAP-RPT und TabPFN umgehen diese gesamte Diskussion — sie sagen mittels In-Context-Learning aus einer zur Inferenzzeit bereitgestellten Tabelle vorher, ganz ohne Pretraining-Korpus-Zusammenstellungsschritt; das Framework dieser Karte nicht auf diese Produktfamilie anwenden.

Begriffe auf dieser Seite

Chinchilla scaling law

Empirisches Ergebnis von DeepMind (Hoffmann et al. 2022), das zeigt, dass rechenoptimales LLM-Training rund 20 Trainings-Tokens pro Modellparameter benötigt; hat das Feld weg von überparametrisierten, untertrainierten Modellen verschoben.

Common Crawl

Gemeinnütziger offener Web-Scrape, seit 2008 monatlich veröffentlicht; 250 Mrd.+ Seiten rohes HTML; die größte Einzelquelle in fast jedem LLM-Pretraining-Korpus, erfordert aber vor der Nutzung 90-95 % Filterung.

The Pile

825-GB-offener Forschungskorpus, 2020 von EleutherAI veröffentlicht, mischt Common Crawl, Bücher, PubMed, ArXiv, GitHub, StackExchange, Wikipedia in deklarierten Proportionen; 2024-2025 von SlimPajama, RedPajama-v2, FineWeb abgelöst.

Decontamination

Die Pipeline-Stufe, die Benchmark-Evaluationstestsätze (MMLU, HumanEval, GSM8K) explizit aus dem Trainingskorpus entfernt, um Eval-Leckage und aufgeblähte gemeldete Scores zu verhindern.

RedPajama-V2

Der Nachfolgekorpus von Together Computer aus Oktober 2023: über 100 Mrd. Dokumente aus 84 Common-Crawl-Snapshots, eine deduplizierte head_middle-Partition von rund 20,8 Mrd. Dokumenten (~30,4 Bio. Tokens über fünf Sprachen), mit veröffentlichten Qualitätssignal-Annotationen (Wortanzahl, Wiederholungsgrad, Toxizität), die anpassbare Filterung ermöglichen (huggingface.co, geprüft am 27.09.2026).

SAP-Domain-Models-Korpus

SAPs SAP-spezifischer Korpus für fortgesetztes Training (ABAP-Code, S/4HANA-Dokumentation und Prozessinhalte, Ariba-Daten), aufgesetzt auf ein bestehendes Foundation-Modell, um SAP-ABAP-2 und die spezialisierten S/4HANA-/Ariba-Varianten unter Joule/Joule Studio zu erzeugen; heute Early Adopter Care, GA für Q3 2026 anvisiert — eine domänendichte Mischung, kein Pretraining von Grund auf in Common-Crawl-Größenordnung.

Quellen

1. Hoffmann et al. — Training Compute-Optimal Large Language Models (Chinchilla, DeepMind 2022)
2. Gao et al. — The Pile: An 800GB Dataset of Diverse Text for Language Modeling (EleutherAI 2020)
3. Penedo et al. — The RefinedWeb Dataset for Falcon LLM (2023)
4. HuggingFace — FineWeb dataset card and curation methodology
5. SAP Business AI — official product page
6. SAP Generative AI — official product page
7. Hugging Face — RedPajama-Data-V2 dataset card, size and filtering methodology (checked 2026-09-27)
8. SAP News Center — Joule Studio, enterprise-scale agentic development (SAP Domain Models context, 2026-05-13)
9. SAP Learning — reference architecture, SAP Domain Models under Joule/Joule Studio
10. SAP — SAP-RPT tabular foundation model product page (contrast with pre-training-corpus discussion)
11. Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research — Soldaini et al., arXiv
12. DataComp-LM: In search of the next generation of training sets for language models — Li et al., arXiv
13. Deduplicating Training Data Makes Language Models Better — Lee et al., arXiv
14. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (C4) — Raffel et al., arXiv
15. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale — Penedo et al., arXiv