Tokenisierung und Embeddings in Enterprise-LLM-Pipelines

Worum es geht

Tokenisierung und Embeddings sind die beiden unsichtbaren Infrastrukturbausteine, die zwischen Rohtext und allem stehen, was ein großes Sprachmodell damit tut — und genau das sind die Bausteine, die unbemerkt bleiben, bis sie einen Kostensprung, eine stille Dokumentkürzung oder einen Retrieval-Fehler verursachen, der Joule weniger leistungsfähig erscheinen lässt, als es ist. Wer beides versteht, kann SAP-Wissenspipelines entwerfen, die schon beim ersten Versuch funktionieren statt erst beim dritten.

Warum es zählt

• SAP-spezifische und deutsche Komposita zerfallen in 8-12 Token gegenüber 2-3 bei englischen Entsprechungen, was die Kosten pro Aufruf direkt in die Höhe treibt.
• Zahlen tokenisieren ziffernweise, sodass Materialnummern und Kostenstellencodes die Token-Anzahl aufblähen und das arithmetische Schlussfolgern verschlechtern, sofern sie nicht vorverarbeitet werden.
• Chunking von SAP-PDF-Dokumentation an einer festen Grenze von 512 Token kürzt Sätze, die diese Grenze überschreiten, still — das Modell sieht die fehlende Hälfte nie.

Kernpunkte

• BPE-Vokabulargröße: GPT-4 verwendet ~100.000 Token; deutsche SAP-Komposita tokenisieren in 8-12 Token gegenüber 2-3 bei gleichwertigem Englisch — kalkulieren Sie +20-40 % Token für deutsche/SAP-Notation-Prompts ein.
• Zahlen tokenisieren in den meisten LLM-Vokabularen ziffernweise; SAP-Materialnummern und Kostenstellencodes blähen die Token-Anzahl auf und verschlechtern das arithmetische Schlussfolgern — wo möglich vorverarbeiten.
• Kürzung ist still: SAP-Dokumente immer an Satz- oder Absatzgrenzen in Chunks zerlegen, niemals bei fester Token-Zahl, um ein Zerschneiden mitten im Satz zu vermeiden.
• Embeddings (768-4096 Dimensionen) gruppieren semantisch ähnliche Texte; ermöglichen synonymtolerantes Retrieval („Kostenobjekt“ = „Controlling-Objekt“), das die Stichwortsuche übersieht.
• Die HANA Cloud Vector Engine (allgemein verfügbar seit 2024) speichert und befragt Embeddings nativ neben relationalen Daten — für die meisten SAP-Implementierungen ist keine separate Vektordatenbank nötig.
• SAP-domänenangepasste Embedding-Modelle auf AI Core übertreffen generische OpenAI-Embeddings um 8-15 % bei Recall@5 auf SAP-Help-Portal-Retrieval-Aufgaben.

Begriffe auf dieser Seite

BPE (Byte-Pair Encoding)

Subword-Tokenisierungsalgorithmus, der iterativ die häufigsten benachbarten Zeichenpaare verschmilzt, bis eine Ziel-Vokabulargröße erreicht ist.

Embedding

Dichte Vektorrepräsentation von Text, bei der semantisch ähnliche Texte im hochdimensionalen Raum eng beieinanderliegen; Grundlage semantischer Suche und RAG-Retrieval.

HANA Cloud Vector Engine

Native Vektorspeicherung und Approximate-Nearest-Neighbour-Suche (HNSW) in SAP HANA Cloud, die embedding-basiertes Retrieval ohne separate Vektordatenbank ermöglicht.

Recall@k

Retrieval-Qualitätskennzahl: Anteil der relevanten Dokumente, die in den Top-k-Ergebnissen gefunden werden; Standard-Benchmark zur Bewertung von RAG-Pipelines.

SentencePiece / WordPiece

Subword-Tokenisierungsverfahren, die BPE eng verwandt sind (SentencePiece: Kudo & Richardson 2018; WordPiece: verwendet in BERT, Devlin et al. 2018) — unterscheiden sich im Verschmelzungskriterium, teilen aber dasselbe Ziffer-für-Ziffer- und Kompositum-Overhead-Verhalten, das diese Karte beschreibt.

Chunking

Das Aufteilen eines Quelldokuments in Passagen, die klein genug sind, um einzeln eingebettet und abgerufen zu werden. Die Chunk-Grenze muss der Satz- oder Absatzstruktur folgen — Chunking bei fester Token-Zahl kürzt Inhalt still mitten im Satz.

Vektorindex (HNSW)

Der Hierarchical-Navigable-Small-World-Graph (Malkov & Yashunin, 2016): die Approximate-Nearest-Neighbour-Indexstruktur, die die meisten produktiven Vektor-Stores, einschließlich der Vector Engine von SAP HANA Cloud, für schnelle Ähnlichkeitssuche im großen Maßstab verwenden.

Domänenangepasstes Embedding-Modell

Ein Embedding-Modell, das zusätzlich auf domänenspezifischem Text (z. B. SAP Help Portal, S/4HANA-Dokumentation) statt nur auf offenem Webtext trainiert wurde — verbessert messbar Recall@k beim domänenspezifischen Retrieval gegenüber einer starken generischen Baseline, auf Kosten einer Hosting- und Re-Embedding-Abhängigkeit.

Quellen

1. SAP HANA Cloud Vector Engine documentation
2. SAP AI Core — embedding models on BTP
3. Sennrich et al. — Neural Machine Translation of Rare Words with Subword Units (BPE, 2016)
4. OpenAI tiktoken tokeniser
5. SAP Business AI — official product page
6. SAP Joule (work companion) — official product page
7. SAP Generative AI — official product page
8. SAP Community — Querying RDF Graphs with SAP HANA Cloud Knowledge Graph Engine
9. OpenAI — New embedding models and API updates (text-embedding-3-large, 2024)
10. Kudo & Richardson — SentencePiece, arXiv:1808.06226 (2018)
11. Devlin et al. — BERT: Pre-training of Deep Bidirectional Transformers (WordPiece), arXiv:1810.04805 (2018)
12. Malkov & Yashunin — Efficient and Robust Approximate Nearest Neighbor Search Using HNSW, arXiv:1603.09320 (2016)