Embeddings (Vektoreinbettungen)
Stand
Was ist Embeddings (Vektoreinbettungen)?
Satz-Embeddings treiben RAG durch Bedeutungsabgleich statt Syntaxabgleich an — doch der Kompromiss ist deutlich: ein großes Modell (3.072 Dimensionen, 0,13 $/Mio.) gegenüber einem kleinen (1.536 Dimensionen, 0,02 $/Mio.) gegenüber einem lokalen 384-Dimensionen-Modell, und das Mischen von Modellen in einem Index bricht das Retrieval unbemerkt.
Worum es geht
Ein Embedding ist ein dichter reellwertiger Vektor, der den semantischen Gehalt eines Tokens, Satzes oder Dokuments in einem hochdimensionalen Raum kodiert, sodass semantisch ähnliche Eingaben sich geometrisch bündeln. Embeddings sind die Brücke zwischen diskretem Text und der kontinuierlichen Mathematik neuronaler Netzwerke.
Das Problem, das sie lösen, ist die Unfähigkeit exakter Übereinstimmungssuche, „Nettoumsatz“ zu finden, wenn der Nutzer nach „Gesamteinkommen“ fragt — Embeddings kodieren Bedeutung, nicht Syntax, und ermöglichen semantisches Retrieval im großen Maßstab.
Drei Generationen haben dominiert: Statische Wort-Embeddings (Word2Vec, Mikolov 2013; GloVe) weisen jedem Wort einen Vektor zu, unabhängig vom Kontext; kontextuelle Embeddings (BERT, GPT) erzeugen für jedes Token einen unterschiedlichen Vektor abhängig vom umgebenden Kontext; Satz-Embeddings mitteln oder bündeln kontextuelle Repräsentationen zu einem einzigen Dokumentvektor. Moderne RAG-Systeme verwenden Satz-Embeddings. OpenAIs text-embedding-3-large erzeugt 3.072-dimensionale Vektoren zu 0,13 $/Mio. Token; text-embedding-3-small erzeugt 1.536d zu 0,02 $/Mio. Matryoshka Representation Learning (MRL, Kusupati 2022) trainiert Embeddings so, dass die ersten k Dimensionen eines 3.072d-Vektors ein brauchbares 256d-Embedding ergeben — was Speicherkompression bei nur ~5 % NDCG@10-Verschlechterung ermöglicht. Die Vector Engine von SAP HANA Cloud speichert nativ 1.536d-Kosinus-Ähnlichkeitsvektoren und liefert Top-k-Ergebnisse in unter 10 ms bei 1 Mio. Dokumenten.
Wählen Sie text-embedding-3-large, wenn die Retrieval-Qualität entscheidend ist (Finanzberichte, regulatorische Texte); wählen Sie text-embedding-3-small oder ein lokales Modell (all-MiniLM-L6, 384d), wenn Kosten oder Latenz dominieren. Mischen Sie niemals Embeddings verschiedener Modelle im selben Index — die Vektorräume sind inkompatibel.
Warum es zählt
- Matryoshka Representation Learning komprimiert einen 3.072d-Vektor auf ein brauchbares 256d bei nur ~5 % NDCG@10-Verlust — ein konkreter Hebel für Speicherkosten.
- Die Vector Engine von SAP HANA Cloud liefert Top-k-Ergebnisse in unter 10 ms bei 1 Mio. Dokumenten mit nativer 1.536d-Kosinus-Ähnlichkeit — eine reale Leistungsbaseline, die sich zitieren lässt.
- Modell-Inkompatibilität innerhalb eines Index ist ein unnötiger Fehler: Embeddings verschiedener Modelle belegen inkompatible Vektorräume.
Kernpunkte
- Satz-Embeddings (nicht Wort-Embeddings) sind die richtige Einheit für RAG über SAP-Dokumente — ein Vektor pro Absatz, nicht pro Token.
- Kosinus-Ähnlichkeit, nicht euklidische Distanz, ist die Standardmetrik für Embedding-Ähnlichkeit; HANA Cloud verwendet standardmäßig Kosinus.
- Matryoshka-Embeddings erlauben die Kürzung von 3.072d auf 256d bei nur ~5 % NDCG@10-Verlust — erhebliche Speichereinsparungen.
- Mischen Sie niemals Embeddings verschiedener Modelle im selben Index; die Vektorräume sind nicht aufeinander ausgerichtet.
- HANA-Cloud-Vector-Engine: 1.536d Kosinus, Top-k < 10 ms bei 1 Mio. Dokumenten — keine externe Vektordatenbank für die meisten SAP-RAG-Workloads erforderlich.
- Die Embedding-Modellversion in der Ingestion-Pipeline-Konfiguration explizit festlegen — eine nicht fixierte Abhängigkeit kann bei einem routinemäßigen Bibliotheks-Update das Modell still wechseln und einen beschädigten, gemischten Index erzeugen, ohne dass ein Fehler geworfen wird.
- Die Vector Engine von HANA Cloud ist nicht der einzige Retrieval-Mechanismus derselben Datenbank — eine native Knowledge Graph Engine (RDF/SPARQL) verankert beziehungsförmige Fragen besser, als es Embedding-Ähnlichkeit je könnte.
- Ein Kosinus-Ähnlichkeitswert ist ein Ranking-Signal, keine kalibrierte Konfidenzmessung — nie eine rohe Ähnlichkeitszahl einem Fachanwender als „wie sicher sich das Modell ist“ präsentieren.
Begriffe auf dieser Seite
- Embedding
- Ein dichter reellwertiger Vektor, der eine Texteinheit in einem gelernten semantischen Raum repräsentiert.
- Cosine similarity
- cos(θ) = (A·B)/(|A||B|): misst den Winkel zwischen zwei Vektoren; 1,0 = identische Richtung, 0 = orthogonal, −1 = entgegengesetzt.
- Matryoshka Representation Learning (MRL)
- Trainingstechnik, die die ersten k Dimensionen eines großen Embeddings als eigenständiges kleineres Embedding nutzbar macht und flexible Dimensionalität ermöglicht.
- RAG
- Retrieval-Augmented Generation: Architektur, die einen Dokumentkorpus einbettet, zur Abfragezeit die Top-k relevanten Abschnitte abruft und sie an den LLM-Prompt anhängt.
- Vector index
- Ein Approximate-Nearest-Neighbour-Index (ANN, z. B. HNSW, IVF), der sublineare Suche über große Embedding-Sammlungen ermöglicht.
Quellen
- Mikolov et al. 2013 — Efficient Estimation of Word Representations (Word2Vec)
- Su et al. 2021 — RoFormer: Enhanced Transformer with Rotary Position Embedding
- Press et al. 2022 — Train Short, Test Long: ALiBi
- Kusupati et al. 2022 — Matryoshka Representation Learning
- OpenAI text-embedding-3 model card
- SAP HANA Cloud vector engine documentation
- Peng et al. 2023 — YaRN: Efficient Context Window Extension of LLMs
- SAP Sapphire Orlando 2026 - AI database for AI agents and apps: Overview of SAP HANA Cloud — SAP Community (Technology Blog Posts by SAP)
- Unlocking custom AI use-cases with SAP HANA Cloud — SAP Community (Technology Blog Posts by SAP)
- SAP HANA Cloud: Expert-Guided Implementation Workshop Series — SAP Community (Technology Blog Posts by SAP)
- What’s New in SAP HANA Cloud – March 2026 — SAP Community (Technology Blog Posts by SAP)
- A Use Case for HANA Cloud Knowledge Graph: AI‑Driven Tender Analysis — SAP Community (Technology Blog Posts by Members)
- SAP Generative AI Hub: RAG on SAP Data with HANA Cloud Vector Store (Part 4 of 6) — SAP Community (Artificial Intelligence Blogs Posts)
- BM25 and Hybrid Search for RAG on SAP HANA Cloud (without PAL) — SAP Community (Artificial Intelligence Blogs Posts)
- Migrating to SAP HANA Cloud: What Actually Gets Better (Part 1 of 2) — SAP Community (Technology Blog Posts by SAP)
- LangGraph Checkpoint Saver for SAP HANA Cloud — SAP Community (Artificial Intelligence Blogs Posts)
- New Machine Learning, NLP and AI features in SAP HANA Cloud 2025 Q3 — SAP Community (Technology Blog Posts by SAP)
- Beyond Vectors: The Next Evolution of RAG on SAP BTP using SAP HANA Cloud — SAP Community (Artificial Intelligence Blogs Posts)
- New Machine Learning, NLP and AI features in SAP HANA Cloud 2025 Q4 — SAP Community (Technology Blog Posts by SAP)
- Help future-proof your database landscape with SAP HANA Cloud — SAP Community (Technology Blog Posts by SAP)
- JOIN US: Meet SAP HANA Cloud @ SAP TechEd 2025 — SAP Community (Technology Blog Posts by SAP)
- Step-by-Step: Implementing Generative AI with SAP HANA Cloud — SAP Community (Technology Blog Posts by Members)
- What’s New in SAP HANA Cloud – September 2025 — SAP Community (Technology Blog Posts by SAP)
- Building a RAG Bot on SAP BTP With Hana Cloud Vector Engine and AI Core — SAP Community (Technology Blog Posts by SAP)
- New Machine Learning and AI features in SAP HANA Cloud 2025 Q2 — SAP Community (Technology Blog Posts by SAP)
- Fast-Track Your AI Journey with SAP HANA Cloud’s Vector Engine Through Our New Expert Guided service — SAP Community (Technology Blog Posts by SAP)
- Semantic Querying with SAP HANA Cloud Knowledge Graph using RDF, SPARQL, and Generative AI in Python — SAP Community (Technology Blog Posts by SAP)
- 🚀 SAP AI Core Agent QuickLaunch Series 🚀 - Part 4 RAG Basics ①: HANA Cloud VectorEngine&Embedding — SAP Community (Technology Blog Posts by SAP)
- 🚀 秒速で学ぶ SAP AI Core Agent 開発 🚀 - Part4 RAG 基礎 ①: HANA Cloud VectorEngineと埋め込み処理 — SAP Community (Technology Blog Posts by SAP)
- Making RAG work better: Implementing Parent Document Retriever with SAP HANA Cloud Vector Engine — SAP Community (Technology Blog Posts by SAP)
- New Machine Learning and AI features in SAP HANA Cloud 2025 Q1 — SAP Community (Technology Blog Posts by SAP)
- HANA Cloud’s VECTOR EMBEDDING in CAP and Comparison with OpenAI Embedding — SAP Community (Technology Blog Posts by SAP)
Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.
Offene SAP-Projekte
Aktuelle SAP-Analytics-Projekte und Stellen im DACH-Raum: SAP-Analytics-Projekte im DACH-Raum.