LLM-Inferenz am Edge — Apple Silicon, NPUs, On-Device

Worum es geht

On-Device-LLM-Inferenz verlagert das Modell von einem entfernten GPU-Cluster auf den Laptop, das Telefon oder das industrielle Gateway des Nutzers. 2026 hat die Technologie eine praktische Schwelle überschritten: Ein M4-Pro-MacBook führt Llama-3.1-8B in 4-Bit-Quantisierung mit 40-60 Tokens/Sekunde aus; ein iPhone 16 Pro führt Apples 3B-On-Device-Foundation-Modell mit 20-30 T/s auf der Neural Engine aus; Snapdragon 8 Gen 4 und Intel Lunar Lake liefern NPUs im Bereich von 40-50 TOPS. Für SAP-Berater ist das relevant, weil eine wachsende Klasse von Enterprise-Anwendungsfällen — sensible Personalunterlagen, durch die deutsche Mitbestimmung geschützte Mitarbeiterdaten, Vor-Ort-Diagnostik im Field Service — rechtlich oder wirtschaftlich nicht bei einem Cloud-LLM anfragen kann.

Drei Hardware-Substrate dominieren den Edge-Stack. Die Unified-Memory-Architektur von Apple Silicon lässt GPU und Neural Engine direkt aus demselben Pool von 16-128 GB lesen, ohne PCIe-Kopie — einzigartig gut geeignet für LLMs, deren Gewichte typische Aktivierungstensoren bei Weitem übersteigen. Apples MLX-Framework und der Core-ML-Compiler legen dies direkt offen; das Metal-Backend von llama.cpp ist das Open-Source-Äquivalent. NVIDIA-RTX-Laptop-GPUs führen den Standard-CUDA-Stack aus (TensorRT-LLM, llama.cpp CUDA) — der schnellste absolute Durchsatz, aber energiehungrig. Dedizierte NPUs (Apple Neural Engine, Qualcomm Hexagon, Intel NPU 4, AMD XDNA) sind bei 40-50 TOPS energieeffizient, aber auf Graphen fester Form mit INT8/INT4 beschränkt — sie beschleunigen Prefill gut, Decode weniger.

Warum es zählt

• Eine wachsende Klasse von SAP-Anwendungsfällen — sensible Personalunterlagen, durch die deutsche Mitbestimmung geschützte Mitarbeiterdaten, Vor-Ort-Diagnostik im Field Service — kann rechtlich oder wirtschaftlich nicht bei einem Cloud-LLM anfragen.
• Der Unified Memory von Apple Silicon lässt GPU und Neural Engine denselben Pool von 16-128GB ohne PCIe-Kopie lesen, einzigartig geeignet für LLMs, deren Gewichte Aktivierungstensoren bei Weitem übersteigen; dedizierte NPUs beschleunigen Prefill gut, Decode weniger.
• Ein 5GB-Modell-Update auf eine Flotte von 50.000 Geräten auszurollen, erfordert CDN-Bandbreite und eine gestaffelte Rollout-Disziplin, die die meisten IT-Abteilungen unterschätzen.

Kernpunkte

• M4-Pro-MacBook führt Llama-3.1-8B 4-Bit mit 40-60 Tokens/Sekunde aus; iPhone 16 Pro führt das Apple-3B-On-Device-Modell mit 20-30 T/s aus; NPU-Laptops (Snapdragon, Lunar Lake) liefern 40-50 TOPS.
• Der Unified-Memory-Pool von Apple Silicon verschafft ihm den strukturellen Vorsprung bei LLMs — keine PCIe-Kopie zwischen GPU und Neural Engine.
• Quantisierung ist zwingend: 4-Bit-GGUF/MLX senkt den Speicherbedarf um das 4-Fache bei 1-3 % Qualitätsverlust; 2-Bit ist für 70B auf 64-GB-Macs machbar, aber die Qualität sinkt spürbar.
• Der KV-Cache dominiert das Speicherbudget bei langem Kontext — 128k bei einem 8B-Modell bedeutet allein ~16 GB Cache.
• Akku- und Modell-Update-Logistik sind der unterschätzte Kostenfaktor; das Ausrollen von 5-GB-Updates auf Flotten von 50.000 Geräten erfordert gestaffelte Rollout-Disziplin.
• Passende Anwendungsfälle: gebundene Datenresidenz, Offline-Zuverlässigkeit, latenzarmes Autocomplete. In der Cloud bleiben für Reasoning der Spitzenklasse und stoßweise Gleichzeitigkeit.

Begriffe auf dieser Seite

Unified memory

Apple-Silicon-Architektur, bei der CPU, GPU und Neural Engine einen einzigen physischen Speicherpool teilen — kein PCIe-Transfer, ideal für gewichtslastige LLM-Workloads.

MLX

Apples für Apple Silicon optimiertes Machine-Learning-Framework; native LLM-Inferenz mit Shared-Memory-Tensoren und Metal-Beschleunigung.

NPU

Neural Processing Unit — dedizierter, stromsparender Inferenzbeschleuniger (Apple Neural Engine, Qualcomm Hexagon, Intel NPU, AMD XDNA), gemessen in TOPS.

GGUF

Quantisiertes Modelldateiformat, das von llama.cpp verwendet wird; unterstützt Gewichtsquantisierung von 2-8 Bit mit Metadaten für die Laufzeitauswahl.

TOPS (Tera Operations Per Second)

Die übliche NPU-Marketingmetrik — theoretische Spitzenzahl von INT8-Multiplikations-Akkumulations-Operationen pro Sekunde. Sagt den realen LLM-Decode-Durchsatz nicht direkt voraus, der meist durch die Speicherbandbreite statt durch rohe Rechenleistung begrenzt wird; zwei NPUs mit ähnlichem TOPS-Wert können sich im anhaltenden Tokens/Sekunde-Durchsatz um das Doppelte unterscheiden.

Quantisierung (Q4/Q8/Q2)

Das Komprimieren von Modellgewichten von 16-Bit-Gleitkomma auf 4, 8 oder 2 Bit je Gewicht, um in den Gerätespeicher zu passen und den Durchsatz zu erhöhen; 4-Bit ist der Edge-Standardwert (1-3 % Qualitätsverlust bei vierfacher Speicherreduktion), 2-Bit wird nur genutzt, wenn Speicher die bindende Beschränkung ist und ein gewisser Qualitätsverlust akzeptabel ist.

Core ML

Apples On-Device-Modellcompiler und -Laufzeitumgebung; wandelt ein trainiertes Modell in ein Format um, das Neural Engine, GPU und CPU alle ausführen können, wobei jede Operation automatisch an die schnellste verfügbare Engine geleitet wird.

Model fleet management

Die operative Disziplin der Versionierung, Staffelung und des Rollouts von Modell-Updates über eine große Population von Edge-Geräten hinweg, ohne zentralen Inferenz-Endpunkt zum einfachen Neu-Deployment — umfasst gestaffelte Rollout-Kohorten, Bandbreitenbudgetierung und einen expliziten Fallback für Geräte, die einen Update-Zyklus verpassen.

Quellen

1. Apple MLX Framework Documentation
2. llama.cpp — Inference Engine
3. Qualcomm — Snapdragon 8 Gen 4 AI Engine Brief
4. Apple Machine Learning Research — Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU
5. GitHub — ml-explore/mlx (Apple's array framework for Apple Silicon)
6. Apple Open Source — MLX project page
7. Apple Developer Documentation — Core ML
8. Qualcomm — Snapdragon leads the agentic AI age with two of the world's fastest mobile SoCs (press release, 2026-09)
9. Google Developers Blog — Unlocking Peak Performance on Qualcomm NPU with LiteRT
10. GitHub — ggml-org/ggml, GGUF file format specification
11. ONNX Runtime — official documentation
12. Android Authority — Qualcomm Snapdragon 8 Elite Gen 6 NPU coverage (press, 2026-09)