Analytics Legends — logoAI & Analytics Legends ConnexionInscription
Module d'académie

Post-entraînement et fine-tuning — SFT, RLHF, Constitutional AI, DPO et LoRA, et quand une équipe SAP doit-elle affiner un modèle

Post-entraînement et fine-tuning — SFT, RLHF, Constitutional AI, DPO et LoRA, et quand une équipe SAP doit-elle affiner un modèle — illustration de section AI & Analytics Legends pour la base de connaissances SAP AI & Analytics (concepts, études, Academy)

À jour au

Explique comment les modèles deviennent des assistants après le pré-entraînement (fine-tuning supervisé, RLHF, Constitutional AI et RLAIF, DPO), comment LoRA et QLoRA rendent l'adaptation abordable, et ce que SAP documente sur SAP AI Core : consommation et orchestration de modèles de fournisseurs, grounding, optimisation de prompt, SAP-ABAP-1 entraîné par SAP, prédiction en contexte avec SAP-RPT-1 et restriction sur la génération de données d'entraînement synthétiques. Il propose ensuite un cadre de décision RAG contre fine-tuning contre apprentissage en contexte, fondé sur des preuves publiées (le RAG bat le fine-tuning pour les faits ; LIMA et LoRA pour le comportement) et un cadrage honnête de coût et d'effort où données, évaluation, service et retrait du modèle de base dominent. L'atelier aboutit à une note « affiner ou non ».

Ce que vous apprendrez

  • Situer pré-entraînement, fine-tuning supervisé, RLHF, Constitutional AI/RLAIF, DPO et pré-entraînement continu dans le cycle de vie d'un modèle et dire quelle opération une demande client décrit réellement
  • Expliquer les trois étapes du RLHF (SFT, modèle de récompense, PPO avec pénalité KL) et pourquoi la sur-optimisation de la récompense en fait une activité de fournisseur de modèle
  • Expliquer les deux phases de la Constitutional AI et le RLAIF, ainsi que la perte DPO sur des paires choisi/rejeté face à un modèle de référence gelé
  • Expliquer LoRA et QLoRA (base gelée, matrices de bas rang entraînables, base quantifiée) et leurs conséquences opérationnelles : petits adaptateurs interchangeables, oubli et limites de qualité
  • Lire la documentation SAP avec précision : ce que propose le generative AI hub (consommation, orchestration, grounding, optimisation de prompt), ce que SAP a affiné lui-même (SAP-ABAP-1), où l'apprentissage en contexte remplace l'entraînement (SAP-RPT-1) et la restriction sur les données d'entraînement synthétiques
  • Appliquer un cadre de décision (RAG contre fine-tuning contre apprentissage en contexte) avec un jeu de référence et une estimation honnête de coût et d'effort, et rédiger une note « affiner ou non »

Aperçu du module

À qui s'adresse ce module. Vous savez construire un assistant ancré (grounded) sur le Generative AI Hub de SAP AI Core, et un sponsor vient de demander : « Faut-il affiner (fine-tuner) le modèle sur nos propres données ? » Ce module vous donne le vocabulaire pour dire quelle opération est réellement demandée (SFT, RLHF, Constitutional AI, DPO, LoRA), ce que SAP documente effectivement sur SAP AI Core (SAP Business AI Platform), et une procédure qui aboutit à une décision écrite : une note « affiner ou non » (bloc de code 4, modèle d'équipe) appuyée sur un jeu de référence de 50 cas, conservé dans un fichier tel que golden_set.csv. Il suppose bases de l'IA et des LLM et gagne à être précédé de fonctionnement interne des LLM, Generative AI Hub en pratique et « Ingénierie du coût des LLM — AI Units, budgets de tokens, caching » (ingénierie des coûts LLM). Il est volontairement sceptique : pour la plupart des problèmes de connaissance SAP, le fine-tuning est le mauvais outil, et les preuves ci-dessous le montrent. Les chiffres de coût et d'effort que SAP ne publie pas sont signalés comme estimations de planification.

Prérequis

  • Avoir suivi fondamentaux IA et LLM pour consultants SAP ou disposer d'une connaissance équivalente des tokens, plongements, grounding et contexte
  • Recommandé : rouages des LLM pour architectes SAP pour les bases sur l'attention, le cache KV et la quantification
  • Facultatif : un accès à un tenant SAP AI Core avec le plan étendu, ou la documentation SAP sur le generative AI hub, l'orchestration et le grounding, pour réaliser les mesures de base de l'atelier

Acquis

  • Dire précisément quel type d'adaptation une demande client décrit (style, tâche, faits, sécurité) et quelle méthode, le cas échéant, y répond.
  • Expliquer RLHF, Constitutional AI, DPO et LoRA à un sponsor technique en deux minutes chacun, avec les bons compromis.
  • Décrire ce que SAP AI Core documente aujourd'hui pour la consommation de modèles, les modèles entraînés par SAP et la prédiction en contexte, sans promettre un service de fine-tuning managé que la documentation examinée ne décrit pas.
  • Mener une comparaison sur jeu de référence entre prompt, few-shot, grounding et (si justifié) un pilote LoRA, et en défendre le résultat.
  • Rédiger une note « affiner ou non » avec une estimation honnête de coût et d'effort incluant données, évaluation, service et retrait du modèle.

Module complet avec le palier Consultant — 19,90 €/mois. Le module complet ajoute : le cadre de décision · le cas guidé de bout en bout · la grille de KPI · les anti-patterns · les blocs de code · le contrôle de connaissances.

Ouvrir dans l'application →

Missions ouvertes

67 postes et missions IA SAP & Joule ouverts en ce moment — voir les missions IA SAP & Joule · missions freelance SAP.