Que contient une application d'IA, couche par couche ?
Une application d'IA générative vue en coupe : données, infrastructure, modèle, orchestration, application. Ouvrez chaque couche pour voir ce qu'elle fait, ce qui peut mal tourner et ce qu'il faut surveiller, puis suivez une requête à travers les cinq.
Pour : ingénieurs et SRE · architectes · managers d’équipe · métiers et produitPrérequis : Aucun.
Mode de lecture
Lecture décideur : les passerelles d’abord.
Prenons un scénario inventé. Une mutuelle met en ligne un assistant qui répond aux questions de ses adhérents. Trois semaines plus tard, le service client signale des réponses fausses sur les remboursements. Le tableau de bord, lui, est vert : l’assistant répond vite, les serveurs tournent, aucune erreur n’apparaît. Par où commencer ?
Pour le savoir, il faut voir de quoi l’application est faite. Elle ressemble à un gâteau à cinq étages. En bas, les données : les documents où l’assistant va chercher ses réponses. Au-dessus, l’infrastructure de calcul, c’est-à-dire les serveurs et les cartes graphiques (les GPU) qui font tourner le modèle. Puis le modèle lui-même, qui rédige la réponse. Ensuite l’orchestration, qui prépare le travail du modèle : les consignes qu’on lui donne (les prompts), la recherche dans les documents et les agents qui enchaînent plusieurs actions. Tout en haut, l’application que l’utilisateur a sous les yeux.
Chaque couche peut se dégrader sans bruit et chaque couche peut être attaquée. Le schéma ci-dessous ouvre le gâteau. Cliquez sur une couche pour lire sa fiche, passez du mode Observer (ce qu’il faut surveiller) au mode Risques (ce qui peut mal tourner), puis envoyez une requête pour suivre son trajet de haut en bas, aller et retour.
Faites glisser la stack pour la tourner, puis cliquez sur une couche (ou Entrée au clavier) pour ouvrir sa fiche. Les couches vont de la donnée, en bas, à l’application, en haut.
Données
Fraîcheur et couverture des sources
Distribution des entrées par rapport à la référence
Données personnelles détectées dans les journaux
Dérive des données : les questions des utilisateurs changent
LLM04Empoisonnement des données ou du modèle
Sources périmées ou incomplètes
Infrastructure
Latence du premier token (TTFT)
Tokens par seconde, file d’attente, mémoire GPU
Coût par requête
Saturation et files d’attente
LLM10Consommation non bornée : coût qui s’emballe
Un GPU occupé ne dit rien de la qualité
Modèle
Score qualité par évaluation automatique
Écart par rapport à un jeu de référence
Version exacte du modèle à chaque appel
LLM09Hallucinations et désinformation
Dérive de concept : le monde change, pas le modèle
Mise à jour silencieuse chez le fournisseur
Orchestration
Trace de bout en bout de chaque requête (OpenTelemetry)
Pertinence des documents retrouvés
Tokens et appels d’outils par requête
LLM01Injection de prompt
Dérive de pipeline : découpage ou gabarit modifié en silence
LLM06Agent aux droits trop larges
Application
Retours des utilisateurs et abandons
Violations de la politique de contenu
Données personnelles détectées en sortie
LLM02Fuite d’informations sensibles en sortie
Contournement des garde-fous
Perte de confiance avant toute plainte
Ce qu’il faut observer, couche par couche
Ce qui peut mal tourner, couche par couche
Application
Retours des utilisateurs et abandons
Violations de la politique de contenu
Données personnelles détectées en sortie
OWASP LLM02Fuite d’informations sensibles en sortie
Contournement des garde-fous
Perte de confiance avant toute plainte
Orchestration
Trace de bout en bout de chaque requête (OpenTelemetry)
Pertinence des documents retrouvés
Tokens et appels d’outils par requête
OWASP LLM01Injection de prompt
Dérive de pipeline : découpage ou gabarit modifié en silence
OWASP LLM06Agent aux droits trop larges
Modèle
Score qualité par évaluation automatique
Écart par rapport à un jeu de référence
Version exacte du modèle à chaque appel
OWASP LLM09Hallucinations et désinformation
Dérive de concept : le monde change, pas le modèle
Mise à jour silencieuse chez le fournisseur
Infrastructure
Latence du premier token (TTFT)
Tokens par seconde, file d’attente, mémoire GPU
Coût par requête
Saturation et files d’attente
OWASP LLM10Consommation non bornée : coût qui s’emballe
Un GPU occupé ne dit rien de la qualité
Données
Fraîcheur et couverture des sources
Distribution des entrées par rapport à la référence
Données personnelles détectées dans les journaux
Dérive des données : les questions des utilisateurs changent
OWASP LLM04Empoisonnement des données ou du modèle
Sources périmées ou incomplètes
Couche 1 sur 5
Données
Ce que c’est
Le carburant : documents internes, bases de connaissances, données d’entraînement et de RAG.
Ce qui peut mal tourner
Dérive des données : les questions des utilisateurs changent
Empoisonnement des données ou du modèle OWASP LLM04
Sources périmées ou incomplètes
Ce qu’il faut observer
Fraîcheur et couverture des sources
Distribution des entrées par rapport à la référence
Données personnelles détectées dans les journaux
Couche 2 sur 5
Infrastructure
Ce que c’est
La puissance de calcul : GPU, serveurs d’inférence, cloud ou cluster.
Ce qui peut mal tourner
Saturation et files d’attente
Consommation non bornée : coût qui s’emballe OWASP LLM10
Un GPU occupé ne dit rien de la qualité
Ce qu’il faut observer
Latence du premier token (TTFT)
Tokens par seconde, file d’attente, mémoire GPU
Coût par requête
Couche 3 sur 5
Modèle
Ce que c’est
Il prédit le mot suivant le plus probable ; il ne vérifie pas les faits.
Ce qui peut mal tourner
Hallucinations et désinformation OWASP LLM09
Dérive de concept : le monde change, pas le modèle
Mise à jour silencieuse chez le fournisseur
Ce qu’il faut observer
Score qualité par évaluation automatique
Écart par rapport à un jeu de référence
Version exacte du modèle à chaque appel
Couche 4 sur 5
Orchestration
Ce que c’est
La colle : prompts, recherche documentaire (RAG), agents et appels d’outils.
Ce qui peut mal tourner
Injection de prompt OWASP LLM01
Dérive de pipeline : découpage ou gabarit modifié en silence
Agent aux droits trop larges OWASP LLM06
Ce qu’il faut observer
Trace de bout en bout de chaque requête (OpenTelemetry)
Pertinence des documents retrouvés
Tokens et appels d’outils par requête
Couche 5 sur 5
Application
Ce que c’est
Ce que voit l’utilisateur : assistant, chatbot, fonction métier.
Ce qui peut mal tourner
Fuite d’informations sensibles en sortie OWASP LLM02
Ouvrez la couche Modèle. Un modèle de langage prédit le mot suivant le plus probable, sans vérifier les faits. Sa qualité ne se voit donc ni dans le temps de réponse ni dans l’occupation des GPU. Elle se suit avec un score calculé par une évaluation automatique, qui vérifie par exemple que la réponse colle aux documents. Dans le cas de la mutuelle, c’est ce score qui aurait alerté.
Passez en mode Risques et repérez les identifiants OWASP, la liste de référence des failles propres aux applications de ce type. L’injection de prompt (LLM01), qui glisse des instructions cachées dans une question ou un document, vise l’orchestration. La fuite d’informations sensibles (LLM02) se produit dans l’application. L’empoisonnement (LLM04), qui corrompt les données d’origine, vise la couche du bas.
Envoyez une requête. Elle traverse les cinq couches à l’aller puis au retour. Ce trajet enregistré s’appelle une trace : comme le suivi d’un colis, il dit par où la requête est passée et combien de temps elle est restée à chaque étape. C’est la trace qui relie les signaux des cinq couches et indique où chercher.
La même coupe en 2 min 21, couche par couche, avec une requête qui traverse toute la pile.
Lire le texte de la vidéo
Votre tableau de bord est au vert. Pourtant, votre assistant d’IA répond faux depuis des semaines. Une IA ne tombe pas en panne : elle se dégrade en silence. Une application d’IA générative, c’est une pile de cinq couches. Chacune peut dériver, chacune peut être attaquée. Ouvrons-la, couche par couche, en partant du bas.
Couche 1 : Données. Le carburant : documents internes, bases de connaissances, données d’entraînement et de RAG.
Ce qui peut mal tourner : Dérive des données : les questions des utilisateurs changent ; Empoisonnement des données ou du modèle (OWASP LLM04) ; Sources périmées ou incomplètes.
Ce qu’il faut observer : Fraîcheur et couverture des sources ; Distribution des entrées par rapport à la référence ; Données personnelles détectées dans les journaux.
Couche 2 : Infrastructure. La puissance de calcul : GPU, serveurs d’inférence, cloud ou cluster.
Ce qui peut mal tourner : Saturation et files d’attente ; Consommation non bornée : coût qui s’emballe (OWASP LLM10) ; Un GPU occupé ne dit rien de la qualité.
Ce qu’il faut observer : Latence du premier token (TTFT) ; Tokens par seconde, file d’attente, mémoire GPU ; Coût par requête.
Couche 3 : Modèle. Il prédit le mot suivant le plus probable ; il ne vérifie pas les faits.
Ce qui peut mal tourner : Hallucinations et désinformation (OWASP LLM09) ; Dérive de concept : le monde change, pas le modèle ; Mise à jour silencieuse chez le fournisseur.
Ce qu’il faut observer : Score qualité par évaluation automatique ; Écart par rapport à un jeu de référence ; Version exacte du modèle à chaque appel.
Couche 4 : Orchestration. La colle : prompts, recherche documentaire (RAG), agents et appels d’outils.
Ce qui peut mal tourner : Injection de prompt (OWASP LLM01) ; Dérive de pipeline : découpage ou gabarit modifié en silence ; Agent aux droits trop larges (OWASP LLM06).
Ce qu’il faut observer : Trace de bout en bout de chaque requête (OpenTelemetry) ; Pertinence des documents retrouvés ; Tokens et appels d’outils par requête.
Couche 5 : Application. Ce que voit l’utilisateur : assistant, chatbot, fonction métier.
Ce qui peut mal tourner : Fuite d’informations sensibles en sortie (OWASP LLM02) ; Contournement des garde-fous ; Perte de confiance avant toute plainte.
Ce qu’il faut observer : Retours des utilisateurs et abandons ; Violations de la politique de contenu ; Données personnelles détectées en sortie.
Une requête traverse les cinq couches, aller et retour. La trace relie leurs signaux : c’est elle qui dit où chercher.
Observer l’IA, de la donnée à la réponse : www.meantimetolearn.com.
Musique : « Radar Focus », Blue Saga (Epidemic Sound).
Une fois les cinq couches repérées, il reste à comprendre ce qu’on surveille à chacune. Le guide Comprendre l’observabilité de l’IA générative présente les signaux, les types de systèmes et les niveaux de maturité.