Aller au contenu

BusinessDécouverte11 min de lecture (+1 technique)

Ce qu'un responsable métier ou produit peut demander à l'observabilité

Les questions qu'un responsable métier ou produit peut poser à l'observabilité, ce que l'équipe technique doit mettre en place pour y répondre, comment transformer une promesse client en objectif chiffré et quelle place prendre dans les incidents.

Pour : métiers et produit · managers d’équipe · direction et DSIPrérequis : Aucun.

Mode de lecture

Lundi matin, comité de direction. La veille, le site a été lent une partie de l’après-midi. La directrice commerciale pose une question simple : « Combien de clients ont été touchés ? » L’équipe technique répond avec ce qu’elle a sous la main. Le processeur d’un serveur est monté à 95 %, le taux d’erreur a doublé pendant vingt minutes. Personne ne sait dire combien de clients ont renoncé à leur commande.

Ce scénario est inventé, mais il est courant. L’équipe technique n’a rien fait de travers : personne ne lui avait demandé de compter les clients. Cette page s’adresse aux responsables métier et produit qui veulent poser ce genre de question à l’avance. Elle ne demande aucune connaissance technique. Chaque terme est expliqué la première fois qu’il apparaît et le glossaire reprend les définitions.

Pensez au tableau de bord d’une voiture. Il ne montre que ce que le constructeur a prévu d’y mettre : sans jauge d’huile, vous ne saurez pas que le niveau baisse. L’observabilité fonctionne de la même façon. C’est la capacité à comprendre ce qui se passe dans un système informatique à partir des données qu’il émet. On l’associe souvent aux pannes de serveurs. Elle répond pourtant d’abord à des questions métier. Nos clients réussissent-ils ce qu’ils viennent faire ? Combien de temps attendent-ils ? Que coûte chaque usage ?

Ces réponses n’apparaissent pas toutes seules. L’équipe technique instrumente le système, c’est-à-dire qu’elle place les points de mesure qui répondront aux questions qu’on lui pose. Si personne ne pose les questions du métier, elle mesure ce qu’elle connaît : processeurs, mémoire, erreurs techniques. C’est ce qui s’est passé dans le comité du lundi. La page Passerelles développe cette idée et propose un dictionnaire de traduction entre signal technique et indicateur métier.

Votre rôle est donc de formuler les questions. Celui de l’équipe technique est de rendre les réponses possibles.

Trois mots reviennent dans cette section. Un signal est un type de donnée émis par l’application. Une trace raconte le trajet d’une demande à travers tous les services, comme le suivi d’un colis qui passe d’entrepôt en entrepôt. Un attribut est une étiquette collée sur ce colis, par exemple « étape du parcours = paiement ». Le détail est dans l’observabilité en 10 minutes.

Pour chaque question, je donne l’indicateur qui y répond, ce qu’il faut demander à l’équipe et l’effort que cela représente à mon avis. Les noms techniques sont regroupés dans une partie repliée en fin de section.

« Combien de clients ont été touchés par l’incident d’hier et pendant combien de temps ? »

Section intitulée « « Combien de clients ont été touchés par l’incident d’hier et pendant combien de temps ? » »

L’indicateur est le nombre de clients distincts dont les demandes ont échoué ou ont été trop lentes, avec l’heure de début et l’heure de fin. On le tire des traces et des journaux techniques (les logs, l’équivalent du journal de bord de l’application), à condition qu’ils portent un identifiant de client ou au moins un segment de clientèle.

Demandez donc un attribut de segment sur les traces. Si le délégué à la protection des données l’accepte, demandez aussi un identifiant client pseudonymisé, c’est-à-dire remplacé par un code qui ne permet pas de retrouver directement la personne.

Un point de vigilance : cet identifiant va sur les traces, pas sur les métriques. Une métrique est un compteur, un peu comme un tableau de suivi où chaque combinaison d’étiquettes ouvre une nouvelle ligne. Y mettre l’identifiant du client ouvre une ligne par client et multiplie le coût de stockage. C’est ce qu’on appelle la cardinalité.

L’effort, à mon avis, est modeste si les traces existent déjà. Il est plus lourd s’il faut d’abord tracer les services.

« Où, dans le parcours d’achat, les clients abandonnent-ils ou attendent-ils ? »

Section intitulée « « Où, dans le parcours d’achat, les clients abandonnent-ils ou attendent-ils ? » »

Imaginez un magasin qui compterait les clients à l’entrée de chaque rayon puis en caisse, en notant le temps passé à chaque endroit. L’indicateur fait la même chose pour un parcours en ligne : pour chaque étape, la part des clients qui passent à la suivante et le temps qu’ils y passent.

Il repose sur des traces qui portent l’étape du parcours, reliées à des événements métier comme « panier validé » ou « commande payée ». Demandez un attribut d’étape, l’émission de ces événements clés et un tableau de bord par étape, lisible sans formation.

À mon avis, c’est un chantier de quelques itérations. Avancez étape par étape, en commençant par celle qui vous inquiète le plus.

« La nouvelle fonctionnalité est-elle plus lente que l’ancienne ? »

Section intitulée « « La nouvelle fonctionnalité est-elle plus lente que l’ancienne ? » »

On compare le temps de réponse entre les deux versions. La moyenne ne suffit pas : elle masque les clients les plus mal servis, comme le temps d’attente moyen à un guichet cache la file qui s’allonge à midi. Les équipes regardent souvent le p95, le temps sous lequel passent 95 % des demandes.

Pour comparer, chaque donnée doit porter la version du service. OpenTelemetry, le standard ouvert de collecte, prévoit un attribut pour cela. Si la nouveauté est ouverte progressivement grâce à un drapeau de fonctionnalité (un interrupteur qui l’active pour une partie des clients seulement), il faut aussi le nom de ce drapeau.

L’effort est faible si la version est déjà renseignée. Je recommande d’en faire une condition de toute mise en production.

« Combien coûte notre fonctionnalité d’IA par conversation ? »

Section intitulée « « Combien coûte notre fonctionnalité d’IA par conversation ? » »

Les fournisseurs de modèles d’IA facturent au jeton, l’unité de texte qu’ils comptent, un peu comme un taxi facture au kilomètre. L’indicateur est le nombre de jetons consommés par conversation, multiplié par le prix unitaire de votre contrat.

Les traces des appels au modèle peuvent porter ces jetons : les conventions d’OpenTelemetry pour l’IA générative prévoient les jetons en entrée et en sortie de chaque appel. Demandez un identifiant de conversation sur chaque appel et un attribut qui indique la fonctionnalité concernée, pour répartir le coût.

L’effort est raisonnable si l’application passe par une couche commune pour appeler les modèles. Sinon, il faut le prévoir dès la conception.

« Tenons-nous nos engagements envers nos clients ? »

Section intitulée « « Tenons-nous nos engagements envers nos clients ? » »

L’indicateur compare le niveau de service réellement constaté à la promesse et donne la marge qui reste. Il repose sur les mesures de réussite et de temps de réponse des parcours couverts par la promesse. Demandez un SLO par parcours important (la section suivante explique le terme), suivi dans un tableau de bord que vous pouvez ouvrir vous-même.

C’est à mon avis la question la plus structurante des cinq, parce qu’elle oblige à s’accorder sur la promesse. C’est l’objet de la section suivante.

Pour les équipes techniques : les attributs cités

Les noms d’attributs ci-dessous sont illustratifs. Choisissez les vôtres et écrivez-les dans une règle de nommage commune.

  • Segment de clientèle et identifiant client pseudonymisé : sur les traces et les logs, jamais en label de métrique.
  • Étape du parcours : par exemple parcours.etape sur les traces, reliée à l’émission des événements métier clés.
  • Version : l’attribut de ressource OpenTelemetry service.version sur chaque donnée, plus le nom du drapeau de fonctionnalité pour un déploiement progressif.
  • IA : les attributs d’usage des jetons (entrée et sortie) des conventions sémantiques GenAI, un identifiant de conversation et un attribut de fonctionnalité sur chaque appel au modèle.

Une promesse client ressemble à l’horaire affiché d’une ligne de train. La ponctualité mesurée chaque jour est le SLI (indicateur de niveau de service) : pour un site marchand, par exemple, la part des paiements réussis en moins de 2 secondes. Le SLO (objectif de niveau de service) est la cible interne que l’on se fixe sur cet indicateur. Le SLA (accord de niveau de service) est l’engagement contractuel, avec des pénalités s’il n’est pas tenu, comme le remboursement promis aux voyageurs en cas de retard. L’article SLO et alerting les détaille.

Je recommande de travailler la formulation avec l’équipe technique en quatre temps :

  1. Partir d’une phrase client. Par exemple, à titre illustratif : « Un client qui paie voit sa confirmation en moins de 2 secondes. »
  2. Demander ce qui est mesurable. L’équipe dit où elle peut mesurer et ce que la mesure ne voit pas.
  3. Regarder le niveau actuel avant de fixer la cible. Une cible choisie sans mesure est soit intenable, soit sans intérêt.
  4. Écrire la phrase finale. « 99,9 % des paiements aboutissent en moins de 2 secondes, sur 30 jours glissants » (exemple illustratif).

Viser 99,9 %, c’est accepter 0,1 % d’échecs. Cette part tolérée s’appelle le budget d’erreur. Sur 30 jours, elle représente environ 43 minutes de panne totale (valeur calculée : 0,1 % de 43 200 minutes).

Voyez-le comme l’enveloppe d’imprévus d’un budget de projet. Tant qu’il en reste, l’équipe peut livrer des nouveautés et prendre des risques. Quand elle est vide, la priorité passe à la fiabilité. Le Site Reliability Workbook de Google publie un exemple de politique de budget d’erreur, un document court qui écrit cette règle noir sur blanc. Je recommande que le responsable produit la signe avec l’équipe technique, avant le premier incident. Le simulateur de budget d’erreur aide à en parler sur un cas concret.

Votre place dans les incidents et les post-mortems

Section intitulée « Votre place dans les incidents et les post-mortems »

Pendant l’incident, attendez-vous à un point de contact unique et à des nouvelles régulières, même quand rien n’a avancé. Évitez de solliciter directement les personnes qui réparent : chaque appel les interrompt. Apportez plutôt ce qu’elles ne voient pas. Un client important est touché, une échéance commerciale approche, une communication doit être préparée.

Après l’incident vient le post-mortem, la réunion qui analyse ce qui s’est passé pour en tirer des actions, sans chercher de coupable. Le gabarit proposé dans le post-mortem sans blâme prévoit un impact métier établi avec le métier concerné. Votre présence n’est donc pas une politesse. Le chapitre de Google sur la culture du post-mortem précise aussi que toute partie prenante peut en demander un.

Je recommande de venir avec trois éléments : ce que les clients ont vécu, ce que l’incident a coûté selon vous et ce que vous auriez eu besoin de savoir plus tôt. Le dernier point devient souvent une action d’instrumentation. Dans le comité du lundi, c’est lui qui aurait fait ajouter le segment de clientèle sur les traces.

Les fonctionnalités d’IA : la qualité et le coût, pas seulement la disponibilité

Section intitulée « Les fonctionnalités d’IA : la qualité et le coût, pas seulement la disponibilité »

Un assistant d’IA peut répondre vite, sans la moindre erreur technique et pourtant répondre faux. Tous les voyants sont au vert alors que le client repart avec une mauvaise information. La disponibilité ne suffit donc pas. Le chapitre 1 du guide sur l’observabilité de l’IA ajoute deux signaux aux signaux classiques. Le premier est celui des évaluations, qui notent la qualité des réponses. Le second est celui des retours des utilisateurs.

Pour toute fonctionnalité d’IA, je recommande de suivre la qualité, c’est-à-dire la part de réponses jugées correctes, avec un objectif chiffré : un SLO de qualité. Suivez aussi le coût par usage, ramené à ce qui parle à votre métier (la conversation, le document traité ou le client). Regardez enfin la part de réponses que les utilisateurs signalent comme fausses ou inutiles.

Le simulateur de SLO de qualité montre comment fixer un objectif sur la qualité. Le chapitre 3 du guide aide à situer votre niveau actuel. Pour chiffrer ce que coûte une dégradation non détectée, voir la méthode GenAI, partie V et son calculateur d’exposition.

Ce tableau tient sur une page et peut servir de support de réunion. La dernière colonne vous dit comment vérifier, sans connaissance technique, que la réponse est en place.

QuestionCe qu’on demande à l’équipeSigne que c’est en place
Combien de clients un incident a-t-il touchés ?un segment ou un identifiant client pseudonymisé sur les tracesle chiffre est disponible le lendemain, sans requête manuelle
Où le parcours bloque-t-il ?un attribut d’étape et les événements métier clésun tableau de bord par étape, que vous ouvrez vous-même
La nouvelle version est-elle plus lente ?la version et le drapeau de fonctionnalité sur chaque donnéeune comparaison avant et après à chaque mise en production
Combien coûte l’IA par usage ?les jetons et un identifiant de conversation sur chaque appelun coût par conversation suivi chaque mois
L’IA répond-elle juste ?des évaluations et la collecte des retours utilisateursun SLO de qualité avec un budget d’erreur
Tenons-nous la promesse client ?un SLO par parcours importantun budget d’erreur visible et une politique signée
Qui décide quand le budget est épuisé ?une politique de budget d’erreur écriteun nom en face de chaque décision
Serai-je associé aux post-mortems ?une invitation systématique quand des clients sont touchésune section impact remplie avec vous

Si vous ne deviez faire qu’une chose cette semaine, je vous conseille de choisir la question qui vous a manqué lors du dernier incident et de la poser à votre équipe, avec ce tableau sous les yeux.