Aller au contenu

TechniquePratique10 min de lecture

6. Le paysage des outils

Le paysage des outils d'observabilité de l'IA par catégorie, les critères pour choisir entre auto-hébergement et service géré et deux stacks de référence à adapter.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu le chapitre 4 du guide.

Scénario illustratif. L’équipe de la mutuelle a ses questions et sait ce qu’elle veut instrumenter. Reste à choisir les outils. Un éditeur propose une démonstration séduisante, une collègue suggère de tout installer soi-même et le responsable sécurité demande où seront stockés les prompts, qui contiennent des données d’adhérents. Trois conversations, trois critères différents.

Ce chapitre aide à trancher. Il est la référence du site pour le paysage des outils et pour les licences (section 6.4) ; les autres contenus y renvoient.

L’écosystème de l’observabilité de l’IA est dense et bouge vite. Le tableau ci-dessous classe des options répandues par catégorie et par mode d’hébergement, par ordre alphabétique. Deux modes coexistent. Les logiciels auto-hébergeables, vous les installez et les faites tourner sur vos propres machines ou votre nuage. Les services gérés (SaaS), l’éditeur les fait tourner pour vous. Figurer dans le tableau ne vaut pas recommandation : le choix dépend des contraintes propres à chaque déploiement.

CatégorieLogiciels auto-hébergeablesServices gérés (SaaS)
InstrumentationOpenInference (Arize), OpenLLMetry (Traceloop), SDK OpenTelemetry GenAISDK des éditeurs (Arize, Datadog, New Relic)
Backend de tracesGrafana Tempo, Jaeger, Langfuse, OpenObserve, Phoenix, SigNozArize AX, Datadog LLM Observability, Langfuse Cloud, New Relic AI Monitoring
Backend de métriquesGrafana Mimir, Prometheus, Thanos, VictoriaMetricsChronosphere, Datadog, Grafana Cloud, New Relic
Backend de journauxElasticsearch, Grafana Loki, OpenObserve, VictoriaLogsDatadog, Elastic Cloud, Grafana Cloud, Splunk
Cadre d’évaluationDeepEval, OpenAI Evals, Phoenix evals, promptfoo, RagasArize, Braintrust, Galileo, Patronus AI
Dérive et plongementsEvidently, NannyML, Phoenix, WhyLabsArize, Fiddler
VisualisationApache Superset, Grafana, Perses, interface PhoenixTableaux de bord Datadog, Grafana Cloud, New Relic
Gestion des promptsLangfuse, PhoenixLangfuse Cloud, PromptLayer, Vellum

6.1 Choisir entre auto-hébergement et service géré

Section intitulée « 6.1 Choisir entre auto-hébergement et service géré »

Le choix ressemble à celui entre acheter une maison et louer un appartement meublé. Dans le premier cas, vous maîtrisez tout mais vous faites l’entretien. Dans le second, vous emménagez vite mais vous acceptez les règles du propriétaire. Trois facteurs dominent la décision.

Les secteurs régulés (banque, défense, santé, secteur public) demandent souvent un déploiement sur site ou dans un nuage souverain. Ni NIS2 (la directive européenne sur la cybersécurité) ni DORA (le règlement européen sur la résilience numérique du secteur financier) n’imposent en eux-mêmes que le backend d’observabilité réside dans une juridiction donnée. Cette exigence peut en revanche venir d’une politique interne, d’un régulateur sectoriel ou d’un contrat.

DORA impose aux entités financières de gérer le risque lié aux prestataires tiers de services TIC (technologies de l’information et de la communication). Il leur impose aussi de tenir un registre d’information qui recense notamment les pays de stockage et de traitement des données (règlement d’exécution (UE) 2024/2956). Un backend d’observabilité qui stocke des prompts y figure comme les autres services. Quand une contrainte de localisation s’applique, le choix se réduit aux logiciels auto-hébergés ou aux éditeurs disposant de régions conformes ; les pistes d’audit doivent alors couvrir l’accès aux prompts stockés.

L’observabilité LLM commerciale se facture au span, au jeton ou à l’utilisateur. À un volume de production significatif, son coût peut rivaliser avec celui des appels LLM eux-mêmes.

Un ordre de grandeur aide à s’en rendre compte. 100 spans par requête à 1 000 requêtes par seconde en continu donnent 8,64 milliards de spans par jour, soit environ 3 150 milliards de spans par an, pour le seul traçage. Multipliez ce volume par le prix par span (ou par million de spans) de votre fournisseur. Les prix changent vite et varient selon les contrats, ce guide n’en donne donc pas : utilisez la grille datée de votre fournisseur.

L’auto-hébergement n’est pas gratuit pour autant. Il déplace le coût vers l’infrastructure et le temps d’exploitation, qu’il faut chiffrer avec la même rigueur.

La stack d’observabilité existante dicte souvent le choix pour l’IA. Un site qui exploite déjà Grafana, Prometheus et Tempo peut garder ses backends et ajouter une instrumentation GenAI ainsi qu’un outil d’exploration propre à l’IA (Phoenix, Langfuse ou équivalent). Un site déjà équipé de Datadog ou de New Relic peut activer le module LLM de son éditeur.

Chaque outil supplémentaire alourdit l’exploitation : un logiciel à maintenir, un modèle de données, des droits d’accès. Je recommande d’en ajouter un seulement quand il répond à une question que la stack en place ne sait pas traiter et de garder l’OpenTelemetry Collector comme point d’entrée commun.

Voici la stack que je recommande comme point de départ pour des déploiements européens soumis à des exigences de souveraineté. C’est une proposition à adapter : chaque couche se remplace et d’autres combinaisons répondent aux mêmes critères.

Architecture de référence d'une stack auto-hébergée souveraine, avec l'OpenTelemetry Collector comme point d'intégration

La figure, issue de la première version de ce guide, porte le titre « open source stack ». Phoenix, qui y figure, est pourtant sous licence source disponible (Elastic License 2.0), voir ci-dessus.

Figure 9. Architecture de référence d’une stack auto-hébergée. Chaque couche est remplaçable indépendamment. L’OpenTelemetry Collector est le point d’intégration : il découple l’instrumentation des backends.

Pour les métriques, la figure retient VictoriaMetrics. Il est à envisager si vos métriques d’IA ont une forte cardinalité et que vous voulez un binaire unique avec une longue rétention. L’éditeur annonce une meilleure tenue de la cardinalité que Prometheus ; mesurez-la sur votre charge. Alternatives : Prometheus avec un stockage distant, Thanos ou Grafana Mimir.

Pour les traces et l’évaluation propres à l’IA, Phoenix réunit dans un seul outil une interface de traces et d’évaluation, ce qui réduit le travail d’intégration. Sa licence est source disponible (ELv2), à faire valider. L’alternative open source est Langfuse (MIT pour le cœur).

Pour les traces généralistes, Tempo assure le traçage distribué des services hors IA. Il est utile quand la plateforme mêle services traditionnels et fonctionnalités d’IA. Alternatives : Jaeger, SigNoz.

Pour les journaux, VictoriaLogs est un binaire unique qui s’exploite comme VictoriaMetrics, avec son propre langage de requête (LogsQL), distinct de MetricsQL. Alternatives : Grafana Loki, OpenObserve, Elasticsearch.

Pour l’instrumentation, la figure retient OpenInference. C’est un arbitrage, pas une recommandation sans condition. OpenInference couvre de nombreux cadres LLM, exporte en OTLP et constitue la convention native de Phoenix. Mais il utilise ses propres attributs (openinference.span.kind, llm.*) et non les attributs gen_ai.* des conventions OpenTelemetry, que ce guide prend pour référence. Deux voies cohérentes existent. La première : OpenInference si Phoenix est votre outil d’exploration principal et que vous acceptez sa convention, en convertissant au besoin vers gen_ai.* avec le processeur transform du Collector pour les autres backends. La seconde : les instrumentations OpenTelemetry GenAI natives (ou OpenLLMetry), qui émettent gen_ai.*, si vous privilégiez une convention unique et portable entre outils, au prix de conventions encore en développement. Dans les deux cas, une seule convention doit alimenter les tableaux de bord et les alertes.

Pour l’évaluation RAG, Ragas est un cadre Python dédié aux métriques RAG. Comparez-le avec DeepEval ou Phoenix evals selon les métriques dont vous avez besoin.

Pour la visualisation, Grafana sert de couche opérationnelle. L’interface de l’outil de traces IA prend en charge l’exploration propre à l’IA.

Pour les organisations sans contrainte de localisation et déjà équipées d’un éditeur d’observabilité commercial, quatre configurations reviennent souvent.

Si vous êtes déjà chez un éditeur généraliste (Datadog, New Relic ou équivalent), activez son module d’observabilité LLM. Vous gardez une seule facture et une seule interface ; vérifiez la couverture des évaluateurs et le coût au volume.

Si la qualité et l’évaluation sont prioritaires, regardez une plateforme spécialisée comme Arize AX ou Braintrust, ou Langfuse Cloud. Comparez-les sur les évaluateurs fournis, la possibilité d’écrire les vôtres et l’export des données.

Si l’évaluation prime et que le traçage est secondaire, Galileo, Patronus AI ou Braintrust sont des candidats.

Si la gestion des prompts est le besoin central, regardez Langfuse Cloud, PromptLayer ou Vellum.

Cette section est la référence du site sur les licences ; les autres contenus y renvoient. « Open source » recouvre des régimes très différents. Est open source au sens de l’OSI (l’Open Source Initiative, qui tient la définition de référence) une licence qui autorise notamment tout usage, y compris commercial. Certaines licences dites « source disponible » laissent lire le code mais restreignent son usage : elles n’en font pas partie. La confusion se paie au moment de l’industrialisation. Les licences changent : vérifiez celle de la version que vous déployez.

BriqueRôleLicencePoint de vigilance
OpenTelemetry CollectorpasserelleApache-2.0aucun
JaegertracesApache-2.0aucun
PrometheusmétriquesApache-2.0aucun
VictoriaMetricsmétriquesApache-2.0 (édition communautaire, version cluster comprise)sous-échantillonnage (downsampling), rétentions multiples et détection d’anomalies réservés à l’édition entreprise
ClickHousestockage en colonnesApache-2.0aucun
OpenLIT, OpenLLMetryinstrumentationApache-2.0aucun
Ragas, DeepEvalévaluationApache-2.0coût des appels au juge
Grafana, Tempo, Lokivisualisation, traces, journauxAGPL-3.0obligations en cas de redistribution et aussi quand une version modifiée est mise à disposition d’utilisateurs par le réseau
Langfuseobservabilité LLMMIT pour le cœurcertaines fonctions sous licence commerciale ; racheté par ClickHouse le 16 janvier 2026
Arize Phoenixobservabilité LLMElastic License 2.0 (source disponible)pas open source au sens de l’OSI : interdit de proposer le logiciel comme service géré à des tiers
Elasticsearchjournauxcode source des fonctions gratuites au choix sous AGPL v3, SSPL ou ELv2distributions binaires officielles sous ELv2

Deux régimes posent problème en revue juridique.

La licence Elastic 2.0 interdit de proposer le produit comme service géré à des tiers. C’est sans effet pour un usage interne, mais bloquant pour un éditeur qui embarque la brique dans son offre.

L’AGPL de Grafana, Tempo et Loki n’est en général pas un obstacle pour un déploiement interne non modifié. Elle s’applique en revanche à la redistribution et à l’interaction par le réseau avec une version modifiée. Concrètement, modifier Grafana et l’ouvrir à des utilisateurs, même sans le distribuer, oblige à leur proposer le code source modifié. Signalez-le avant que quelqu’un ne construise un produit par-dessus.

Pour choisir la brique propre aux LLM, appliquez les mêmes trois critères à toutes les options : la licence (open source au sens de l’OSI ou source disponible), la possibilité d’auto-héberger et la capacité à recevoir de l’OTLP avec les conventions gen_ai.* sans SDK propriétaire. L’article de mise en production applique ces critères à sa propre stack.

Mon conseil pour démarrer : partez de ce que vous exploitez déjà, posez le Collector devant, puis ajoutez un seul outil propre à l’IA après avoir vérifié sa licence.

Suite : 7. Exploiter la plateforme.

Révisé le 2 octobre 2026 : prix retirés, retrait de Humanloop (fermé), rachats de Langfuse et de Traceloop, WhyLabs passé en open source, licences de Phoenix et d’Elasticsearch précisées, colonnes du tableau rendues neutres, exigences de localisation de NIS2 et DORA corrigées.

Révisé le 4 octobre 2026 : chapitre désigné comme référence du site pour les outils et les licences, section 6.4 sur les licences par brique (reprise de l’article de mise en production), choix d’OpenInference présenté comme un arbitrage avec les conventions gen_ai.*.

Révisé le 25 octobre 2026 : ouverture sur un scénario illustratif, modes d’hébergement et licences expliqués, critères de choix des composants et configurations gérées rédigés en prose.