Mesurer un agent IA en production

Un agent IA ne tombe pas en panne comme un serveur. Il continue de répondre, poliment et avec assurance, pendant que la qualité de ses réponses s'effrite. C'est ce qui le rend traître : rien ne clignote en rouge. La seule façon de savoir s'il fait encore son travail, c'est de le mesurer en continu, sur ce qui compte vraiment. Voici quoi regarder, et comment le mettre en place.

Pourquoi un agent qui marchait se met-il à dériver ?

Parce que rien autour de lui ne reste stable. Vos données bougent : un catalogue mis à jour, une procédure revue, un cas client inédit, et l'agent répond à côté sans s'en rendre compte. Les usages bougent aussi : on lui pose des questions qu'il n'a jamais vues, souvent plus tordues que prévu. Et le socle bouge sans prévenir : un modèle est mis à jour ou déprécié, une API renvoie un format un peu différent. Chacun de ces glissements est minuscule. Mis bout à bout, ils transforment un agent fiable en machine à erreurs plausibles, et comme il ne plante jamais, personne ne le voit venir avant un client.

Quelles métriques rassurent à tort ?

Les métriques techniques, celles qui s'affichent toutes seules sur un tableau de bord. Un agent peut être rapide, disponible, ne jamais tomber, et se tromper une fois sur deux. Elles mesurent la forme, jamais le fond. S'y fier, c'est confondre un agent en bonne santé avec un agent qu'on n'a pas encore pris en défaut.

• Le temps de réponse : utile pour le confort, muet sur la justesse.
• La disponibilité : l'agent tourne, ce qui ne dit rien de ce qu'il raconte.
• Le taux d'erreur technique : il compte les plantages, pas les réponses fausses livrées sans broncher.

Quelles métriques comptent vraiment ?

Celles qui parlent de la justesse et du comportement de l'agent, pas de sa plomberie. Quatre signaux suffisent à voir venir les vrais problèmes.

• La justesse des réponses, évaluée en continu sur un échantillon de cas réels. C'est la métrique reine, la seule qui dit si l'agent fait son travail.
• Le taux d'escalade vers un humain : trop bas, l'agent tranche des cas qu'il devrait passer ; trop haut, il ne sert plus à grand-chose. Sa dérive est un signal précoce.
• Le taux de réponses non étayées, ces cas où l'agent affirme sans que vos données ne le soutiennent. C'est la mesure directe de ce qui le fait halluciner.
• Le taux de tâches menées à terme sans reprise humaine, et le coût par tâche. Ensemble, ils disent si l'agent est vraiment rentable, pas juste occupé.

Comment mettre en place une évaluation continue ?

En arrêtant de le tester une fois pour toutes le jour de la mise en ligne. Évaluer un agent, ce n'est pas un examen de passage, c'est un capteur qu'on laisse branché. La mécanique tient en cinq pièces.

• Un jeu de cas de référence : quelques dizaines à quelques centaines d'exemples représentatifs, avec la réponse attendue. C'est l'étalon qui ne bouge pas quand tout le reste bouge.
• Un échantillon de la vraie production : on prélève en continu des interactions réelles, pas seulement les cas du labo.
• Une évaluation à trois niveaux : des règles automatiques pour ce qui est vérifiable, un modèle qui juge la qualité à grande échelle, et une revue humaine sur un petit échantillon pour garder l'ensemble honnête.
• Des seuils et des alertes : on décide à l'avance à partir de quand la qualité baisse trop, et le système prévient au lieu d'attendre la réclamation.
• Une boucle de correction : chaque erreur repérée nourrit le jeu de référence et le prochain correctif. Une évaluation qui ne déclenche rien ne sert à rien.

Pourquoi l'observabilité change tout ?

Parce que sans elle, vous voyez qu'un agent se trompe, jamais pourquoi. L'observabilité, c'est garder la trace de chaque étape : ce que l'agent a compris, les outils qu'il a appelés, les données qu'il a lues, la décision qu'il a prise. Quand une réponse dérape, vous remontez le fil au lieu de deviner. C'est la différence entre corriger en une heure et rouvrir tout le chantier. C'est aussi ce qui rend un agent auditable, une exigence qui devient la norme dès qu'il touche à des décisions qui comptent. J'en fais un pilier de la fiabilité d'un système en production.

Quand l'agent doit-il rendre la main à un humain ?

Dès qu'il n'est pas sûr, et toujours sur les actions sensibles. Un bon agent connaît ses limites : face à un cas ambigu, une donnée manquante ou une action irréversible, il escalade plutôt que de forcer. Ce n'est pas un aveu de faiblesse, c'est un garde-fou, et son taux d'escalade fait partie des chiffres qu'on surveille. Un agent qui n'escalade jamais n'est pas plus malin, il est seulement plus dangereux.

Un agent qu'on ne mesure pas n'est pas en production. Il est en pari.

Si vous avez un agent en production et que vous ne suivez que sa disponibilité, vous ne pilotez pas, vous espérez. Mettre en place l'évaluation continue, les garde-fous et l'observabilité, c'est précisément le travail quand je fais passer un système du POC à la production. Un premier échange suffit souvent à savoir par où commencer, sans engagement : parlons-en.