| Qualité de réponse / sortie | Utiliser des exemples validés par le métier et distinguer sorties correctes, fausses, sans preuve et à refuser. | Atteindre le seuil SOW de chaque métrique en publiant taille de l’échantillon et limites connues. |
|---|
| Réalisation de tâche | Tester le workflow de bout en bout et vérifier tickets, enregistrements, validations ou notifications. | La tâche et l’état attendu sont corrects pour chaque fixture convenue. |
|---|
| Latence | Mesurer p50/p95 sur les chemins critiques sous un profil de charge nommé, pas sur une requête unique. | Rester dans les cibles par chemin et documenter le comportement de timeout. |
|---|
| Économie unitaire | Convertir modèle/API et coûts variables en THB par tâche réussie et modéliser le volume prévu. | Le coût par tâche réussie reste sous le plafond approuvé avec alertes budget/usage. |
|---|
| Chemins d’échec | Simuler mauvaise entrée, donnée absente, rate limit, timeout, panne outil/API et retrieval sans preuve. | Échouer sans danger, éviter les actions doubles/fausses et transmettre à un humain ou réessayer selon la politique. |
|---|
| Contrôle humain | Mesurer les travaux nécessitant revue, correction, rejet ou escalade par niveau de risque. | Taux de revue et erreur après revue respectent les seuils, avec un responsable de file identifié. |
|---|
| Rollback | Revenir sur modèle/prompt/config/release ou désactiver l’automatisation et reprendre le chemin manuel. | Le runbook fonctionne, les données importantes sont préservées et l’autorité de rollback est consignée. |
|---|