DevOps et observabilité

Mesurer le volume de requêtes API et de rapports

Mesurez la demande d’API et de rapports par client, tenant, type de rapport, latence, concurrence, taille de réponse et coût par requête.

Par JaviPublié 9 min de lectureIntermédiaire

Cycle de vie d’une demande de rapport, de l’authentification jusqu’à la fin observée

Le volume de requêtes est la première question de presque toute discussion sur la capacité et les limites de débit, et la plus facile à mal traiter. Un chiffre comme « 40 000 requêtes par jour » masque qui les a envoyées, quand elles sont arrivées, ce que chacune a coûté et si elles ont servi à quelque chose. Bien mesurer le volume, c’est enregistrer chaque requête avec suffisamment de contexte d’identité et de coût pour expliquer le trafic, et pas seulement le compter.

Enregistrement minimal

Enregistrez une ligne par requête : request_id, correlation_id, tenant_id authentifié, client_id, identifiant de clé d’API, type de rapport, période demandée, heures d’arrivée et de fin, durée, réussite ou échec, taille de la réponse, lignes, concurrence à l’arrivée, résultat du cache et durée de la requête SQL. Déduisez le tenant et le client de l’identité authentifiée, jamais de valeurs que l’appelant fournit dans le corps de la requête. Ne journalisez jamais le secret d’une clé d’API ; l’identifiant suffit pour attribuer le trafic.

Écrivez cet enregistrement de manière asynchrone et bornée, afin qu’un stockage de télémétrie lent ne puisse ni ralentir ni faire échouer les demandes de rapports. Conservez les valeurs à forte cardinalité, comme request_id et le détail des filtres, dans le journal des requêtes plutôt que dans les étiquettes des métriques.

Débits et segments

Mesurez les requêtes par minute et par heure, puis segmentez-les par client, clé d’API, tenant, type de rapport et statut. Les débits par minute révèlent les rafales et les tempêtes de nouvelles tentatives ; les débits par heure montrent la forme quotidienne de la demande et les fenêtres où la capacité est réellement nécessaire. Gardez les deux, car une moyenne horaire peut sembler confortable alors que certaines minutes dépassent ce que la plateforme peut servir.

Suivez la concurrence active et l’âge de la file d’attente en parallèle du débit. Le même nombre de requêtes par minute se comporte très différemment selon qu’elles arrivent de façon régulière ou en rafale au début de chaque heure. Séparez les pages JSON interactives des gros exports CSV : leurs attentes de latence et leurs coûts sont très différents.

Gros consommateurs

Classez les consommateurs par nombre de requêtes et par coût mesuré, puis comparez les deux listes. Un client qui envoie de nombreuses petites requêtes servies depuis le cache peut être inoffensif ; un client qui envoie quelques exports en direct couvrant un mois entier peut accaparer le temps de requête. Examinez les types de rapports, les périodes, les formats, le taux de réussite du cache et le taux d’erreur de chaque gros consommateur avant de décider si son trafic pose problème.

Profils de trafic

Représentez le volume dans le temps pour chaque gros consommateur et pour l’ensemble de la plateforme. Quelques profils utiles à reconnaître :

  • Demande aux heures ouvrées : trafic interactif qui suit les horaires de travail et baisse la nuit.
  • Traitements planifiés : pics nets à heures fixes, souvent à l’heure pile, issus d’intégrations ou d’exports par lots.
  • Rafales et nouvelles tentatives : pics courts de requêtes en échec ou en dépassement de délai, suivis de répétitions immédiates.
  • Polling régulier : un débit plat et constant d’un même client à intervalles réguliers, quelle que soit l’heure.

Les pics planifiés et le polling sont souvent le trafic le plus facile à remodeler, car c’est l’appelant qui maîtrise le calendrier.

Trafic utile ou polling excessif

Une requête est utile lorsque l’appelant a besoin d’un résultat qu’il ne possède pas encore. Le trafic excessif pose sans cesse la même question et reçoit la même réponse. Pour le repérer, comparez les requêtes d’un même client, d’un même tenant et d’un même rapport avec des paramètres normalisés identiques, c’est-à-dire la clé canonique qu’utiliserait un cache de rapports. De nombreuses requêtes identiques pendant la fenêtre de fraîcheur du rapport, un taux de réussite du cache élevé pour un seul client ou des requêtes répétées pour un rapport encore en cours d’exécution signalent du polling ou des appels répétés, pas une nouvelle demande.

Répondez au profil plutôt qu’au seul volume. Les lectures identiques répétées peuvent être servies depuis le cache. Les clients qui interrogent périodiquement un traitement long peuvent passer à un modèle asynchrone : ils soumettent la demande une seule fois, puis consultent son statut. Les clients qui réessaient immédiatement après un échec ont besoin d’indications explicites de limitation, comme un délai avant nouvelle tentative (retry-after), plutôt que de dépassements de délai qui incitent à réessayer.

Coût des requêtes

Cent requêtes peu coûteuses servies depuis le cache peuvent coûter bien moins que cent rapports en direct couvrant un mois entier. Modélisez le coût à partir de la période, du poids du rapport, de la tranche de lignes attendue, du format, du temps de requête, des lectures ou des octets analysés, des octets en sortie et du résultat du cache. Versionnez et calibrez le modèle avec le temps de requête mesuré ; c’est une estimation opérationnelle, pas une base de facturation.

Décisions de capacité et de limites de débit

Utilisez les débits, la concurrence et les coûts mesurés pour fixer les limites de façon délibérée. Dimensionnez la capacité de pointe à partir des mesures par minute et de concurrence des fenêtres les plus chargées, pas du total quotidien. Appliquez des quotas et des limites de concurrence par tenant à partir de l’identité authentifiée, afin qu’un consommateur ne puisse pas épuiser la capacité des autres. Envisagez des limites par coût et pas seulement par nombre : un budget de requêtes qui traite de la même façon une page JSON en cache et un export CSV d’un an sera soit trop strict, soit trop permissif.

Orientez les traitements volumineux vers un modèle asynchrone lorsque c’est pertinent, renvoyez des réponses de limitation explicites accompagnées d’indications et révisez les limites à mesure que les profils de trafic évoluent. Mesurez de nouveau après chaque changement : un nouveau quota ou une nouvelle règle de cache doit se traduire par un taux plus faible de requêtes répétées ou par un coût plus faible par consommateur, pas seulement par moins de requêtes.

Compromis et modes de défaillance

Des journaux de requêtes détaillés facilitent le diagnostic, mais ajoutent des coûts de stockage, de confidentialité et de cardinalité ; gardez des métriques agrégées et réservez le détail par requête à des journaux dont la rétention est définie. Le cache réduit le travail répété, mais soulève des questions de fraîcheur : mesurez le taux de réussite du cache par rapport et par consommateur, pas seulement globalement.

Tenez compte des résultats partiels lors du comptage. Un rapport peut se terminer après la déconnexion de l’appelant, et une écriture en cache peut échouer après le renvoi d’un résultat valide. Comptez ces cas explicitement au lieu de les classer en réussite ou en échec, et n’enregistrez pas comme zéro une durée ou un nombre de lignes inconnus.

Questions de revue opérationnelle

Avant de vous fier aux chiffres, vérifiez qu’un intervenant peut répondre à ces questions à partir des éléments conservés : quel client et quel tenant ont envoyé le trafic, quels types de rapports et formats ont dominé, si le volume correspondait à une nouvelle demande ou à des requêtes identiques répétées, et si des échecs ont déclenché de nouvelles tentatives. Confirmez que les tableaux de bord distinguent les requêtes rejetées, en file d’attente, en cours, terminées, en échec et annulées. Si les éléments disponibles ne permettent pas de distinguer un client en croissance d’un processus de polling mal configuré, la mesure n’est pas encore prête à guider des décisions de capacité ou de limites de débit. Pour le contexte général, consultez Superviser une plateforme de données : que faut-il vraiment mesurer ? et Architecture d’un moteur de rapports : de la demande au résultat.

Étiquettes

  • API
  • Rapports
  • Supervision
  • Observabilité
  • Performance
  • Multi-locataire
  • Mise en cache