1. OpenPipeline #
Traiter avant de stocker.
Parcours #
OpenPipeline est la couche de traitement de la nouvelle plateforme : les données (logs, événements, spans, métriques selon les versions) y sont routées, transformées et enrichies avant leur stockage dans Grail. Ce qui n'est pas stocké n'est ni facturé en rétention ni exposé.
2. Traitement #
Parser, enrichir, masquer.
Processeurs #
// Extraire les champs d'un log d'accès (processeur DQL)
parse content, "IPADDR:client.ip ' - - [' HTTPDATE:ts '] \"' LD:http.method ' ' LD:http.path ' ' LD '\" ' INT:http.status ' ' INT:bytes"
| fieldsAdd log.type = "nginx-access"
// Masquer une adresse e-mail
| fieldsAdd content = replacePattern(content, "LD '@' LD '.' ALPHA{2,}", "[email]")| Étape | Exemples |
|---|---|
| Routage | Les logs k8s.namespace.name == "payment" vers le pipeline « paiement » |
| Traitement | Parsing (DPL), ajout de champs, suppression de champs inutiles, normalisation de la sévérité |
| Masquage | Cartes bancaires, e-mails, jetons : remplacés avant stockage |
| Extraction | Métrique « nombre d'erreurs 5xx par service » ; événement Davis sur un motif critique |
| Stockage | Bucket logs_payment_365d pour l'audit, bucket par défaut pour le reste |
Erreur Courante : Le masquage dans OpenPipeline intervient après l'envoi : pour qu'une donnée ne quitte jamais l'hôte, configurez aussi le masquage à la capture dans OneAgent (règles de masquage des logs).
3. Buckets et rétention #
Payer la bonne durée.
Règles #
- Un bucket Grail a une durée de rétention ; les logs d'audit peuvent être gardés un an, les logs de débogage quelques jours.
- Les permissions peuvent porter sur les buckets : les logs de sécurité ne sont visibles que de l'équipe sécurité.
- Extraire une métrique d'un log et ne garder le log qu'une courte durée réduit fortement les coûts pour les tableaux de bord de long terme.
Bonne Pratique : Mesurez le volume par source (fetch logs | summarize count(), by: {log.source}) avant de décider des pipelines : quelques sources représentent souvent l'essentiel du volume.À savoir : Dynatrace évolue très vite (nouvelle plateforme, Grail, applications) : vérifiez les noms d'écrans et les versions d'API dans la documentation de votre environnement.
