1. Ingérer n'est pas indexer #
Le levier principal de coût.
Cycle de vie #
| Étape | Ce que l'on paie | Levier |
|---|---|---|
| Ingestion | Volume ingéré | Filtrer à la source (agent) ce qui ne sert jamais |
| Indexation | Volume indexé × rétention | Filtres d'exclusion, index à rétention courte |
| Flex Logs | Stockage long à coût réduit | Données consultées rarement mais à garder |
| Archives | Stockage objet chez vous | Conserver tout, réhydrater en cas d'enquête |
2. Index et exclusion #
Plusieurs index, plusieurs rétentions.
Configuration #
- Un index
audità 30 jours pour la sécurité, un indexappà 7 jours, un indexdebugà 3 jours. - Les index sont évalués dans l'ordre : un log va dans le premier index dont le filtre correspond.
- Les filtres d'exclusion d'un index retirent tout ou partie (échantillonnage) des logs qui correspondent, par exemple 90 % des logs
status:infodes health checks. - Les logs exclus restent visibles dans Live Tail, utilisables par Logs to Metrics et envoyés aux archives.
Bonne Pratique : Avant d'exclure, créez une métrique à partir des logs (Logs to Metrics) : vous gardez le comptage des erreurs sur 15 mois sans indexer les logs eux-mêmes.
3. Données sensibles #
Conformité.
Sensitive Data Scanner #
Le Sensitive Data Scanner détecte des motifs (cartes bancaires, e-mails, clés d'API, IBAN, numéros de sécurité sociale) dans les logs, traces et événements, et les masque, hache ou remplace à l'ingestion, avant indexation.
Erreur Courante : Le masquage côté Datadog intervient après l'envoi : pour les données qui ne doivent jamais quitter votre réseau, masquez dans l'agent (log_processing_rulesde typemask_sequences).
logs:
- type: file
path: /var/log/app/app.log
service: shop
source: python
log_processing_rules:
- type: mask_sequences
name: masquer_emails
replace_placeholder: "[email]"
pattern: '[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}' 