Logs avancés : index, Flex et archives

1. Ingérer n'est pas indexer #

Le levier principal de coût.

Cycle de vie #

2. Index et exclusion #

Plusieurs index, plusieurs rétentions.

Configuration #

• Un index audit à 30 jours pour la sécurité, un index app à 7 jours, un index debug à 3 jours.
• Les index sont évalués dans l'ordre : un log va dans le premier index dont le filtre correspond.
• Les filtres d'exclusion d'un index retirent tout ou partie (échantillonnage) des logs qui correspondent, par exemple 90 % des logs status:info des health checks.
• Les logs exclus restent visibles dans Live Tail, utilisables par Logs to Metrics et envoyés aux archives.

Bonne Pratique : Avant d'exclure, créez une métrique à partir des logs (Logs to Metrics) : vous gardez le comptage des erreurs sur 15 mois sans indexer les logs eux-mêmes.

3. Données sensibles #

Conformité.

Sensitive Data Scanner #

Le Sensitive Data Scanner détecte des motifs (cartes bancaires, e-mails, clés d'API, IBAN, numéros de sécurité sociale) dans les logs, traces et événements, et les masque, hache ou remplace à l'ingestion, avant indexation.

Erreur Courante : Le masquage côté Datadog intervient après l'envoi : pour les données qui ne doivent jamais quitter votre réseau, masquez dans l'agent (log_processing_rules de type mask_sequences).

logs:
  - type: file
    path: /var/log/app/app.log
    service: shop
    source: python
    log_processing_rules:
      - type: mask_sequences
        name: masquer_emails
        replace_placeholder: "[email]"
        pattern: '[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}'