Google Cloud observability: Monitoring, Logging, Trace, Profiler

1. Vue d'ensemble #

La suite Google Cloud Observability.

Les services de la suite #

Google Cloud Observability (anciennement Stackdriver puis opérations) regroupe Cloud Monitoring, Cloud Logging, Cloud Trace, Cloud Profiler et Error Reporting, ainsi que Google Cloud Managed Service for Prometheus, construit sur Monarch, la base de séries temporelles interne de Google. Les métriques de la plupart des services managés sont collectées automatiquement ; les journaux de la plateforme et les journaux d'audit arrivent dans Cloud Logging sans configuration.

Piliers pris en charge #

À savoir : Google Cloud est l'un des rares clouds à proposer nativement les quatre piliers, profils compris, avec Cloud Profiler et son faible surcoût en production.

2. Les composants en détail #

Rôle de chaque service.

Cloud Monitoring #

Cloud Monitoring stocke les métriques système et personnalisées, propose l'explorateur de métriques, des tableaux de bord, des tests de disponibilité (uptime checks) et des moniteurs synthétiques, des règles d'alerte (MQL historique, PromQL désormais recommandé) et la supervision des SLO avec budget d'erreur et alertes de taux de consommation. Les scoping projects (périmètres de métriques) regroupent les métriques de plusieurs projets.

gcloud monitoring uptime create api-boutique \
  --resource-type=uptime-url --resource-labels=host=api.exemple.fr,project_id=boutique-prod \
  --path=/healthz --period=1

Cloud Logging #

Tous les journaux passent par le routeur de journaux : des récepteurs (sinks) les envoient vers des buckets de journaux (rétention configurable), BigQuery, Cloud Storage ou Pub/Sub ; des filtres d'exclusion évitent d'ingérer l'inutile. Log Analytics permet d'interroger les buckets mis à niveau en SQL, avec des jeux de données BigQuery liés. Les métriques basées sur les journaux transforment des motifs en métriques d'alerte.

gcloud logging sinks create vers-bigquery \
  bigquery.googleapis.com/projects/boutique-prod/datasets/journaux \
  --log-filter='resource.type="cloud_run_revision" AND severity>=WARNING' --use-partitioned-tables

Cloud Trace, Cloud Profiler et Error Reporting #

Cloud Trace stocke et analyse les spans (latence, carte des appels, rapports). Cloud Profiler collecte en continu des profils CPU et mémoire avec un surcoût très faible et compare les versions. Error Reporting regroupe automatiquement les exceptions détectées dans les journaux et notifie les nouvelles erreurs.

Ops Agent et collecte sur Kubernetes #

Sur Compute Engine, l'Ops Agent (fondé sur Fluent Bit pour les journaux et le collecteur OpenTelemetry pour les métriques) collecte métriques système et journaux, avec des intégrations tierces (NGINX, PostgreSQL…). Sur GKE, la collecte des journaux et des métriques système est intégrée, et Managed Prometheus collecte les métriques applicatives avec des ressources PodMonitoring.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata: { name: api, namespace: boutique }
spec:
  selector: { matchLabels: { app: api } }
  endpoints:
  - port: metrics
    interval: 30s

3. Fiche détaillée de chaque composant #

Rôle, contenu, types de données, rétention et interactions internes et externes de chaque brique du schéma.

Vue récapitulative #

Le tableau suivant résume chaque composant du schéma d'architecture ; les fiches qui suivent les détaillent une par une.

Valeurs indicatives : Les durées de rétention, limites et modèles de prix évoluent régulièrement : vérifiez-les dans la documentation officielle avant de dimensionner une architecture.

Collecteur OpenTelemetry construit par Google #

La distribution du collecteur OpenTelemetry publiée et prise en charge par Google.

Ops Agent #

L'agent de Compute Engine qui combine Fluent Bit (journaux) et le collecteur OpenTelemetry (métriques).

Cloud Monitoring #

Le service de métriques, de tableaux de bord, de tests de disponibilité et de SLO de Google Cloud, adossé à Monarch.

Google Cloud Managed Service for Prometheus #

Un Prometheus managé et mondial, stocké dans Monarch.

Cloud Logging #

Le service de journaux de Google Cloud, organisé autour du routeur de journaux.

Cloud Trace #

Le service de traces distribuées de Google Cloud.

Cloud Profiler #

Le profilage continu en production de Google Cloud.

Error Reporting #

Le regroupement automatique des exceptions applicatives.

Alertes et canaux de notification #

Le moteur d'alerte de Cloud Monitoring.

API de requête (Monitoring, Prometheus, Logging, Trace) #

Les API qui exposent toutes les données d'observabilité de Google Cloud en lecture.

Récepteurs de journaux (Pub/Sub, BigQuery, Cloud Storage) #

Les sorties du routeur de journaux, au niveau projet, dossier ou organisation.

4. Compatibilité OpenTelemetry #

Collecteur Google, API Telemetry et exportateurs.

Envoyer de la télémétrie OpenTelemetry vers Google Cloud #

Google publie un collecteur OpenTelemetry construit par Google (Google-Built OpenTelemetry Collector) et les exportateurs googlecloud (traces, métriques, journaux) et googlemanagedprometheus de la distribution contrib. L'API Telemetry (telemetry.googleapis.com) accepte directement l'OTLP pour les traces : un collecteur standard peut l'utiliser avec l'authentification Google.

receivers:
  otlp: { protocols: { grpc: {}, http: {} } }
processors:
  batch: {}
  resourcedetection: { detectors: [gcp] }
exporters:
  googlecloud: {}                 # traces et journaux vers Cloud Trace et Cloud Logging
  googlemanagedprometheus: {}     # métriques vers Managed Service for Prometheus
service:
  pipelines:
    traces:  { receivers: [otlp], processors: [resourcedetection, batch], exporters: [googlecloud] }
    metrics: { receivers: [otlp], processors: [resourcedetection, batch], exporters: [googlemanagedprometheus] }
    logs:    { receivers: [otlp], processors: [resourcedetection, batch], exporters: [googlecloud] }

Bonne Pratique : Préférez googlemanagedprometheus à googlecloud pour les métriques : elles sont interrogeables en PromQL et facturées au nombre d'échantillons.

5. Interconnexions avec les produits externes #

Partager les données.

Exporter et intégrer #

À savoir : Managed Prometheus expose une API compatible Prometheus : Grafana ou tout outil compatible PromQL peut l'interroger directement.

6. Coûts et bonnes pratiques #

Contrôler l'ingestion.

Bonnes pratiques #

• Utiliser des filtres d'exclusion et une rétention adaptée par bucket de journaux.
• Centraliser les journaux d'une organisation avec des récepteurs agrégés au niveau du dossier ou de l'organisation.
• Définir des SLO dans Cloud Monitoring et alerter sur le taux de consommation du budget d'erreur.
• Activer Cloud Profiler en production : son surcoût est faible et il révèle les régressions de performance.
• Instrumenter avec OpenTelemetry et le collecteur Google pour garder la portabilité.
• Surveiller la cardinalité des métriques personnalisées et Prometheus.

Point d'attention : Les journaux d'accès aux données (Data Access) des journaux d'audit sont désactivés par défaut et peuvent être très volumineux : activez-les seulement pour les services nécessaires.