RousselTMLEARNING

Observabilité

Exploiter ClickHouse pour ClickStack : dimensionnement, réplication, surveillance, sécurité et sauvegarde

Faire tourner ClickHouse en production pour l'observabilité : estimer le volume et le disque, répliquer avec ClickHouse Keeper, surveiller parts, fusions et requêtes lentes, sécuriser les comptes, sauvegarder, monter de version, et quand préférer ClickHouse Cloud.

1. Dimensionner #

Partir du volume réel.

Estimer #

Disponible dans : ✓ Open source ✓ Managed ClickStack géré pour vous en ClickHouse Cloud

DonnéeExemple
Volume brut par jour500 Go
Taux de compression observé× 12
Volume stocké par jour≈ 42 Go
Rétention30 jours
Disque utile (× 2 répliques, + 30 % de marge)≈ 42 × 30 × 2 × 1,3 ≈ 3,3 To
  • Mesurez le taux de compression sur vos propres données (requête system.parts) : il varie fortement selon la verbosité des logs.
  • Mémoire : comptez largement pour les requêtes d'agrégation et les fusions ; ClickHouse aime les disques rapides (NVMe) pour les données récentes.
  • Le stockage objet (S3) pour les données de plus de quelques jours réduit fortement le coût, au prix de requêtes plus lentes sur l'historique.

2. Répliquer et répartir #

Haute disponibilité et capacité.

Les notions #

  • Répliques : tables ReplicatedMergeTree copiées sur plusieurs serveurs ; une réplique en panne n'interrompt ni l'écriture ni la lecture.
  • ClickHouse Keeper (3 nœuds) coordonne la réplication ; il remplace ZooKeeper.
  • Shards : les données sont réparties sur plusieurs groupes de serveurs quand un seul ne suffit plus ; une table Distributed les présente comme une seule.
  • Pour démarrer : un shard, deux répliques, trois Keeper. N'ajoutez des shards que quand le volume l'exige.

3. Surveiller ClickHouse #

Les tables système.

Requêtes de surveillance #

-- Nombre de parts actives par table (trop de petites parts = insertions trop fréquentes)
SELECT table, count() AS parts, max(modification_time) AS derniere
FROM system.parts WHERE active GROUP BY table ORDER BY parts DESC LIMIT 10;

-- Fusions en cours
SELECT table, round(progress * 100) AS pct, formatReadableSize(total_size_bytes_compressed) AS taille
FROM system.merges;

-- Requêtes les plus lentes de la dernière heure (souvent des recherches sans filtre de temps)
SELECT query_duration_ms, read_rows, formatReadableSize(memory_usage) AS memoire, left(query, 120) AS requete
FROM system.query_log
WHERE type = 'QueryFinish' AND event_time > now() - INTERVAL 1 HOUR
ORDER BY query_duration_ms DESC LIMIT 10;

-- Espace disque
SELECT name, formatReadableSize(free_space) AS libre, formatReadableSize(total_space) AS total FROM system.disks;

-- Erreurs d'insertion (côté serveur)
SELECT name, value FROM system.errors ORDER BY value DESC LIMIT 10;
SymptômeCause fréquenteRemède
« Too many parts »insertions trop petites et trop fréquentesaugmenter la taille des lots du collecteur, ou insertions asynchrones
Recherches lentespas de filtre de temps ou de service, attributs non indexésfiltres sur la clé de tri, index de saut, colonnes matérialisées
Disque qui se remplitTTL absent ou trop long, fusions en retardTTL, volume froid, plus de disque
Mémoire saturéeagrégations sur de longues périodesprofils de limites, vues matérialisées
Bonne Pratique : ClickHouse expose aussi ses métriques au format Prometheus (section prometheus de la configuration) : envoyez-les dans ClickStack lui-même ou dans un Prometheus séparé, pour être prévenu même si ClickStack est en difficulté.

4. Sécuriser, sauvegarder, mettre à jour #

Les tâches d'exploitation.

Comptes et sauvegarde #

-- Comptes séparés : écriture pour le collecteur, lecture pour l'interface et les analystes
CREATE USER otel_writer IDENTIFIED WITH sha256_password BY '…';
GRANT INSERT, SELECT, CREATE TABLE ON otel.* TO otel_writer;

CREATE USER hyperdx_reader IDENTIFIED WITH sha256_password BY '…';
GRANT SELECT ON otel.* TO hyperdx_reader;

-- Limiter les requêtes trop lourdes des lecteurs
CREATE SETTINGS PROFILE lecture SETTINGS max_execution_time = 60, max_memory_usage = 10000000000 TO hyperdx_reader;

-- Sauvegarde vers du stockage objet
BACKUP DATABASE otel TO S3('https://s3.exemple.fr/sauvegardes/otel/2026-11-17', '<clé>', '<secret>');
  • Sauvegardez aussi MongoDB (dashboards, alertes, comptes) et la configuration de l'interface et du collecteur.
  • Testez une restauration (RESTORE DATABASE … FROM S3(…)) sur un serveur de recette au moins une fois par trimestre.
  • Montez de version une réplique à la fois, après lecture des notes de version ; gardez la même version sur toutes les répliques.

Auto-hébergé ou ClickHouse Cloud ? #

Si l'équipe n'a pas d'expérience de ClickHouse, Managed ClickStack (ou ClickStack sur ClickHouse Cloud) évite le dimensionnement, la réplication, les sauvegardes et les montées de version. L'auto-hébergement se justifie par la maîtrise des données, des volumes très élevés à coût maîtrisé, ou une équipe déjà experte.

Commandes à connaître #

Commandes à connaître
  • SELECT … FROM system.parts : parts, taille, compression
  • SELECT … FROM system.merges : fusions en cours
  • SELECT … FROM system.query_log : requêtes lentes ou en erreur
  • BACKUP DATABASE otel TO S3(…) : sauvegarde
  • CREATE SETTINGS PROFILE … max_execution_time : limiter les requêtes
  • clickhouse-keeper : coordination de la réplication

Sources #

Vérifié en novembre 2026 : ClickStack évolue vite (Managed ClickStack est en bêta), consultez la documentation de ClickHouse avant de vous appuyer sur un détail.

Articles liés

Le trilemme de l'observabilité : coût, exhaustivité et performance, et comment les solutions le résolvent

Comprendre le trilemme de l'observabilité (coût, exhaustivité des données, performance des requêtes), ses tro…

Installer et déployer ClickStack : tout-en-un, Docker Compose, Helm et Managed ClickStack

Déployer ClickStack selon le besoin : conteneur tout-en-un avec persistance, Docker Compose et ses variables,…

Envoyer la télémétrie à ClickStack : SDK OpenTelemetry, collecteurs, logs, Kubernetes et sessions navigateur

Alimenter ClickStack : clé d'ingestion, variables OpenTelemetry des SDK, relais par un collecteur existant, l…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !