1. Dimensionner #
Partir du volume réel.
Estimer #
Disponible dans : ✓ Open source ✓ Managed ClickStack géré pour vous en ClickHouse Cloud
| Donnée | Exemple |
|---|---|
| Volume brut par jour | 500 Go |
| Taux de compression observé | × 12 |
| Volume stocké par jour | ≈ 42 Go |
| Rétention | 30 jours |
| Disque utile (× 2 répliques, + 30 % de marge) | ≈ 42 × 30 × 2 × 1,3 ≈ 3,3 To |
- Mesurez le taux de compression sur vos propres données (requête
system.parts) : il varie fortement selon la verbosité des logs. - Mémoire : comptez largement pour les requêtes d'agrégation et les fusions ; ClickHouse aime les disques rapides (NVMe) pour les données récentes.
- Le stockage objet (S3) pour les données de plus de quelques jours réduit fortement le coût, au prix de requêtes plus lentes sur l'historique.
2. Répliquer et répartir #
Haute disponibilité et capacité.
Les notions #
- Répliques : tables
ReplicatedMergeTreecopiées sur plusieurs serveurs ; une réplique en panne n'interrompt ni l'écriture ni la lecture. - ClickHouse Keeper (3 nœuds) coordonne la réplication ; il remplace ZooKeeper.
- Shards : les données sont réparties sur plusieurs groupes de serveurs quand un seul ne suffit plus ; une table
Distributedles présente comme une seule. - Pour démarrer : un shard, deux répliques, trois Keeper. N'ajoutez des shards que quand le volume l'exige.
3. Surveiller ClickHouse #
Les tables système.
Requêtes de surveillance #
-- Nombre de parts actives par table (trop de petites parts = insertions trop fréquentes)
SELECT table, count() AS parts, max(modification_time) AS derniere
FROM system.parts WHERE active GROUP BY table ORDER BY parts DESC LIMIT 10;
-- Fusions en cours
SELECT table, round(progress * 100) AS pct, formatReadableSize(total_size_bytes_compressed) AS taille
FROM system.merges;
-- Requêtes les plus lentes de la dernière heure (souvent des recherches sans filtre de temps)
SELECT query_duration_ms, read_rows, formatReadableSize(memory_usage) AS memoire, left(query, 120) AS requete
FROM system.query_log
WHERE type = 'QueryFinish' AND event_time > now() - INTERVAL 1 HOUR
ORDER BY query_duration_ms DESC LIMIT 10;
-- Espace disque
SELECT name, formatReadableSize(free_space) AS libre, formatReadableSize(total_space) AS total FROM system.disks;
-- Erreurs d'insertion (côté serveur)
SELECT name, value FROM system.errors ORDER BY value DESC LIMIT 10;| Symptôme | Cause fréquente | Remède |
|---|---|---|
| « Too many parts » | insertions trop petites et trop fréquentes | augmenter la taille des lots du collecteur, ou insertions asynchrones |
| Recherches lentes | pas de filtre de temps ou de service, attributs non indexés | filtres sur la clé de tri, index de saut, colonnes matérialisées |
| Disque qui se remplit | TTL absent ou trop long, fusions en retard | TTL, volume froid, plus de disque |
| Mémoire saturée | agrégations sur de longues périodes | profils de limites, vues matérialisées |
Bonne Pratique : ClickHouse expose aussi ses métriques au format Prometheus (section prometheus de la configuration) : envoyez-les dans ClickStack lui-même ou dans un Prometheus séparé, pour être prévenu même si ClickStack est en difficulté.4. Sécuriser, sauvegarder, mettre à jour #
Les tâches d'exploitation.
Comptes et sauvegarde #
-- Comptes séparés : écriture pour le collecteur, lecture pour l'interface et les analystes
CREATE USER otel_writer IDENTIFIED WITH sha256_password BY '…';
GRANT INSERT, SELECT, CREATE TABLE ON otel.* TO otel_writer;
CREATE USER hyperdx_reader IDENTIFIED WITH sha256_password BY '…';
GRANT SELECT ON otel.* TO hyperdx_reader;
-- Limiter les requêtes trop lourdes des lecteurs
CREATE SETTINGS PROFILE lecture SETTINGS max_execution_time = 60, max_memory_usage = 10000000000 TO hyperdx_reader;
-- Sauvegarde vers du stockage objet
BACKUP DATABASE otel TO S3('https://s3.exemple.fr/sauvegardes/otel/2026-11-17', '<clé>', '<secret>');- Sauvegardez aussi MongoDB (dashboards, alertes, comptes) et la configuration de l'interface et du collecteur.
- Testez une restauration (
RESTORE DATABASE … FROM S3(…)) sur un serveur de recette au moins une fois par trimestre. - Montez de version une réplique à la fois, après lecture des notes de version ; gardez la même version sur toutes les répliques.
Auto-hébergé ou ClickHouse Cloud ? #
Si l'équipe n'a pas d'expérience de ClickHouse, Managed ClickStack (ou ClickStack sur ClickHouse Cloud) évite le dimensionnement, la réplication, les sauvegardes et les montées de version. L'auto-hébergement se justifie par la maîtrise des données, des volumes très élevés à coût maîtrisé, ou une équipe déjà experte.
Commandes à connaître #
Commandes à connaître
SELECT … FROM system.parts: parts, taille, compressionSELECT … FROM system.merges: fusions en coursSELECT … FROM system.query_log: requêtes lentes ou en erreurBACKUP DATABASE otel TO S3(…): sauvegardeCREATE SETTINGS PROFILE … max_execution_time: limiter les requêtesclickhouse-keeper: coordination de la réplication
Sources #
Vérifié en novembre 2026 : ClickStack évolue vite (Managed ClickStack est en bêta), consultez la documentation de ClickHouse avant de vous appuyer sur un détail.
