Le monitoring de Kafka offre une visibilité en temps réel sur vos clusters Apache Kafka pour garantir un streaming de données fiable et éviter des temps d'arrêt coûteux dans les systèmes distribués. En utilisant une approche basée sur des collecteurs, vous bénéficiez d'un monitoring complet grâce à une solution flexible et neutre vis-à-vis des fournisseurs, qui fonctionne dans les environnements auto-hébergés et Kubernetes avec Strimzi.
Options du collecteur
New Relic prend en charge deux distributions OpenTelemetry Collector pour le monitoring de Kafka, offrant toutes deux des fonctionnalités identiques avec les mêmes fichiers de configuration et capacités de monitoring.
- NRDOT Collector (recommandé) : distribution New Relic de l'OpenTelemetry Collector avec le support New Relic pour l'assistance. Pour plus d'informations, consultez le dépôt GitHub NRDOT Collector.
- OpenTelemetry Collector: la distribution communautaire en amont. Pour plus d'informations, consultez le dépôt GitHub OpenTelemetry Collector Contrib.
Choisissez le collecteur le mieux adapté à vos besoins opérationnels et de support, puis configurez le monitoring pour votre environnement.
Monitorez vos clusters Kafka avec des dashboards complets affichant l'état du cluster, l'état du broker, les métriques des sujets et les performances du groupe de consommateurs.
Pourquoi le monitoring de Kafka ?
- Prévenez les pannes - Recevez des alertes en cas de défaillances de broker, de partitions sous-répliquées et de sujets hors ligne avant qu'elles ne provoquent des temps d'arrêt.
- Optimiser les performances - Identifier le retard des consommateurs, les producteurs lents et les goulots d'étranglement du réseau qui affectent la vitesse de traitement des données
- Planifier la capacité - Suivre l'utilisation des ressources, les débits de messages et le nombre de connexions pour évoluer de manière proactive
- Assurez l'intégrité des données - Monitorez l'état de la réplication et l'équilibre des partitions pour éviter la perte de données
Cas d'utilisation courant
Que vous diffusiez des transactions financières, traitiez des données de capteurs IoT ou gériez la communication des microservices, le monitoring Kafka vous aide à détecter les problèmes avant qu'ils n'aient un impact sur votre entreprise. Soyez alerté lorsque les pics de retard des consommateurs menacent les dashboards en temps réel, lorsque les pannes de broker risquent de provoquer une perte de données ou lorsque les goulots d'étranglement du réseau ralentissent les pipelines de données critiques. Ce monitoring est essentiel pour les plateformes de commerce électronique, les systèmes d'analyse en temps réel et toute application où les retards ou les pannes de livraison de messages peuvent affecter l'expérience utilisateur ou les opérations commerciales.
Démarrer
Choisissez votre environnement Kafka pour commencer le monitoring. Chaque guide d'installation comprend des prérequis, des étapes de configuration et des conseils de dépannage.
Comment ça marche
Le monitoring de Kafka fonctionne en déployant un collecteur aux côtés de votre cluster Kafka pour collecter en continu des données de performance. Le collecteur utilise plusieurs composants spécialisés pour capturer des métriques complètes provenant de différentes parties de votre infrastructure Kafka.
Collecte de données :
Récepteur de métriques Kafka: se connecte au port bootstrap de Kafka pour la santé du cluster, le lag du consommateur, les métriques des topics et le statut des partitions
Collecte de métriques JMX (performances du broker, données JVM et informations opérationnelles) :
- Kafka auto-hébergé: L' agent Java OpenTelemetry avec une configuration JMX personnalisée s'exécute en tant qu'agent Java attaché aux brokers Kafka, envoyant des métriques via OTLP au récepteur OTLPdu collecteur
- Kubernetes (Strimzi): Prometheus JMX Exporter avec une configuration personnalisée New Relic expose des métriques sur le port 9404, collectées par le récepteur Prometheusdu collecteur
Ce que vous obtenez : Les métriques clés incluent le lag du consommateur, la santé du broker, les taux de requêtes, le débit réseau, le statut de réplication des partitions, l'utilisation des ressources et les données de performance de la JVM.
Pour les noms de métriques complets, les descriptions et les recommandations d'alerte, consultez Référence des métriques Kafka.
Facultatif : Ajouter un monitoring au niveau de l'application
La configuration du monitoring ci-dessus suit l'état et les performances de votre cluster Kafka. Pour avoir une vue d'ensemble de la façon dont les données circulent dans votre système, vous pouvez également monitorer les applications qui envoient et reçoivent des messages de Kafka.
Le monitoring des applications ajoute :
- Latences des requêtes de vos applications vers Kafka
- Métriques de débit au niveau de l'application
- Taux d'erreur et traces distribuées
- Visibilité complète des producteurs → brokers → consommateurs
Configuration rapide : Utilisez l'OpenTelemetry Java Agent pour l'instrumentation Kafka sans code. Pour une configuration avancée, consultez la documentation d'instrumentation Kafka.
Prochaines étapes
Prêt à commencer à monitorer vos clusters Kafka ?
Configurer le monitoring :
- Kafka auto-hébergé - Monitorez Kafka s'exécutant sur des machines physiques ou virtuelles
- Kubernetes avec Strimzi - Monitorer Kafka déployé sur Kubernetes
Après la configuration :
- Trouver et interroger vos données - Naviguer dans l'interface New Relic et écrire des requêtes NRQL
- Explorer les métriques Kafka - Référence complète des métriques avec recommandations d'alerte