New Relic propose une intégration pour collecter vos données de streaming gérées par Confluent Cloud pour Apache Kafka . Ce document explique comment activer cette intégration et décrit les données qui peuvent être signalées.
Prérequis
- Un compte New Relic
- Un compte Confluent Cloud actif
- Une clé API et un secret Confluent Cloud
MetricsVieweraccès sur le compte Confluent Cloud
Activer l'intégration
Pour activer cette intégration, accédez à Integrations & Agents, sélectionnez Confluent Cloud -> API Polling et suivez les instructions.
Important
Si vous avez configuré le filtrage IP, ajoutez les adresses IP suivantes à votre filtre.
162.247.240.0/22152.38.128.0/19Pour plus d'informations sur les plages IP New Relic pour l'intégration cloud, reportez-vous à ce document. Pour obtenir des instructions sur la manière d'effectuer cette tâche, reportez-vous à ce document.
configuration et sondage
Informations d'interrogation par défaut pour l'intégration Confluent Cloud Kafka :
- Intervalle d'interrogation de New Relic : 5 minutes
- Intervalle de données Confluent Cloud : 1 minute
Vous ne pouvez modifier la fréquence d'interrogation que lors de la configuration initiale.
Afficher et utiliser les données
Vous pouvez interroger et explorer vos données en utilisant le type d'événement suivant :
Entité | Type de données | Fournisseur |
|---|---|---|
Cluster |
|
|
connecteur |
|
|
ksql |
|
|
Pool de calcul (Flink) |
|
|
Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.
données métriques
Cette intégration enregistre les données Confluent cloud Kafka pour cluster, le connecteur et ksql.
Données Cluster
métrique | Unité | Description |
|---|---|---|
| Pour cent | Une mesure de l'utilisation du cluster. La valeur est comprise entre 0,0 et 1,0. Seul le cluster de niveau dédié possède ces données métriques. |
| Pour cent | Un indicateur de la présence d’une partition chaude causée par le débit d’entrée. La valeur est 1,0 lorsqu'une partition chaude est détectée et vide lorsqu'aucune partition chaude n'est détectée. |
| Pour cent | Un indicateur de la présence d'une partition chaude causée par le débit de sortie. La valeur est 1,0 lorsqu'une partition chaude est détectée et vide lorsqu'aucune partition chaude n'est détectée. |
| Octets | Le nombre delta d'octets de requête totaux provenant des types de requêtes spécifiés envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de réponse totaux provenant des types de réponse spécifiés envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de données des clients reçues du réseau. Chaque échantillon correspond au nombre d'octets reçus depuis l'échantillon de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de données des clients envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements reçus. Chaque échantillon correspond au nombre d'enregistrements reçus depuis l'échantillon de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements envoyés. Chaque échantillon correspond au nombre d'enregistrements envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre de partitions. |
| Millisecondes | Le décalage entre le décalage validé d'un membre du groupe et le niveau d'eau élevé de la partition. |
| Compter | Le nombre delta d'authentifications réussies. Chaque échantillon correspond au nombre d'authentifications réussies depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre de connexions authentifiées actives. |
Données du connecteur
métrique | Unité | Description |
|---|---|---|
| Compter | Le nombre delta du nombre total d'enregistrements envoyés à partir des transformations et écrits dans Kafka pour le connecteur source. Chaque échantillon correspond au nombre d'enregistrements envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Bit | L'état d'un connecteur dans le système. Sa valeur est toujours fixée à 1, signifiant la présence du connecteur. L'état opérationnel actuel du connecteur est identifié via la tag métrique.status. |
| Bit | L'état de la tâche d'un connecteur au sein du système. Sa valeur est toujours définie sur 1, signifiant la présence de la tâche du connecteur. L'état opérationnel actuel du connecteur est identifié via la tag métrique.status. |
| Compter | La taille moyenne du lot (mesurée par le nombre d'enregistrements) par minute. Pour un connecteur source, il indique la taille moyenne du lot envoyé à Kafka. Pour un connecteur de récepteur, il indique la taille moyenne du lot lu par la tâche de récepteur. |
| Compter | La taille maximale de lot (mesurée en nombre d'enregistrements) par minute. Pour un connecteur source, cela indique la taille maximale du lot envoyé à Kafka. Pour un connecteur sink, il indique la taille maximale du lot lue par la tâche sink. |
| Compter | Le nombre delta du nombre total d'enregistrements reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d’enregistrements reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta du nombre total d'enregistrements reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d’enregistrements reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets totaux reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d'octets reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements de file d'attente de lettres mortes écrits dans Kafka pour le connecteur de récepteur. Le comptage est échantillonné toutes les 60 secondes. |
données ksql
métrique | Unité | Description |
|---|---|---|
| Compter | Nombre d'unités de streaming confluentes (CSU) pour cette instance KSQL. Le comptage est échantillonné toutes les 60 secondes. L'agrégation temporelle implicite pour cette métrique est MAX. |
| Pour cent | La saturation maximale pour une requête ksqlDB donnée sur tous les nœuds. Renvoie une valeur comprise entre 0 et 1, une valeur proche de 1 indique que le traitement des requêtes ksqlDB est goulot d'étranglement sur les ressources disponibles. |
| Octets | La taille de l'état d'une tâche donnée est stockée en octets. |
| Pour cent | L'utilisation totale du stockage pour une application ksqlDB donnée. |
| Octets | Le nombre delta d'octets consommés par Kafka par requête continue sur la période demandée. |
| Octets | Le nombre delta d'octets produits vers Kafka par requête continue sur la période demandée. |
| Compter | Le nombre delta de décalages traités par une requête, une tâche, un sujet ou un décalage donné. |
| Millisecondes | Le décalage actuel entre le décalage validé et le décalage de fin pour une requête, une tâche, une rubrique ou un décalage donné. |
| Compter | Nombre delta du nombre d'erreurs de traitement d'enregistrement d'une requête sur la période demandée. |
| Compter | Nombre delta du nombre d'échecs qui provoquent le redémarrage d'une requête sur la période demandée. |
Données du pool de calcul (Flink)
métrique | Unité | Description |
|---|---|---|
| Compter | Le nombre maximum possible de CFU pour le pool. |
| Compter | Le nombre de CFU consommés depuis la dernière mesure. |
| Compter | Le nombre absolu de CFU à un moment donné. |
| Millisecondes | Le dernier watermark que cette instruction a reçu (en millisecondes) pour la table donnée. |
| Millisecondes | Le dernier watermark que cette instruction a produit (en millisecondes) pour la table donnée. |
| Compter | Le nombre de CFU consommés depuis la dernière mesure. |
| Compter | Le nombre absolu de CFU à un moment donné. |
| Millisecondes | Le retard maximum observé sur tous les enregistrements traités au cours de la dernière minute. Un enregistrement est considéré comme en retard s'il a un horodatage inférieur ou égal au filigrane actuel. |
| Compter | Nombre total d'enregistrements d'entrée classés comme événements tardifs. Ce sont des enregistrements dont l'horodatage est inférieur ou égal au watermark actuel. |
| Compter | Nombre total d'enregistrements que cette instruction a reçus. |
| Compter | Nombre total d'enregistrements que cette instruction a lus à partir des fichiers Tableflow. |
| Compter | Nombre total d'enregistrements que cette instruction a lus depuis les topics Kafka. |
| Compter | Nombre total d'enregistrements que cette instruction a émis. |
| Octets | La taille en octets de l'état de cet opérateur. |
| Compter | Nombre total d'enregistrements disponibles après l'offset du consommateur dans une partition Kafka sur tous les opérateurs. |
| Compter | Cette métrique monitore le statut d'une instruction au sein du système. Sa valeur est toujours définie sur 1, indiquant la présence de l'instruction. L'état opérationnel actuel de l'instruction est identifié par le tag metric.status :
|
| Compter | Le nombre de CFU consommés depuis la dernière mesure. |
| Compter | Le nombre absolu de CFU à un moment donné. |