O New Relic oferece uma integração para coletar seus dados de streaming gerenciados pelo Confluent Cloud para Apache Kafka . Este documento explica como ativar essa integração e descreve os dados que podem ser relatados.
Pré-requisitos
- Uma conta New Relic
- Uma conta ativa do Confluent Cloud
- Uma chave de API e segredo da Confluent Cloud
MetricsVieweracesso na conta Confluent Cloud
Ativar integração
Para habilitar esta integração, vá para Integrations & Agents, selecione Confluent Cloud -> API Polling e siga as instruções.
Importante
Se você tiver a filtragem de IP configurada, adicione os seguintes endereços IP ao seu filtro.
162.247.240.0/22152.38.128.0/19Para obter mais informações sobre as faixas IP New Relic para integração na nuvem, consulte este documento. Para obter instruções sobre como executar esta tarefa, consulte este documento.
Configuração e polling
Informações de pesquisa padrão para a integração do Confluent Cloud Kafka:
- Intervalo de sondagem New Relic : 5 minutos
- Intervalo de dados da Confluent Cloud: 1 minuto
Você pode alterar a frequência de pesquisa somente durante a configuração inicial.
Visualizar e usar dados
Você pode consultar e explorar seus dados usando o seguinte tipo de evento:
Entidade | Tipo de dados | Fornecedor |
|---|---|---|
Cluster |
|
|
Conector |
|
|
ksql |
|
|
Pool de computação (Flink) |
|
|
Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.
Dados métricos
Esta integração registra dados do Confluent cloud Kafka para cluster, conector e ksql.
Dados de cluster
Métrica | Unidade | Descrição |
|---|---|---|
| Por cento | Uma medida da utilização do cluster. O valor está entre 0,0 e 1,0. Apenas o cluster de nível dedicado possui esses dados métricos. |
| Por cento | Um indicador da presença de uma partição quente causada por taxas de transferência de ingresso. O valor é 1,0 quando uma partição ativa é detectada e vazio quando nenhuma partição ativa é detectada. |
| Por cento | Um indicador da presença de uma partição quente causada por taxas de transferência de egresso. O valor é 1,0 quando uma partição ativa é detectada e vazio quando nenhuma partição ativa é detectada. |
| Bytes | A contagem delta do total de bytes de solicitação dos tipos de solicitação especificados enviados pela rede. Cada amostra é o número de bytes enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bytes | A contagem delta do total de bytes de resposta dos tipos de resposta especificados enviados pela rede. Cada amostra é o número de bytes enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bytes | A contagem delta de bytes dos dados dos clientes recebidos da rede. Cada amostra é o número de bytes recebidos desde a amostra de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bytes | A contagem delta de bytes dos dados dos clientes enviados pela rede. Cada amostra é o número de bytes enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Contar | A contagem delta de registros recebidos. Cada amostra é o número de registros recebidos desde a amostra de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Contar | A contagem delta de registros enviados. Cada amostra é o número de registros enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Contar | O número de partições. |
| Milissegundos | O atraso entre o deslocamento confirmado de um membro do grupo e o limite máximo da partição. |
| Contar | A contagem delta de autenticações bem-sucedidas. Cada amostra é o número de autenticações bem-sucedidas desde o ponto de dados anterior. A contagem amostrada a cada 60 segundos. |
| Contar | A contagem de conexões autenticadas ativas. |
Dados do conector
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | A contagem delta do número total de registros enviados das transformações e gravados no Kafka para o conector de origem. Cada amostra é o número de registros enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bit | O status de um conector dentro do sistema. Seu valor é sempre definido como 1, significando a presença do conector. O estado operacional atual do conector é identificado por meio da tag métrica.status. |
| Bit | O status da tarefa de um conector dentro do sistema. Seu valor é sempre definido como 1, significando a presença da tarefa do conector. O estado operacional atual do conector é identificado por meio da tag métrica.status. |
| Contar | O tamanho médio do lote (medido pela contagem de registros) por minuto. Para um conector de origem, indica o tamanho médio do lote enviado ao Kafka. Para um conector de coletor, indica o tamanho médio do lote lido pela tarefa de coletor. |
| Contar | O tamanho máximo do lote (medido pela contagem de registros) por minuto. Para um conector de origem, ele indica o tamanho máximo do lote enviado ao Kafka. Para um conector sink, indica o tamanho máximo do lote lido pela tarefa sink. |
| Contar | A contagem delta do número total de registros recebidos pelo conector do coletor. Cada amostra é o número de registros recebidos desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bytes | A contagem delta do número total de registros recebidos pelo conector do coletor. Cada amostra é o número de registros recebidos desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Bytes | A contagem delta do total de bytes recebidos pelo conector do coletor. Cada amostra é o número de bytes recebidos desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos. |
| Contar | A contagem delta de registros de fila de letras mortas gravados no Kafka para o conector de recebimento. A contagem é amostrada a cada 60 segundos. |
dados ksql
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | A contagem de Unidades de Streaming Confluentes (CSUs) para esta instância do KSQL. A contagem é amostrada a cada 60 segundos. A agregação de tempo implícita para esta métrica é MAX. |
| Por cento | A saturação máxima para uma determinada consulta ksqlDB em todos os nós. Retorna um valor entre 0 e 1, um valor próximo de 1 indica que o processamento da consulta do ksqlDB está com gargalo nos recursos disponíveis. |
| Bytes | O tamanho dos armazenamentos de estado de uma determinada tarefa em bytes. |
| Por cento | A utilização total de armazenamento para um determinado aplicativo ksqlDB. |
| Bytes | A contagem delta de bytes consumidos do Kafka pela consulta contínua durante o período solicitado. |
| Bytes | A contagem delta de bytes produzidos no Kafka pela consulta contínua durante o período solicitado. |
| Contar | A contagem delta de deslocamentos processados por uma determinada consulta, tarefa ou tópico, ou deslocamento. |
| Milissegundos | O atraso atual entre o deslocamento confirmado e o deslocamento final para uma determinada consulta, tarefa ou tópico, ou deslocamento. |
| Contar | Contagem delta do número de erros de processamento de registros de uma consulta durante o período solicitado. |
| Contar | Contagem delta do número de falhas que fazem com que uma consulta seja reiniciada durante o período solicitado. |
Dados do pool de computação (Flink)
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | O número máximo possível de CFUs para o pool. |
| Contar | O número de CFUs consumidas desde a última medição. |
| Contar | O número absoluto de CFUs em um determinado momento. |
| Milissegundos | A última marca d'água que esta instrução recebeu (em milissegundos) para a tabela fornecida. |
| Milissegundos | A última marca d'água que esta instrução produziu (em milissegundos) para a tabela fornecida. |
| Contar | O número de CFUs consumidos desde a última medição. |
| Contar | O número absoluto de CFUs em um determinado momento. |
| Milissegundos | O atraso máximo observado em todos os registros processados no último minuto. Um registro é considerado atrasado se tiver um timestamp menor ou igual à marca d'água atual. |
| Contar | Número total de registros de entrada classificados como eventos atrasados. Estes são registros cujo timestamp é menor ou igual à marca d'água atual. |
| Contar | Número total de registros que esta instrução recebeu. |
| Contar | Número total de registros que esta instrução leu dos arquivos do Tableflow. |
| Contar | Número total de registros que esta instrução leu de tópicos do Kafka. |
| Contar | Número total de registros que esta instrução emitiu. |
| Bytes | O tamanho em bytes deste estado do operador. |
| Contar | Quantidade total de registros disponíveis após o offset do consumidor em uma partição do Kafka em todos os operadores. |
| Contar | Esta métrica monitora o status de uma instrução dentro do sistema. Seu valor é sempre definido como 1, indicando a presença da instrução. O estado operacional atual da instrução é identificado por meio da tag metric.status:
|
| Contar | O número de CFUs consumidos desde a última medição. |
| Contar | O número absoluto de CFUs em um determinado momento. |