Nesta seção, você explorará a arquitetura do pipeline de ingestão, que representa visualmente como seus dados de telemetria fluem pelo sistema. Você verá como o uso de regras de gateway e cloud pode impactar o volume de dados e otimizar sua estratégia de gerenciamento de dados.
Componentes do seu pipeline de ingestão
Fontes do MELT:
- métrica, evento, logs e rastreamento (MELT): esses são os principais tipos de dados de observabilidade que você coleta de várias fontes. Eles formam o ponto de partida do seu pipeline de ingestão.
Linhas de fluxo de dados:
- Linhas emanam de cada fonte MELT, representando os dados sendo enviados ao NRDB. Cada linha é anotada com um volume de dados, medido em milhões (M), indicando a quantidade de volume de dados em trânsito.
Porta de entrada:
- Posicionado entre as fontes MELT e as regras cloud , o gateway atua como um filtro, aplicando as regras definidas pelo usuário para descartar dados de baixo valor antes que eles saiam da rede. Isso reduz o volume de dados enviados ao NRDB, otimizando os custos de armazenamento e saída.
Regras da nuvem:
- As regras da nuvem são aplicadas dentro do New Relic Cloud, filtrando ainda mais os dados antes que eles cheguem ao NRDB. O diagrama indica o número de regras operacionais cloud .
Banco Nacional de Desenvolvimento Econômico e Social (NRDB):
- O New Relic banco de dados (NRDB) é o destino final dos dados processados. Ele armazena os dados de telemetria refinados, prontos para sua análise e visualização.
Representação visual
A visualização do pipeline de ingestão é organizada em três seções principais que mostram seu fluxo de trabalho de processamento de dados:
Fontes:
- Displays the four telemetry types (Metrics, Event, Logs, Traces) that agents and collectors send to New Relic. Each source shows the data volume flowing through the pipeline. This represents the entry points for your observability data.
Porta de entrada:
- Mostra os cartões de configuração do processador que transformam e filtram seus dados. Cada processador (Regra de Amostragem, Filtro, Transformação) exibe seu status atual de configuração e regras. Você pode visualizar e gerenciar como os dados são processados antes de saírem da sua infraestrutura.
Nuvem:
- Indicates cloud rules running in New Relic's infrastructure. Shows the number of active rules (for example, "0 rules" when no cloud rules are configured). This represents additional filtering applied after data reaches New Relic endpoints.