Entendiendo su pipeline de ingesta

En esta sección, explorará la arquitectura de la canalización de ingesta, que representa visualmente cómo fluyen sus telemetry data a través del sistema. Verá cómo el uso de reglas de nube y cloud puede afectar el volumen de datos y optimizar su estrategia de gestión de datos.

Componentes de su canalización de ingesta

1. Fuentes de MELT:

   • Métricas, eventos, logs y trazas (MELT): estos son los principales tipos de datos de observabilidad que se recopilan de varias fuentes. Forman el punto de partida de su canal de ingesta.

2. Líneas de flujo de datos:

   • Las líneas emanan de cada fuente MELT y representan los datos que se envían al NRDB. Cada línea está anotada con un volumen de datos, medido en millones (M), que indica la cantidad de volumen de datos en tránsito.

3. Puerta:

   • Ubicada entre las fuentes MELT y las reglas cloud , la puerta de enlace actúa como un filtro y aplica las reglas definidas por el usuario para descartar datos de bajo valor antes de que salgan de la red. Esto reduce el volumen de datos enviados al NRDB, optimizando los costos de almacenamiento y salida.

4. Reglas de la nube:

   • Las reglas de la nube se aplican dentro de New Relic Cloud, filtrando aún más los datos antes de que lleguen a NRDB. El diagrama indica el número de reglas cloud operativas.

5. Base de datos de recursos NR:

   • La base de datos New Relic (NRDB) es el destino final de los datos procesados. Almacena los telemetry data refinados, listos para su análisis y visualización.

Representación visual

La vista del pipeline de ingesta está organizada en tres secciones principales que muestran su flujo de trabajo de procesamiento de datos:

• Fuentes:

  • Displays the four telemetry types (Metrics, Event, Logs, Traces) that agents and collectors send to New Relic. Each source shows the data volume flowing through the pipeline. This represents the entry points for your observability data.

• Puerta:

  • Muestra las tarjetas de configuración del procesador que transforman y filtran sus datos. Cada procesador (Regla de muestreo, Filtro, Transformación) muestra su estado de configuración actual y sus reglas. Puede ver y administrar cómo se procesan los datos antes de que salgan de su infraestructura.

• Nube:

  • Indicates cloud rules running in New Relic's infrastructure. Shows the number of active rules (for example, "0 rules" when no cloud rules are configured). This represents additional filtering applied after data reaches New Relic endpoints.