Monitore o NGINX auto-hospedado com OpenTelemetry

Adicione esta configuração ao seu arquivo de configuração NGINX (/etc/nginx/nginx.conf):

server {
    listen 8080;
    server_name localhost;

    location /nginx_status {
        stub_status;
    }
}

1. Teste sua configuração do NGINX:

   bash

   Copiar

   $
   sudo nginx -t

2. Se o teste for aprovado, recarregue o NGINX:

   bash

   Copiar

   $
   sudo nginx -s reload

Teste o endpoint:

$
curl http://127.0.0.1:8080/nginx_status

Resultado esperado:

Active connections: 1
server accepts handled requests
 16 16 16
Reading: 0 Writing: 1 Waiting: 0

Teste a resposta HTTP:

$
curl -I http://127.0.0.1:8080/nginx_status

Saída esperada: Deve começar com HTTP/1.1 200 OK

O OpenTelemetry Collector usa três componentes principais para monitoramento NGINX:

• Receptores - Conecte-se ao seu endpoint de status stub do NGINX para coletar métricas
• Processadores - Adicione a identificação do servidor e métricas em lote para transmissão eficiente
• Exporters - Envie as métricas processadas para sua conta New Relic via OTLP HTTP

Antes de editar a configuração, você precisará de duas informações principais:

1. Sua URL de status stub - Da Etapa 1 (padrão: http://127.0.0.1:8080/nginx_status)

2. Um nome de implantação exclusivo - Escolha um nome que identifique este servidor NGINX específico (por exemplo, production-web-01, staging-api, prod-lb-01)

   O nome da implantação aparecerá nos dashboards do New Relic e ajudará você a identificar servidores específicos quando tiver várias instâncias do NGINX.

Edite o arquivo de configuração do seu Collector (normalmente /etc/otelcol-contrib/config.yaml) e adicione as seguintes seções. Se você já tiver seções de receptores, processadores ou exportadores, mescle-as com sua configuração existente:

1. Configure o receptor NGINX:

receivers:
  nginx:
    endpoint: http://127.0.0.1:8080/nginx_status  # Replace with your stub status URL
    collection_interval: 30s                      # How often to collect metrics
    metrics:
      nginx.requests:
        enabled: true
      nginx.connections_accepted:
        enabled: true
      nginx.connections_handled:
        enabled: true
      nginx.connections_current:
        enabled: true

2. Configure os processadores para metadados e batching:

processors:
  # Detect system information (hostname, etc.)
  resourcedetection:
    detectors: [system]
    system:
      resource_attributes:
        host.name:
          enabled: true
        host.id:
          enabled: true

  # Add NGINX-specific identification
  resource:
    attributes:
      - key: nginx.server.endpoint
        value: "http://127.0.0.1:8080/nginx_status"  # Replace with your endpoint
        action: upsert
      - key: nginx.deployment.name
        value: "production-web-01"                    # Replace with your server name
        action: upsert

  # Batch metrics for efficient sending
  batch:
    timeout: 30s
    send_batch_size: 1024

  # Transform metrics for better display in New Relic
  transform/nginx_metrics:
    metric_statements:
      - context: resource
        statements:
          # Customize the display name as needed for your New Relic dashboard
          - set(attributes["nginx.display.name"], Concat(["server", attributes["nginx.deployment.name"]], ":"))
  
  transform/metadata_nullify:
    metric_statements:
      - context: metric
        statements:
          - set(description, "")
          - set(unit, "")

3. Configure o exportador New Relic:

exporters:
  # Send metrics to New Relic via OTLP
  otlp_http/newrelic:
    endpoint: ${env:NEWRELIC_OTLP_ENDPOINT}
    headers:
      api-key: ${env:NEWRELIC_LICENSE_KEY}

4. Conecte tudo com um pipeline:

service:
  pipelines:
    metrics:
      receivers: [nginx]
      processors: [resourcedetection, resource, batch, transform/nginx_metrics, transform/metadata_nullify]
      exporters: [otlp_http/newrelic]

Substitua esses valores na configuração acima:

1. URL do endpoint: Altere http://127.0.0.1:8080/nginx_status para corresponder à sua configuração de status stub da Etapa 1

2. Nome da implantação: Substitua production-web-01 por um identificador exclusivo para este servidor NGINX

   Escolhendo um bom nome de implantação:

• Use nomes descritivos como production-web-01, staging-api ou prod-lb-01
• Deve ser exclusivo em todos os servidores NGINX dentro de sua conta New Relic
• Este nome aparecerá nos dashboards e ajudará você a identificar servidores específicos
• Mantenha-o curto, mas significativo para facilitar a filtragem e o alerta

Antes de configurar a autenticação, reúna estas duas informações:

1. ** Sua Chave de Licença:**

   • Acesse one.newrelic.com → API Keys
   • Encontre a seção "Ingest - License" → Clique em Show key
   • Copie a chave de licença (começa com "NRAK-...")

2. ** Seu Endpoint OTLP:** Use o endpoint apropriado para sua região New Relic. Consulte Configurar endpoint, porta e protocolo para obter a lista completa de endpoints e portas suportadas para sua região. Por exemplo:

   • Região dos EUA: https://otlp.nr-data.net:4318
   • Região da UE: https://otlp.eu01.nr-data.net:4318

1. Crie um diretório de substituição do systemd:

   bash

   Copiar

   $
   sudo mkdir -p /etc/systemd/system/otelcol-contrib.service.d

2. Crie o arquivo de configuração do ambiente:

   bash

   Copiar

   $
   cat <<EOF | sudo tee /etc/systemd/system/otelcol-contrib.service.d/environment.conf
   $
   [Service]
   $
   Environment="NEWRELIC_OTLP_ENDPOINT=https://otlp.nr-data.net:4318"
   $
   Environment="NEWRELIC_LICENSE_KEY=YOUR_LICENSE_KEY_HERE"
   $
   EOF

3. Atualize a configuração com suas credenciais:

   • Substitua https://otlp.nr-data.net:4318 pelo endpoint da sua região
   • Substitua YOUR_LICENSE_KEY_HERE pela sua chave de licença real acima

1. Aplique as alterações de configuração:

   bash

   Copiar

   $
   sudo systemctl daemon-reload
   $
   sudo systemctl restart otelcol-contrib.service

2. Verifique se o serviço está em execução:

   bash

   Copiar

   $
   sudo systemctl status otelcol-contrib.service

   Saída esperada: Active: active (running) sem erros recentes

3. Verifique os logs de inicialização:

   bash

   Copiar

   $
   sudo journalctl -u otelcol-contrib.service -n 20

   Procure estes indicadores de sucesso:

   • ✅ "Everything is ready. Begin running and processing data."
   • ✅ "Scraping metrics" - Coletando com sucesso do NGINX
   • ✅ "Exporting metrics" - Enviando com sucesso para New Relic

4. Gere tráfego de teste (para criar métricas):

   bash

   Copiar

   $
   # Make a few requests to your NGINX server
   $
   curl http://localhost

5. Aguarde um tempo para que os dados iniciais apareçam no New Relic e, em seguida, acesse seu dashboard do NGINX para verificar a coleta de dados.

Primeiro, configure o NGINX para gerar logs formatados em JSON que são mais fáceis de analisar e consultar.

Adicione isso à sua configuração do NGINX (/etc/nginx/nginx.conf):

http {
    # JSON log format for better parsing
    log_format json_combined escape=json
    '{'
      '"time":"$time_local",'
      '"remote_addr":"$remote_addr",'
      '"request":"$request",'
      '"status":$status,'
      '"bytes_sent":$body_bytes_sent,'
      '"request_time":$request_time,'
      '"referer":"$http_referer",'
      '"user_agent":"$http_user_agent"'
    '}';

    # Use the JSON format for access logs
    access_log /var/log/nginx/access.log json_combined;
    error_log /var/log/nginx/error.log warn;

    # Your existing configuration...
}

Recarregue o NGINX para aplicar as alterações:

$
sudo nginx -t && sudo nginx -s reload

Adicione estas seções ao seu /etc/otelcol-contrib/config.yaml:

receivers:
  # Your existing nginx receiver...
  nginx:
    # existing configuration...

  # Add log receivers
  filelog/nginx_access:
    include:
      - /var/log/nginx/access.log

  filelog/nginx_error:
    include:
      - /var/log/nginx/error.log

processors:
  # Your existing processors...

  # Add log processor
  transform/nginx_access_logs:
    log_statements:
    - context: resource
      statements:
        - set(attributes["nginx.display.name"], Concat(["server", attributes["nginx.deployment.name"]], ":"))
        - set(attributes["logtype"], "nginx")
  transform/nginx_error_logs:
    log_statements:
    - context: resource
      statements:
        - set(attributes["nginx.display.name"], Concat(["server", attributes["nginx.deployment.name"]], ":"))
        - set(attributes["logtype"], "nginx-error")

service:
  pipelines:
    # Your existing metrics pipeline...
    metrics:
      receivers: [nginx]
      processors: [resourcedetection, resource, batch, transform/nginx_metrics, transform/metadata_nullify]
      exporters: [otlp_http/newrelic]

    # Add log pipelines
    logs/nginx-access:
      receivers: [filelog/nginx_access]
      processors: [resource, batch, transform/nginx_access_logs]
      exporters: [otlp_http/newrelic]

    logs/nginx-error:
      receivers: [filelog/nginx_error]
      processors: [resource, batch, transform/nginx_error_logs]
      exporters: [otlp_http/newrelic]

Permitir que o Collector leia os arquivos de log do NGINX:

$
# Add collector user to adm group (has read access to logs)
$
sudo usermod -a -G adm otelcol-contrib
$

$
# Ensure log files are readable
$
sudo chmod 644 /var/log/nginx/access.log
$
sudo chmod 644 /var/log/nginx/error.log

Reinicie o Collector:

$
sudo systemctl restart otelcol-contrib.service

Obtendo 404 Not Found:

$
curl http://127.0.0.1:8080/nginx_status

Soluções:

• Verifique se o caminho do local corresponde à URL da sua solicitação
• Verifique se a configuração foi adicionada ao bloco de servidor correto
• Execute sudo nginx -T | grep -A5 nginx_status para confirmar se a configuração foi carregada

Obtendo 403 Proibido:

• Certifique-se de que você está testando do localhost (127.0.0.1)
• Verifique suas diretivas allow/deny na configuração do NGINX
• Verifique se nenhuma outra restrição de acesso está bloqueando a solicitação

Conexão recusada:

• Verifique se o NGINX está em execução: sudo systemctl status nginx
• Verifique se a porta 8080 não está bloqueada: sudo netstat -tlnp | grep :8080
• Verifique as regras do firewall, se aplicável

Verifique o status do serviço:

$
sudo systemctl status otelcol-contrib.service
$
sudo journalctl -u otelcol-contrib.service -n 50

Causas e correções comuns:

• Erros de sintaxe YAML - Corrija a indentação e os problemas de sintaxe
• Variáveis de ambiente ausentes - Verifique se as credenciais estão definidas no arquivo de ambiente
• Problemas de permissão de arquivo - Execute sudo chown otelcol-contrib:otelcol-contrib /etc/otelcol-contrib/config.yaml
• URLs de endpoint inválidas - Verifique o endpoint NGINX e o endpoint New Relic OTLP
• Configurações de componentes ausentes - Certifique-se de que todos os receivers, processors e exporters referenciados na seção de pipelines de serviço estejam realmente definidos em suas respectivas seções de configuração acima

Reinicie após as correções:

$
sudo systemctl restart otelcol-contrib.service

Diagnóstico passo a passo:

1. Verifique se o status stub do NGINX funciona:

   bash

   Copiar

   $
   curl http://127.0.0.1:8080/nginx_status

   Deve retornar estatísticas de conexão.

2. Verifique se o Collector está em execução e íntegro:

   bash

   Copiar

   $
   sudo systemctl status otelcol-contrib.service
   $
   sudo journalctl -u otelcol-contrib -n 20

   Os logs fornecerão contexto detalhado se houver algum problema de configuração ou tempo de execução com o OpenTelemetry Collector.

3. Verifique se há dados com NRQL:

   FROM Metric SELECT * WHERE nginx.deployment.name LIKE '%production%' LIMIT 1

   Copiar

Nenhum log aparecendo no New Relic:

$
# Check Collector logs for file errors
$
sudo journalctl -u otelcol-contrib -f | grep -i "filelog\|error"

Problemas comuns:

• Erros de permissão de arquivo - Adicione o collector ao grupo adm: sudo usermod -a -G adm otelcol-contrib
• Caminhos de arquivo errados - Verifique os locais dos arquivos de log em sua configuração