Kafka 監視は、 Apache Kafka クラスターへの可視性を提供して、信頼性の高いデータ ストリーミングを確保し、分散システムでのコストのかかるダウンタイムを防ぎます。 コレクターベースのアプローチを使用すると、自己ホスト環境と Strimzi を使用したKubernetes全体で機能する柔軟なベンダーニュートラル ソリューションを通じて包括的な監視を取得できます。
Collectorオプション
New Relic 、Kafka 監視用に 2 つのOpenTelemetry Collectorディストリビューションをサポートしており、どちらも同じ設定ファイルと監視機能による同一の機能を提供します。
- NRDOT Collector (推奨): New Relic のサポートが付いた、New Relic の OpenTelemetry Collector のディストリビューション。詳細については、 NRDOT Collector GitHub リポジトリを参照してください。
- OpenTelemetry Collector : アップストリーム コミュニティ ディストリビューション。詳細については、 OpenTelemetry Collector Contrib GitHub リポジトリを参照してください。
サポートと運用の要件に最適なコレクターを選択し、環境の監視の設定に進みます。
クラスタの健全性、ブローカーのステータス、トピックのメトリクス、および消費者グループのパフォーマンスを示す包括的なダッシュ ボードで Kafka クラスタを監視します。
なぜKafka監視なのか?
- 停止を防ぐ - ブローカーの障害、レプリケーション不足のパーティション、オフラインのトピックなど、ダウンタイムが発生する前にアラートを取得します。
- パフォーマンスの最適化 - データ処理速度に影響を与える消費者の遅延、低速なプロデューサー、ネットワークのボトルネックを特定します
- 容量を計画する - リソース使用量、メッセージレート、接続数を追跡して、事前に拡張します
- データの整合性を確保 - レプリケーションの健全性とパーティションのバランスを監視してデータ損失を防ぎます
一般的な使用例
金融取引のストリーミング、IoT センサー データの処理、マイクロサービス通信の処理のいずれの場合でも、Kafka 監視は、ビジネスに影響を与える前に問題を発見するのに役立ちます。 消費者によるラグの急増により、ダッシュボードが脅かされる場合、ブローカーの障害によりデータ損失の危険がある場合、またはネットワークのボトルネックにより重要なデータ パイプラインが遅くなる場合に、アラートを取得します。 この監視は、電子商取引プラットフォーム、保留分析システム、およびメッセージ配信の遅延や失敗がユーザー エクスペリエンスやビジネス運営に影響を与える可能性があるアプリケーションにとって不可欠です。
始めましょう
監視を開始するには、Kafka 環境を選択します。各セットアップ ガイドには、前提条件、設定手順、トラブルシューティングのヒントが含まれています。
使い方
Kafka 監視は、Kafka クラスタと並行してコレクターをデプロイして、パフォーマンス データを継続的に収集します。 コレクターは、複数の特殊なコンポーネントを使用して、Kafka インフラストラクチャのさまざまな部分から包括的なメトリクスをキャプチャします。
データ収集:
Kafka メトリクス レシーバー: クラスタの健全性、消費者のラグ、トピック メトリクス、およびパーティションのステータスを取得するために、Kafka のブートストラップ ポートに接続します。
JMX メトリクス コレクション(ブローカーのパフォーマンス、 JVMデータ、運用上のインサイト):
- セルフホスト型 Kafka : カスタム JMX 設定を使用したOpenTelemetry Javaエージェントは、 Kafka ブローカーに接続されたJavaエージェントとして実行され、OTLP 経由でコレクターのOTLP レシーバーにメトリクスを送信します。
- Kubernetes (Strimzi) : New Relicカスタム設定を使用したPrometheus JMX Exporter は、コレクターのPrometheus レシーバーによってスクレイピングされたメトリクスをポート 9404 で公開します
得られるもの:主要なメトリクスには、消費者のラグ、ブローカーの健全性、リクエスト レート、ネットワーク スループット、パーティション レプリケーション ステータス、リソース使用率、およびJVMパフォーマンス データが含まれます。
メトリクスの完全な名前、説明、およびアラートの推奨事項については、 「Kafka メトリクス リファレンス」を参照してください。
オプション: アプリケーションレベルの監視を追加する
上記の監視設定は、Kafka クラスターの健全性とパフォーマンスを追跡します。データがシステム内をどのように流れるかの全体像を把握するには、Kafka からメッセージを送受信するアプリケーションを監視することもできます。
アプリケーション監視により次のものが追加されます:
- アプリから Kafka へのリクエストのレイテンシ
- アプリケーションレベルのスループットメトリクス
- エラー率とディストリビューティッド（分散）トレーシング
- 生産者→ブローカー→消費者までの完全な可視性
OpenTelemetryJavaクイック セットアップ: ゼロコード Kafka 計装 には エージェント を使用します。高度な設定については、 Kafka 計装ドキュメントを参照してください。
次のステップ
Kafka クラスターの監視を開始する準備はできましたか?
監視を設定します。
- 自己ホスト型 Kafka - 物理マシンまたは仮想マシン上で実行されている Kafka を監視します
- Strimzi を使用したKubernetes - Kubernetesでの Kafka デプロイの監視
セットアップ後:
- データを検索して書き込みます- New Relic UIに移動してNRQL書き込みを書き込みます
- Kafka メトリクスの探索- アラート推奨事項を含む完全なメトリクス リファレンス