Fluentd-Bit: 高速で軽量なログ転送プログラム


prometheusで値を取得


garafana

grafana var:

dashbord:

# fluent-bitのendpoint総数
count(up{job="fluent-bit",site="$site"})

# 有効なfluent-bitのendpoint数
count(fluentbit_uptime{site="$site"})

# Input Bytes Processing Rate
code: sum(rate(fluentbit_input_bytes_total{site="$site", instance_name=~"$instance_name"}[5m])) by (instance_name, name)
legend: {{ instance_name }}/{{name}}

負荷テスト


AWS S3へ保存

複数の方法がある。

記事:


使用可能な変数


OUTPUT


kinesis_firehose:


INPUT

記事:


tail


PARSER


Time_Keep: time項目を保持する


rsyslog形式のログ


time:iso-8601形式のLTSVログ

[PARSER]
    Name        access_log_ltsv_iso_8601
    Format      ltsv
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S

FILTER

HOSTNAMEを付与する


AWS metadataを付与する


テスト

環境:


yaml形式で設定ファイルを書く

plugin

AWS cloudwatch logs


AWS kinesis firehose

Kubernetes/AWS EKS


CentOS 6向けのビルド


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2022-09-28 (水) 17:22:38