Memo/Linux/Fluentd(td-agent)

https://dexlab.net:443/pukiwiki/index.php?Memo/Linux/Fluentd%28td-agent%29 		 

Fluentd(td-agent) 統合ログ管理 †

↑

ulimitの上限を上げる †

  • Before Installation - Fluentd
    • Max open files: 65535 を推奨している。CentOS 6のデフォルトは1024と低く、すぐに上限に達して「Too many open files」で止まる。
  • 確認: 複数td-agentプロセスがいるので一括して確認したい場合 
    # CentOS 6
for pid in $(pgrep -u td-agent); do sudo cat /proc/$pid/limits | grep -P "open|proc"; done

# 1024は小さすぎる
Max processes             1024                 57841                processes
Max open files            1024                 65536                files
Max processes             1024                 57841                processes
Max open files            1024                 65536                file
  • CentOS 7以上では、systemd経由で起動するため、systemdの設定ファイルに書く必要がある。init script内でulimitを書いても無効。 
    grep -i limit /etc/systemd/system/multi-user.target.wants/td-agent.service
LimitNOFILE=65536
  • CentOS 6以下では、「/etc/rc.d/init.d/td-agent」内でulimitを設定しているはずだが、それでも効かない場合がある。 
    grep -i limit /etc/rc.d/init.d/td-agent
  ulimit -n 65536 1>/dev/null 2>&1 || true
↑

MessagePack形式を調べる †

td-agentログにエラーが出て、bufferファイルが残る場合がある。
bufferファイルの中身を調べたい場合。

↑

td-agent削除 †

yum eraseしただけでは色々ゴミが残っていた。

  • td-agent v2 
    sudo service td-agent stop
sudo yum erase td-agent
sudo rm -rf /opt/td-agent/ /etc/td-agent/ /var/tmp/td-agent/
↑

td-agent v2/v3比較 †

  • td-agent v3
    • Ruby 2.4
    • Fluentd v1.x
  • td-agent v2
    • Ruby 2.1.x
    • Fluentd 0.12.x
↑

RDS slow/general logをtd-agentで集める †

  1. RDSからのslow/general log収集: fluent-plugin-rds-log
  2. SQLの抽象化。SQL中にpassowrd等があるとまずい場合にも使える: fluent-plugin-sql_fingerprint
    • pt-fingerprint --match-embedded-numbers で値を'?' に置換
    • サンプル 
      echo "SELECT name, password FROM user WHERE id='12823';" | pt-fingerprint --match-embedded-numbers        
select name, password from user where id=?
↑

複数バージョンのgemが混在してうまく動作しない時 †

  • 同じパッケージの複数バージョンが混在しているとうまく動作しない時がある 
    sudo td-agent-gem list
sudo td-agent-gem cleanup
sudo service td-agent restart
↑

label: †

  • Routing Examples | Fluentd
    • v0.12で導入
    • 「tag」はデータソースの識別子
    • 「label」は内部ルーティングの識別子
↑

ログファイルをAWS S3にgz圧縮しつつアップロードする †

  • 問題
    • ログファイルが大きく、ファイル数も多いと同時にgzipやアップロード等の処理が実行されるため、CPU使用率が跳ね上がる。
    • tailプラグインだと、同一ログファイルに対して、posやbufferのパスを変えても、複数のsourceを定義できない？片方だけが有効に見える。
  • Amazon S3 Output Plugin | Fluentd
    • デフォルトで圧縮(gzip)
    • path ディレクトリを含むS3オブジェクトパス
    • time_slice_format 毎にファイル分割される。デフォルト1時間毎(%Y%m%d%H)
    • time_slice_wait (デフォルト:10m) は古いログの到着を待つ時間。
    • flush_interval 1m とすると毎分アップロードされる
    • buffer_chunk_limit (デフォルト:8m) のサイズを超えると、ファイル分割されアップロードされる。index+1される。分割されたく無い場合は、大きい値256m等を指定する
  • 「tag aws_s3_logs.syslog.messages」の場合: 
    tag_parts[0] = aws_s3_logs
tag_parts[1] = syslog
tag_parts[2] = messages
  • 環境：td-agent-2.3.5-0.el6.x86_64
  • syslog等を読めるように変更 
    sudo gpasswd -a td-agent wheel
sudo chown :wheel /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
sudo chmod 640 /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
sudo service td-agent-agent restart
  • /etc/td-agent/td-agent.conf 
    @include conf.d/*.conf

<source>
  type monitor_agent
  bind 0.0.0.0
  port 24220
</source>
  • /etc/td-agent/conf.d/aws_s3_logs.conf 
    <source>
  type tail
  format none
  path /var/log/cron
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.cron.pos
  tag aws_s3_logs.syslog.cron
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/maillog
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.maillog.pos
  tag aws_s3_logs.syslog.maillog
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/messages
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.messages.pos
  tag aws_s3_logs.syslog.messages
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/secure
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.secure.pos
  tag aws_s3_logs.syslog.secure
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/yum.log
  pos_file /var/tmp/td-agent/aws_s3_logs.yum.yum.pos
  tag aws_s3_logs.yum.yum
  @label @raw
</source>

<label @raw>
  <match aws_s3_logs.**>
      type forest
      subtype s3
      <template>
        format single_value
        s3_bucket "my-bucket"
        s3_region "#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/placement/availability-zone`.chop}"
        s3_object_key_format "%{path}.%{time_slice}.%{index}.%{file_extension}"
        path "${tag_parts[1]}/%Y/%m/%d/${tag_parts[1]}.${tag_parts[2]}.#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}"
        time_slice_format "%Y%m%dT%H00Z"
        time_slice_wait 10m
        utc
        buffer_type file
        buffer_path "/var/tmp/td-agent/s3.${tag}"
        buffer_chunk_limit 128m
        disable_retry_limit true
        flush_at_shutdown true
      </template>
  </match>
</label>
↑

fluent-plugin-forest:設定をテンプレート化して簡潔に書く †

  • インストール 
    sudo td-agent-gem install fluent-plugin-forest
↑

動的に値を取得 †

  • td-agent-2.3.5-0.el6.x86_64
  • ec2 instance-id, hostnameを取得して値を使う 
    path "#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}.%Y%m%dT%H00Z"
↑

could not find a temporary directory †

  • 原因: /tmp にスティッキービットが無い
  • 解決: 
    sudo chmod o+t /tmp

ls -la / | grep tmp
drwxrwxrwt.  8 root root 40960  5月 15 18:57 2017 tmp
↑

モニタリング †

  • 監視を有効化 
    cat /etc/td-agent/td-agent.conf 
@include conf.d/*.conf

<source>
  type monitor_agent
  bind 0.0.0.0
  port 24220
</source>
  • ltsvで取得 
    curl -s -m 1 http://127.0.0.1:24220/api/plugins
  • jsonで取得 
    curl -s -m 1 http://127.0.0.1:24220/api/plugins.json
  • curlのデフォルトタイムアウトが300秒なので、待機してしまう事がある。監視で使う場合は「-m 1」を付けて1秒にする。
  • 例：type:forwardのbuffer_queue_lengthを集計。 
    curl -s -m 1 http://127.0.0.1:24220/api/plugins | perl -ne 'BEGIN{$sum;} if(/type:forward/ && /buffer_queue_length:(\d+)/){$sum+=$1;} END{print $sum;}'
5
  • buffer_queue_length > 0 のものだけを選択。バッファが貯まって処理できないタスクを表示 
    curl -s -m 1 127.0.0.1:24220/api/plugins.json | jq '.plugins[] | select(.buffer_queue_length > 0)'
↑

正規表現のテスト †

↑

Slackに通知 †

↑

forwardプラグイン使用時にはrequire_ack_responseオプションを付ける †

fluentd v0.12以降かつ、forwardプラグイン使用時に「require_ack_response」を付ける事で、ログの欠損を抑える

↑

out_forwardのDNSキャッシュはデフォルト無期限 †

  • 問題
    • out_forwardの接続先ホストのDNS更新があっても、再試行に失敗する。
  • 対策: DNSキャッシュのタイムアウトを設定する。0だとキャッシュしないため、パフォーマンスに影響が出る可能性がある。AWS Route53のデフォルトTTLの5分に設定。 
    expire_dns_cache 300
↑

td-agent2.2.0を削除する †

  • yum eraseだと削除に失敗して消えない 
    sudo yum erase td-agent
  • rpmコマンドで強制的に削除する 
    sudo rpm -e --justdb td-agent
↑

td-agent.1.x系をインストールする †

2015-05-22現在、デフォルトでインストールされるtd-agentが2.x系に変わっている。
互換性が無いためリポジトリのパスが変わっている。
1.x系を使いたい場合、以下のように手動でbaseurlを変更するとインストールできる

↑

コマンド †

  • /usr/lib64/fluent/ruby/bin/fluentd : 本体
  • /usr/lib64/fluent/ruby/bin/fluent-gem : pluginインストールしたり本体更新したり
  • /usr/lib64/fluent/ruby/bin/fluent-cat : fluentdに直接メッセージを送れる。デ
  • 送受信がうまくいっているかテスト
    • 送信側 
      echo '{"key":"message"}' | /usr/lib64/fluent/ruby/bin/fluent-cat debug.tag -h revice-td-agent-host
    • 受信側 
      tail -f /var/log/td-agent/td-agent.log
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-03-30 (月) 18:20:51 (181d)