Memo/Linux/Fluentd(td-agent)

Fluentd(td-agent) 統合ログ管理

Fluentd(td-agent) 統合ログ管理 †

http://docs.fluentd.org/articles/td-agent-v1-vs-v2
- Ruby製
- プラグイン型
- ログメッセージはJSONオブジェクト
- CentOSではrpmパッケージがある
- プロセス数はtcp, udpで2つ

http://docs.treasure-data.com/articles/td-agent
- The td-agent ChangeLog | Treasure Data
- Treasure Data社提供のFluentdの配布パッケージ
- CentOS 6/7ではrpmでインストールできるため楽
- /usr/lib64/fluent 以下にruby, gems等が独立してインストールされる

記事

↑

td-agent削除 †

yum eraseしただけでは色々ゴミが残っていた。

td-agent v2

sudo service td-agent stop
sudo yum erase td-agent
sudo rm -rf /opt/td-agent/ /etc/td-agent/ /var/tmp/td-agent/

↑

td-agent v2/v3比較 †

td-agent v2 vs. td-agent v3 | Fluentd

td-agent v3
- Ruby 2.4
- Fluentd v1.x

td-agent v2
- Ruby 2.1.x
- Fluentd 0.12.x

↑

RDS slow/general logをtd-agentで集める †

RDSからのslow/general log収集: fluent-plugin-rds-log
SQLの抽象化。SQL中にpassowrd等があるとまずい場合にも使える: fluent-plugin-sql_fingerprint
- pt-fingerprint --match-embedded-numbers で値を'?' に置換
- サンプル
```
echo "SELECT name, password FROM user WHERE id='12823';" | pt-fingerprint --match-embedded-numbers        
select name, password from user where id=?
```

↑

複数バージョンのgemが混在してうまく動作しない時 †

同じパッケージの複数バージョンが混在しているとうまく動作しない時がある
```
sudo td-agent-gem list
sudo td-agent-gem cleanup
sudo service td-agent restart
```

↑

label: †

Routing Examples | Fluentd
- v0.12で導入
- 「tag」はデータソースの識別子
- 「label」は内部ルーティングの識別子

記事
- Fluentd v0.12 ラベル機能の使い方とプラグインの改修方法 - Qiita

↑

ログファイルをAWS S3にgz圧縮しつつアップロードする †

td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
- Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

問題
- ログファイルが大きく、ファイル数も多いと同時にgzipやアップロード等の処理が実行されるため、CPU使用率が跳ね上がる。
- tailプラグインだと、同一ログファイルに対して、posやbufferのパスを変えても、複数のsourceを定義できない？片方だけが有効に見える。

Amazon S3 Output Plugin | Fluentd
- デフォルトで圧縮(gzip)
- path ディレクトリを含むS3オブジェクトパス
- time_slice_format 毎にファイル分割される。デフォルト1時間毎(%Y%m%d%H)
- time_slice_wait (デフォルト:10m) は古いログの到着を待つ時間。
- flush_interval 1m とすると毎分アップロードされる
- buffer_chunk_limit (デフォルト:8m) のサイズを超えると、ファイル分割されアップロードされる。index+1される。分割されたく無い場合は、大きい値256m等を指定する

記事
- fluentdでteeっぽいことをやりたくなった時はlabelを使うと簡単 - Qiita
- nginxのアクセスログをfluentdでS3に送ってRedshiftにコピーする 2016年版 - Qiita

「tag aws_s3_logs.syslog.messages」の場合:

tag_parts[0] = aws_s3_logs
tag_parts[1] = syslog
tag_parts[2] = messages

環境：td-agent-2.3.5-0.el6.x86_64

syslog等を読めるように変更

sudo gpasswd -a td-agent wheel
sudo chown :wheel /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
sudo chmod 640 /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
sudo service td-agent-agent restart

/etc/td-agent/td-agent.conf

@include conf.d/*.conf

<source>
  type monitor_agent
  bind 0.0.0.0
  port 24220
</source>

/etc/td-agent/conf.d/aws_s3_logs.conf

<source>
  type tail
  format none
  path /var/log/cron
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.cron.pos
  tag aws_s3_logs.syslog.cron
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/maillog
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.maillog.pos
  tag aws_s3_logs.syslog.maillog
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/messages
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.messages.pos
  tag aws_s3_logs.syslog.messages
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/secure
  pos_file /var/tmp/td-agent/aws_s3_logs.syslog.secure.pos
  tag aws_s3_logs.syslog.secure
  @label @raw
</source>

<source>
  type tail
  format none
  path /var/log/yum.log
  pos_file /var/tmp/td-agent/aws_s3_logs.yum.yum.pos
  tag aws_s3_logs.yum.yum
  @label @raw
</source>

<label @raw>
  <match aws_s3_logs.**>
      type forest
      subtype s3
      <template>
        format single_value
        s3_bucket "my-bucket"
        s3_region "#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/placement/availability-zone`.chop}"
        s3_object_key_format "%{path}.%{time_slice}.%{index}.%{file_extension}"
        path "${tag_parts[1]}/%Y/%m/%d/${tag_parts[1]}.${tag_parts[2]}.#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}"
        time_slice_format "%Y%m%dT%H00Z"
        time_slice_wait 10m
        utc
        buffer_type file
        buffer_path "/var/tmp/td-agent/s3.${tag}"
        buffer_chunk_limit 128m
        disable_retry_limit true
        flush_at_shutdown true
      </template>
  </match>
</label>

↑

fluent-plugin-forest:設定をテンプレート化して簡潔に書く †

td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
- Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

GitHub - tagomoris/fluent-plugin-forest

記事
- FluentdでアプリログをS3へ - Qiita
- fluent-plugin-forest を使ってログを効率よく出し分けたのでメモ | cloudpack.media

インストール

sudo td-agent-gem install fluent-plugin-forest

↑

動的に値を取得 †

td-agent-2.3.5-0.el6.x86_64

環境変数から取得: td-agent起動時に設定された環境変数のみ取得できる
- How can I use environment variables to configure parameters dynamically?
```
path "#{ENV['FOO']}"
```

ec2 instance-id, hostnameを取得して値を使う

path "#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}.%Y%m%dT%H00Z"

↑

could not find a temporary directory †

原因: /tmp にスティッキービットが無い

解決:

sudo chmod o+t /tmp

ls -la / | grep tmp
drwxrwxrwt.  8 root root 40960  5月 15 18:57 2017 tmp

↑

モニタリング †

記事
- td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み - ようへいの日々精進XP

監視を有効化

cat /etc/td-agent/td-agent.conf 
@include conf.d/*.conf

<source>
  type monitor_agent
  bind 0.0.0.0
  port 24220
</source>

ltsvで取得

curl -s http://127.0.0.1:24220/api/plugins

jsonで取得

curl -s http://127.0.0.1:24220/api/plugins.json

例：type:forwardのbuffer_queue_lengthを集計

curl -s http://127.0.0.1:24220/api/plugins | perl -ne 'BEGIN{$sum;} if(/type:forward/ && /buffer_queue_length:(\d+)/){$sum+=$1;} END{print $sum;}'
5

buffer_queue_length > 0 のものだけを選択。バッファが貯まって処理できないタスクを表示
```
curl -s localhost:24220/api/plugins.json | jq '.plugins[] | select(.buffer_queue_length > 0)'
```

↑

正規表現のテスト †

Fluentular: a Fluentd regular expression editor
- オンラインでログとそれを抽出する正規表現のテストができる

記事
- Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

↑

Slackに通知 †

GitHub - sowawa/fluent-plugin-slack

↑

forwardプラグイン使用時にはrequire_ack_responseオプションを付ける †

fluentd v0.12以降かつ、forwardプラグイン使用時に「require_ack_response」を付ける事で、ログの欠損を抑える

記事
- fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモ - Qiita

↑

out_forwardのDNSキャッシュはデフォルト無期限 †

問題
- out_forwardの接続先ホストのDNS更新があっても、再試行に失敗する。

原因: DNSキャッシュのタイムアウトがデフォルト無期限になっているため、td-agent起動時点で名前解決し、その後更新されない
- http://docs.fluentd.org/articles/out_forward#expirednscache

対策: DNSキャッシュのタイムアウトを設定する。0だとキャッシュしないため、パフォーマンスに影響が出る可能性がある。AWS Route53のデフォルトTTLの5分に設定。
```
expire_dns_cache 300
```

↑

td-agent2.2.0を削除する †

yum eraseだと削除に失敗して消えない
```
sudo yum erase td-agent
```
rpmコマンドで強制的に削除する
```
sudo rpm -e --justdb td-agent
```

↑

td-agent.1.x系をインストールする †

2015-05-22現在、デフォルトでインストールされるtd-agentが2.x系に変わっている。
互換性が無いためリポジトリのパスが変わっている。
1.x系を使いたい場合、以下のように手動でbaseurlを変更するとインストールできる

td-agent v1

sudo vi /etc/yum.repos.d/td.repo
----
baseurl=http://packages.treasure-data.com/redhat/$basearch
----
sudo yum clean all
sudo yum install td-agent-1.1.19-0.x86_64

td-agent v2
- baseurl=http://packages.treasuredata.com/2/redhat/$releasever/$basearch

↑

コマンド †

/usr/lib64/fluent/ruby/bin/fluentd : 本体
/usr/lib64/fluent/ruby/bin/fluent-gem : pluginインストールしたり本体更新したり
/usr/lib64/fluent/ruby/bin/fluent-cat : fluentdに直接メッセージを送れる。デ

送受信がうまくいっているかテスト

送信側

echo '{"key":"message"}' | /usr/lib64/fluent/ruby/bin/fluent-cat debug.tag -h revice-td-agent-host

受信側
```
tail -f /var/log/td-agent/td-agent.log
```