Fluentd(td-agent) 統合ログ管理 †

• http://docs.fluentd.org/articles/td-agent-v1-vs-v2
  • Ruby製
  • プラグイン型
  • ログメッセージはJSONオブジェクト
  • CentOSではrpmパッケージがある
  • プロセス数はtcp, udpで2つ

• http://docs.treasure-data.com/articles/td-agent
  • The td-agent ChangeLog | Treasure Data
  • Treasure Data社提供のFluentdの配布パッケージ
  • CentOS 6/7ではrpmでインストールできるため楽
  • /usr/lib64/fluent 以下にruby, gems等が独立してインストールされる

• 記事
  • fluentdでOSのいろんなログをまとめてS3に出力する設定考えてみた ｜ DevelopersIO
  • fluentdでapacheのログに時間が出力されなくて苦労したので解決策と原理をまとめてみた ｜ DevelopersIO
  • Fluentdのロギング - Qiita
  • fluentd の基礎知識 - あらびき日記
  • 柔軟なログ収集を可能にする「fluentd」入門 - さくらのナレッジ
  • Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
  • fluentd - Treasure Agent(td-agent)の1と2の今後 - Qiita
  • suz-lab - blog: FluentdでJSON形式のログを読み込んで整形する
  • Fluentd Meetup #2 発表資料 | 外道父の匠
  • fluent-agent-lite と td-agent で、小さくはじめる fluentd - studio3104::Blog
  • Fluentdで始めるリアルタイムでのログ有効活用（1/4）：CodeZine
  • 覚えるテクFluentd
  • suz-lab - blog: Apacheのログ(アクセス/エラー)をS3にアーカイブ
  • suz-lab - blog: Fluentdでログのフィルタリング
  • 統合ログ管理基盤としてのFluentdを試してみました。 | アライドアーキテクツ エンジニアブログ
  • suz-lab - blog: CentOS6にFluentdをインストール
  • suz-lab - blog: Fluentdで"Web Storage Archiveパターン"
  • fluentdを理解するために読んだサイト - NAVER まとめ

---

ulimitの上限を上げる †

• Before Installation - Fluentd
  • Max open files: 65535 を推奨している。CentOS 6のデフォルトは1024と低く、すぐに上限に達して「Too many open files」で止まる。

• 確認: 複数td-agentプロセスがいるので一括して確認したい場合

  # CentOS 6
  for pid in $(pgrep -u td-agent); do sudo cat /proc/$pid/limits | grep -P "open|proc"; done
  
  # 1024は小さすぎる
  Max processes             1024                 57841                processes
  Max open files            1024                 65536                files
  Max processes             1024                 57841                processes
  Max open files            1024                 65536                file

• CentOS 7以上では、systemd経由で起動するため、systemdの設定ファイルに書く必要がある。init script内でulimitを書いても無効。

  grep -i limit /etc/systemd/system/multi-user.target.wants/td-agent.service
  LimitNOFILE=65536

• CentOS 6以下では、「/etc/rc.d/init.d/td-agent」内でulimitを設定しているはずだが、それでも効かない場合がある。

  grep -i limit /etc/rc.d/init.d/td-agent
    ulimit -n 65536 1>/dev/null 2>&1 || true

---

MessagePack形式を調べる †

td-agentログにエラーが出て、bufferファイルが残る場合がある。
bufferファイルの中身を調べたい場合。

• Memo/MessagePack

---

td-agent削除 †

yum eraseしただけでは色々ゴミが残っていた。

• td-agent v2

  sudo service td-agent stop
  sudo yum erase td-agent
  sudo rm -rf /opt/td-agent/ /etc/td-agent/ /var/tmp/td-agent/

---

td-agent v2/v3比較 †

• td-agent v2 vs. td-agent v3 | Fluentd

• td-agent v3
  • Ruby 2.4
  • Fluentd v1.x

• td-agent v2
  • Ruby 2.1.x
  • Fluentd 0.12.x

---

RDS slow/general logをtd-agentで集める †

1. RDSからのslow/general log収集: fluent-plugin-rds-log
2. SQLの抽象化。SQL中にpassowrd等があるとまずい場合にも使える: fluent-plugin-sql_fingerprint
   • pt-fingerprint --match-embedded-numbers で値を'?' に置換
   • サンプル

     echo "SELECT name, password FROM user WHERE id='12823';" | pt-fingerprint --match-embedded-numbers        
     select name, password from user where id=?

---

複数バージョンのgemが混在してうまく動作しない時 †

• 同じパッケージの複数バージョンが混在しているとうまく動作しない時がある

  sudo td-agent-gem list
  sudo td-agent-gem cleanup
  sudo service td-agent restart

---

label: †

• Routing Examples | Fluentd
  • v0.12で導入
  • 「tag」はデータソースの識別子
  • 「label」は内部ルーティングの識別子

• 記事
  • Fluentd v0.12 ラベル機能の使い方とプラグインの改修方法 - Qiita

---

ログファイルをAWS S3にgz圧縮しつつアップロードする †

• td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
  • Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

• 問題
  • ログファイルが大きく、ファイル数も多いと同時にgzipやアップロード等の処理が実行されるため、CPU使用率が跳ね上がる。
  • tailプラグインだと、同一ログファイルに対して、posやbufferのパスを変えても、複数のsourceを定義できない？片方だけが有効に見える。

• Amazon S3 Output Plugin | Fluentd
  • デフォルトで圧縮(gzip)
  • path ディレクトリを含むS3オブジェクトパス
  • time_slice_format 毎にファイル分割される。デフォルト1時間毎(%Y%m%d%H)
  • time_slice_wait (デフォルト:10m) は古いログの到着を待つ時間。
  • flush_interval 1m とすると毎分アップロードされる
  • buffer_chunk_limit (デフォルト:8m) のサイズを超えると、ファイル分割されアップロードされる。index+1される。分割されたく無い場合は、大きい値256m等を指定する

• 記事
  • fluentdでteeっぽいことをやりたくなった時はlabelを使うと簡単 - Qiita
  • nginxのアクセスログをfluentdでS3に送ってRedshiftにコピーする 2016年版 - Qiita

• 「tag aws_s3_logs.syslog.messages」の場合:

  tag_parts[0] = aws_s3_logs
  tag_parts[1] = syslog
  tag_parts[2] = messages

• 環境：td-agent-2.3.5-0.el6.x86_64
• syslog等を読めるように変更

  sudo gpasswd -a td-agent wheel
  sudo chown :wheel /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
  sudo chmod 640 /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
  sudo service td-agent-agent restart

• /etc/td-agent/td-agent.conf

  @include conf.d/*.conf
  
  <source>
    type monitor_agent
    bind 0.0.0.0
    port 24220
  </source>

• /etc/td-agent/conf.d/aws_s3_logs.conf

  <source>
    type tail
    format none
    path /var/log/cron
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.cron.pos
    tag aws_s3_logs.syslog.cron
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/maillog
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.maillog.pos
    tag aws_s3_logs.syslog.maillog
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/messages
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.messages.pos
    tag aws_s3_logs.syslog.messages
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/secure
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.secure.pos
    tag aws_s3_logs.syslog.secure
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/yum.log
    pos_file /var/tmp/td-agent/aws_s3_logs.yum.yum.pos
    tag aws_s3_logs.yum.yum
    @label @raw
  </source>
  
  <label @raw>
    <match aws_s3_logs.**>
        type forest
        subtype s3
        <template>
          format single_value
          s3_bucket "my-bucket"
          s3_region "#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/placement/availability-zone`.chop}"
          s3_object_key_format "%{path}.%{time_slice}.%{index}.%{file_extension}"
          path "${tag_parts[1]}/%Y/%m/%d/${tag_parts[1]}.${tag_parts[2]}.#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}"
          time_slice_format "%Y%m%dT%H00Z"
          time_slice_wait 10m
          utc
          buffer_type file
          buffer_path "/var/tmp/td-agent/s3.${tag}"
          buffer_chunk_limit 128m
          disable_retry_limit true
          flush_at_shutdown true
        </template>
    </match>
  </label>

---

fluent-plugin-forest:設定をテンプレート化して簡潔に書く †

• td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
  • Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

• GitHub - tagomoris/fluent-plugin-forest

• 記事
  • FluentdでアプリログをS3へ - Qiita
  • fluent-plugin-forest を使ってログを効率よく出し分けたのでメモ | cloudpack.media

• インストール

  sudo td-agent-gem install fluent-plugin-forest

---

動的に値を取得 †

• td-agent-2.3.5-0.el6.x86_64

• 環境変数から取得: td-agent起動時に設定された環境変数のみ取得できる
  • How can I use environment variables to configure parameters dynamically?

    path "#{ENV['FOO']}"

• ec2 instance-id, hostnameを取得して値を使う

  path "#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}.%Y%m%dT%H00Z"

---

could not find a temporary directory †

• 原因: /tmp にスティッキービットが無い
• 解決:

  sudo chmod o+t /tmp
  
  ls -la / | grep tmp
  drwxrwxrwt.  8 root root 40960  5月 15 18:57 2017 tmp

---

モニタリング †

• 記事
  • td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み - ようへいの日々精進XP

• 監視を有効化

  cat /etc/td-agent/td-agent.conf 
  @include conf.d/*.conf
  
  <source>
    type monitor_agent
    bind 0.0.0.0
    port 24220
  </source>

• ltsvで取得

  curl -s -m 1 http://127.0.0.1:24220/api/plugins

• jsonで取得

  curl -s -m 1 http://127.0.0.1:24220/api/plugins.json

• curlのデフォルトタイムアウトが300秒なので、待機してしまう事がある。監視で使う場合は「-m 1」を付けて1秒にする。

• 例：type:forwardのbuffer_queue_lengthを集計。

  curl -s -m 1 http://127.0.0.1:24220/api/plugins | perl -ne 'BEGIN{$sum;} if(/type:forward/ && /buffer_queue_length:(\d+)/){$sum+=$1;} END{print $sum;}'
  5

• buffer_queue_length > 0 のものだけを選択。バッファが貯まって処理できないタスクを表示

  curl -s -m 1 127.0.0.1:24220/api/plugins.json | jq '.plugins[] | select(.buffer_queue_length > 0)'

---

正規表現のテスト †

• Fluentular: a Fluentd regular expression editor
  • オンラインでログとそれを抽出する正規表現のテストができる

• 記事
  • Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

---

Slackに通知 †

• GitHub - sowawa/fluent-plugin-slack

---

forwardプラグイン使用時にはrequire_ack_responseオプションを付ける †

fluentd v0.12以降かつ、forwardプラグイン使用時に「require_ack_response」を付ける事で、ログの欠損を抑える

• 記事
  • fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモ - Qiita

---

out_forwardのDNSキャッシュはデフォルト無期限 †

• 問題
  • out_forwardの接続先ホストのDNS更新があっても、再試行に失敗する。

• 原因: DNSキャッシュのタイムアウトがデフォルト無期限になっているため、td-agent起動時点で名前解決し、その後更新されない
  • http://docs.fluentd.org/articles/out_forward#expirednscache

• 対策: DNSキャッシュのタイムアウトを設定する。0だとキャッシュしないため、パフォーマンスに影響が出る可能性がある。AWS Route53のデフォルトTTLの5分に設定。

  expire_dns_cache 300

---

td-agent2.2.0を削除する †

• yum eraseだと削除に失敗して消えない

  sudo yum erase td-agent

• rpmコマンドで強制的に削除する

  sudo rpm -e --justdb td-agent

---

td-agent.1.x系をインストールする †

2015-05-22現在、デフォルトでインストールされるtd-agentが2.x系に変わっている。
互換性が無いためリポジトリのパスが変わっている。
1.x系を使いたい場合、以下のように手動でbaseurlを変更するとインストールできる

• td-agent v1

  sudo vi /etc/yum.repos.d/td.repo
  ----
  baseurl=http://packages.treasure-data.com/redhat/$basearch
  ----
  sudo yum clean all
  sudo yum install td-agent-1.1.19-0.x86_64

• td-agent v2
  • baseurl=http://packages.treasuredata.com/2/redhat/$releasever/$basearch

---

コマンド †

• /usr/lib64/fluent/ruby/bin/fluentd : 本体
• /usr/lib64/fluent/ruby/bin/fluent-gem : pluginインストールしたり本体更新したり
• /usr/lib64/fluent/ruby/bin/fluent-cat : fluentdに直接メッセージを送れる。デ

• 送受信がうまくいっているかテスト
  • 送信側

    echo '{"key":"message"}' | /usr/lib64/fluent/ruby/bin/fluent-cat debug.tag -h revice-td-agent-host

  • 受信側

    tail -f /var/log/td-agent/td-agent.log