Fluentd(td-agent) 統合ログ管理 †

• http://docs.fluentd.org/articles/td-agent-v1-vs-v2
  • Ruby製
  • プラグイン型
  • ログメッセージはJSONオブジェクト
  • CentOSではrpmパッケージがある
  • プロセス数はtcp, udpで2つ

• http://docs.treasure-data.com/articles/td-agent
  • The td-agent ChangeLog | Treasure Data
  • Treasure Data社提供のFluentdの配布パッケージ
  • CentOS 6/7ではrpmでインストールできるため楽
  • /usr/lib64/fluent 以下にruby, gems等が独立してインストールされる

• 記事
  • Fluentdのロギング - Qiita
  • fluentd の基礎知識 - あらびき日記
  • 柔軟なログ収集を可能にする「fluentd」入門 - さくらのナレッジ
  • Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
  • fluentd - Treasure Agent(td-agent)の1と2の今後 - Qiita
  • suz-lab - blog: FluentdでJSON形式のログを読み込んで整形する
  • Fluentd Meetup #2 発表資料 | 外道父の匠
  • fluent-agent-lite と td-agent で、小さくはじめる fluentd - studio3104::Blog
  • Fluentdで始めるリアルタイムでのログ有効活用（1/4）：CodeZine
  • 覚えるテクFluentd
  • suz-lab - blog: Apacheのログ(アクセス/エラー)をS3にアーカイブ
  • suz-lab - blog: Fluentdでログのフィルタリング
  • 統合ログ管理基盤としてのFluentdを試してみました。 | アライドアーキテクツ エンジニアブログ
  • suz-lab - blog: CentOS6にFluentdをインストール
  • suz-lab - blog: Fluentdで"Web Storage Archiveパターン"
  • fluentdを理解するために読んだサイト - NAVER まとめ

---

RDS slow/general logをtd-agentで集める †

1. RDSからのslow/general log収集: fluent-plugin-rds-log
2. SQLの抽象化。SQL中にpassowrd等があるとまずい場合にも使える: fluent-plugin-sql_fingerprint
   • pt-fingerprint --match-embedded-numbers で値を'?' に置換
   • サンプル

     echo "SELECT name, password FROM user WHERE id='12823';" | pt-fingerprint --match-embedded-numbers        
     select name, password from user where id=?

---

複数バージョンのgemが混在してうまく動作しない時 †

• 同じパッケージの複数バージョンが混在しているとうまく動作しない時がある

  sudo td-agent-gem list
  sudo td-agent-gem cleanup
  sudo service td-agent restart

---

label: †

• Routing Examples | Fluentd
  • v0.12で導入
  • 「tag」はデータソースの識別子
  • 「label」は内部ルーティングの識別子

• 記事
  • Fluentd v0.12 ラベル機能の使い方とプラグインの改修方法 - Qiita

---

ログファイルをAWS S3にgz圧縮しつつアップロードする †

• td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
  • Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

• 問題
  • ログファイルが大きく、ファイル数も多いと同時にgzipやアップロード等の処理が実行されるため、CPU使用率が跳ね上がる。
  • tailプラグインだと、同一ログファイルに対して、posやbufferのパスを変えても、複数のsourceを定義できない？片方だけが有効に見える。

• Amazon S3 Output Plugin | Fluentd
  • デフォルトで圧縮(gzip)
  • path ディレクトリを含むS3オブジェクトパス
  • time_slice_format 毎にファイル分割される。デフォルト1時間毎(%Y%m%d%H)
  • time_slice_wait (デフォルト:10m) は古いログの到着を待つ時間。
  • flush_interval 1m とすると毎分アップロードされる
  • buffer_chunk_limit (デフォルト:8m) のサイズを超えると、ファイル分割されアップロードされる。index+1される。分割されたく無い場合は、大きい値256m等を指定する

• 記事
  • fluentdでteeっぽいことをやりたくなった時はlabelを使うと簡単 - Qiita
  • nginxのアクセスログをfluentdでS3に送ってRedshiftにコピーする 2016年版 - Qiita

• 環境：td-agent-2.3.5-0.el6.x86_64
• syslog等を読めるように変更

  sudo gpasswd -a td-agent wheel
  sudo chown :wheel /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
  sudo chmod 640 /var/log/messages /var/log/cron /var/log/maillog /var/log/secure /var/log/yum.log
  sudo service td-agent-agent restart

• /etc/td-agent/td-agent.conf

  @include conf.d/*.conf
  
  <source>
    type monitor_agent
    bind 0.0.0.0
    port 24220
  </source>

• /etc/td-agent/conf.d/aws_s3_logs.conf

  <source>
    type tail
    format none
    path /var/log/cron
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.cron.pos
    tag aws_s3_logs.syslog.cron
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/maillog
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.maillog.pos
    tag aws_s3_logs.syslog.maillog
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/messages
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.messages.pos
    tag aws_s3_logs.syslog.messages
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/secure
    pos_file /var/tmp/td-agent/aws_s3_logs.syslog.secure.pos
    tag aws_s3_logs.syslog.secure
    @label @raw
  </source>
  
  <source>
    type tail
    format none
    path /var/log/yum.log
    pos_file /var/tmp/td-agent/aws_s3_logs.yum.yum.pos
    tag aws_s3_logs.yum.yum
    @label @raw
  </source>
  
  <label @raw>
    <match aws_s3_logs.**>
        type forest
        subtype s3
        <template>
          format single_value
          s3_bucket "my-bucket"
          s3_region "#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/placement/availability-zone`.chop}"
          s3_object_key_format "%{path}.%{time_slice}.%{index}.%{file_extension}"
          path "${tag_parts[1]}/%Y/%m/%d/${tag_parts[1]}.${tag_parts[2]}.#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}"
          time_slice_format "%Y%m%dT%H00Z"
          time_slice_wait 10m
          utc
          buffer_type file
          buffer_path "/var/tmp/td-agent/s3.${tag}"
          buffer_chunk_limit 128m
          disable_retry_limit true
          flush_at_shutdown true
        </template>
    </match>
  </label>

---

fluent-plugin-forest:設定をテンプレート化して簡潔に書く †

• td-agent v3(fluentd v0.14)以降、「${tag[1]}」が使えるため、「fluent-plugin-forest」は不用にできるかも。
  • Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

• GitHub - tagomoris/fluent-plugin-forest

• 記事
  • FluentdでアプリログをS3へ - Qiita
  • fluent-plugin-forest を使ってログを効率よく出し分けたのでメモ | cloudpack.media

• インストール

  sudo td-agent-gem install fluent-plugin-forest

---

動的に値を取得 †

• td-agent-2.3.5-0.el6.x86_64

• 環境変数から取得: td-agent起動時に設定された環境変数のみ取得できる
  • How can I use environment variables to configure parameters dynamically?

    path "#{ENV['FOO']}"

• ec2 instance-id, hostnameを取得して値を使う

  path "#{`hostname -s`.chomp}.#{`curl -s -m 1 http://169.254.169.254/latest/meta-data/instance-id`.chomp}.%Y%m%dT%H00Z"

---

could not find a temporary directory †

• 原因: /tmp にスティッキービットが無い
• 解決:

  sudo chmod o+t /tmp
  
  ls -la / | grep tmp
  drwxrwxrwt.  8 root root 40960  5月 15 18:57 2017 tmp

---

モニタリング †

• 記事
  • td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み - ようへいの日々精進XP

• 監視を有効化

  cat /etc/td-agent/td-agent.conf 
  @include conf.d/*.conf
  
  <source>
    type monitor_agent
    bind 0.0.0.0
    port 24220
  </source>

• ltsvで取得

  curl -s http://127.0.0.1:24220/api/plugins

• jsonで取得

  curl -s http://127.0.0.1:24220/api/plugins.json

• 例：type:forwardのbuffer_queue_lengthを集計

  curl -s http://127.0.0.1:24220/api/plugins | perl -ne 'BEGIN{$sum;} if(/type:forward/ && /buffer_queue_length:(\d+)/){$sum+=$1;} END{print $sum;}'
  5

---

正規表現のテスト †

• Fluentular: a Fluentd regular expression editor
  • オンラインでログとそれを抽出する正規表現のテストができる

• 記事
  • Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

---

Slackに通知 †

• GitHub - sowawa/fluent-plugin-slack

---

forwardプラグイン使用時にはrequire_ack_responseオプションを付ける †

fluentd v0.12以降かつ、forwardプラグイン使用時に「require_ack_response」を付ける事で、ログの欠損を抑える

• 記事
  • fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモ - Qiita

---

out_forwardのDNSキャッシュはデフォルト無期限 †

• 問題
  • out_forwardの接続先ホストのDNS更新があっても、再試行に失敗する。

• 原因: DNSキャッシュのタイムアウトがデフォルト無期限になっているため、td-agent起動時点で名前解決し、その後更新されない
  • http://docs.fluentd.org/articles/out_forward#expirednscache

• 対策: DNSキャッシュのタイムアウトを設定する。0だとキャッシュしないため、パフォーマンスに影響が出る可能性がある。AWS Route53のデフォルトTTLの5分に設定。

  expire_dns_cache 300

---

td-agent2.2.0を削除する †

• yum eraseだと削除に失敗して消えない

  sudo yum erase td-agent

• rpmコマンドで強制的に削除する

  sudo rpm -e --justdb td-agent

---

td-agent.1.x系をインストールする †

2015-05-22現在、デフォルトでインストールされるtd-agentが2.x系に変わっている。
互換性が無いためリポジトリのパスが変わっている。
1.x系を使いたい場合、以下のように手動でbaseurlを変更するとインストールできる

• td-agent v1

  sudo vi /etc/yum.repos.d/td.repo
  ----
  baseurl=http://packages.treasure-data.com/redhat/$basearch
  ----
  sudo yum clean all
  sudo yum install td-agent-1.1.19-0.x86_64

• td-agent v2
  • baseurl=http://packages.treasuredata.com/2/redhat/$releasever/$basearch

---

コマンド †

• /usr/lib64/fluent/ruby/bin/fluentd : 本体
• /usr/lib64/fluent/ruby/bin/fluent-gem : pluginインストールしたり本体更新したり
• /usr/lib64/fluent/ruby/bin/fluent-cat : fluentdに直接メッセージを送れる。デ

• 送受信がうまくいっているかテスト
  • 送信側

    echo '{"key":"message"}' | /usr/lib64/fluent/ruby/bin/fluent-cat debug.tag -h revice-td-agent-host

  • 受信側

    tail -f /var/log/td-agent/td-agent.log