Fluentd(td-agent) 統合ログ管理


out_fileでファイル名を固定する


ulimitの上限を上げる


MessagePack形式を調べる

td-agentログにエラーが出て、bufferファイルが残る場合がある。
bufferファイルの中身を調べたい場合。


td-agent削除

yum eraseしただけでは色々ゴミが残っていた。


td-agent v2/v3比較


RDS slow/general logをtd-agentで集める

  1. RDSからのslow/general log収集: fluent-plugin-rds-log
  2. SQLの抽象化。SQL中にpassowrd等があるとまずい場合にも使える: fluent-plugin-sql_fingerprint
    • pt-fingerprint --match-embedded-numbers で値を'?' に置換
    • サンプル
      echo "SELECT name, password FROM user WHERE id='12823';" | pt-fingerprint --match-embedded-numbers        
      select name, password from user where id=?

複数バージョンのgemが混在してうまく動作しない時


label:


ログファイルをAWS S3にgz圧縮しつつアップロードする


fluent-plugin-forest:設定をテンプレート化して簡潔に書く


動的に値を取得


could not find a temporary directory


モニタリング


正規表現のテスト


Slackに通知


forwardプラグイン使用時にはrequire_ack_responseオプションを付ける

fluentd v0.12以降かつ、forwardプラグイン使用時に「require_ack_response」を付ける事で、ログの欠損を抑える


out_forwardのDNSキャッシュはデフォルト無期限


td-agent2.2.0を削除する


td-agent.1.x系をインストールする

2015-05-22現在、デフォルトでインストールされるtd-agentが2.x系に変わっている。
互換性が無いためリポジトリのパスが変わっている。
1.x系を使いたい場合、以下のように手動でbaseurlを変更するとインストールできる


コマンド


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-08-24 (火) 17:52:55