Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信 †

• Amazon Kinesis Data Firehose（ストリーミングデータをデータストアや分析ツールにロード）| AWS

• Kinesis エージェントを使用した Kinesis Data Firehose への書き込み - Amazon Kinesis Data Firehose
  • Apache Common Log, Apache Combined Log , Apache Error Log , RFC3164 Syslog等に対応している

• 記事
  • Kinesis Data Firehose をゼロからざっくり理解する | Developers.IO
  • [備忘録] Kinesis FirehoseのLambdaによるデータ変換について | Developers.IO
  • CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | Developers.IO
  • マイクロサービス時代のフルマネージドなログ集約事情 - Qiita
  • Firehose でS3プリフィックスのカスタマイズが可能になりました | Developers.IO
  • AWSでガッチリログ解析 - Qiita
  • [AWS] Kinesis Firehoseの自分まとめ - Qiita

Dynamic Partitioning: 動的パーティション †

Data Firehorseでs3へ集めたログをAthenaやGlue等で検索する時、パーティション(s3://bucket/prefix/dt=<YYYY-mm-dd-HH>/file.gz)があったほうが速度、金額的に良い。

• Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose
  • jsonならjq parser
  • それ以外はLambdaで解析する

ログ分析 †

• ログ分析ソリューションを構築する

• 記事
  • AWSでガッチリログ解析 - Qiita

td-agent-bit(fluent-bit)からの利用 †

AWSの最近の対応(Fargate, docker image提供)を見ると、この選択肢が良さそう

• Fluent-Bit

td-agent(fluentd)からの利用 †

• awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis

• 記事
  • fluent-plugin-kinesisでKinesis Streamsにログを送信する | Developers.IO

aws-kinesis-agent: EC2等へインストールしてデータを送信する †

• aws-kinesis-agenton EC2 -> Kinesis Firehose -> S3やElasticsearchへ転送等ができる

• Kinesis エージェントを使用した Kinesis Data Firehose への書き込み - Amazon Kinesis Data Firehose
• Kinesis Data Firehose リソースへのアクセス権をアプリケーションに付与する

• https://github.com/awslabs/amazon-kinesis-agent/releases
  • メモリ使用量: デフォルトで85MB程「ps -eo comm,user:32,rss h | grep java」で確認
  • initdの起動スクリプトが入っていたので、CentOS 6でも起動出来た。

• 対象のログは aws-kinesis-agent-user ユーザで読み取る権限が必要。
  • logrotateの際にユーザが変わる事もあるので、logrotateのケアも必要。
  • セキュリティ要件の高いログ(元が0600)は、0640にしてgroupにaws-kinesis-agent-userを追加した方が良さそう。

    sudo usermod -aG wheel aws-kinesis-agent-user
    sudo chown :wheel /tmp/app.log
    sudo chmod 640 /tmp/app.log

• deliveryStream:だと、Firehose が使われる。間違って kinesisStream: を指定すると、kinesis Streamが使われるので注意。

• EL用のrpmにはlogrotateが入ってないので自分で作る

  cat /etc/logrotate.d/aws-kinesis-agent
  /var/log/aws-kinesis-agent/*.log {
      missingok
      notifempty
      compress
      dateext
      copytruncate
      create 0664 aws-kinesis-agent-user aws-kinesis-agent-user
      su aws-kinesis-agent-user aws-kinesis-agent-user
  }

• /etc/sysconfig/aws-kinesis-agent
  • aws access key等を記載する。EC2の場合はIAM roleの方が良い。
  • AGENT_LOG_LEVEL="TRACE" とすると、送信できない場合にログが出る

• /etc/aws-kinesis/agent.json
  • jsonの行頭にスペースが存在してもエラーにはならない
  • v1.1.5.1: flows: []が必須。存在しないと、NullPointerExceptionが発生した。

    {
      "cloudwatch.emitMetrics": false,
      "cloudwatch.endpoint": "monitoring.ap-northeast-1.amazonaws.com",
      "firehose.endpoint": "firehose.ap-northeast-1.amazonaws.com",
      "kinesis.endpoint": "",
      "flows": [
      ]
    }

• /etc/aws-kinesis/agent.d/
  • flows: セクションをagent.jsonから分離して別ファイルとして置ける
  • /etc/aws-kinesis/agent.d/app_log.json

    {
      "flows": [
        {
          "filePattern": "/tmp/app.log*",
          "deliveryStream": "yourdeliverystream"
        }
      ]
    }

• /var/run/aws-kinesis-agent/checkpoints
  • SQLite形式で、kinesis-agentが読んだファイル等を保存している

• 記事
  • AWS Kinesis Firehoseとkinesis-agentを利用してログをs3に収集する | AI tech studio
  • Kinesis AgentとFirehoseを利用してEC2からS3にログを転送する | データエンジニアになりたい

aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける †

• Exception on LogRotate · Issue #50 · awslabs/amazon-kinesis-agent

• 暫定対策
  • https://github.com/awslabs/amazon-kinesis-agent/issues/50#issuecomment-425696122

• 記事
  • aws-kinesis-agentのバグ - Qiita

正規表現 †

• 構文: Pattern (Java Platform SE 8 )
• json内に定義する場合、「\」は「\\」とする
• Free Online Java Regular Expression Tester - FreeFormatter.com
  • 正規表現のテスト。「\\」は「\」に置換する必要あり

ログフォーマットサンプル †

• 元のログフォーマットのまま送る
  • /etc/aws-kinesis/agent.d/app_log.json

    {
      "flows": [
        {
          "filePattern": "/tmp/app.log*",
          "deliveryStream": "yourdeliverystream"
        }
      ]
    }

• SYSLOGフォーマット(/var/log/messages, secure等)
  • /etc/aws-kinesis/agent.d/messages.json

    {
      "flows": [
        {
          "dataProcessingOptions": [
            {
              "logFormat": "SYSLOG",
              "optionName": "LOGTOJSON"
            }
          ],
          "deliveryStream": "yourdeliverystream",
          "filePattern": "/var/log/messages*"
        }
      ]
    }

複数行のログ †

• multiline - Fluentdの正規表現が参考になる。
• もしくは、fluentd + awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis を使う

• log4jで使える記号
  • Log4j – Log4j 2 Layouts

• 例: /var/log/aws-kinesis-agent/aws-kinesis-agent.logのフォーマット

EC2 metadataをログに追加する †

• 記事
  • Kinesis Agent を使用して Kinesis Data Firehose にログをプッシュするときに Amazon EC2 メタデータを追加する

• /etc/aws-kinesis/agent.d/messages.json

  {
    "flows": [
      {
        "dataProcessingOptions": [
          {
            "logFormat": "SYSLOG",
            "optionName": "LOGTOJSON"
          },
          {
            "logFormat": "SYSLOG",
            "optionName": "ADDEC2METADATA"
          }
        ],
        "deliveryStream": "yourdeliverystream",
        "filePattern": "/var/log/messages*"
      }
    ]
  }