Memo/AmazonWebServices/KinesisDataFirehose

Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信 †

• Amazon Kinesis Data Firehose（ストリーミングデータをデータストアや分析ツールにロード）| AWS

• Kinesis エージェントを使用した Kinesis Data Firehose への書き込み - Amazon Kinesis Data Firehose
  • Apache Common Log, Apache Combined Log , Apache Error Log , RFC3164 Syslog等に対応している

• 記事
  • Kinesis Data Firehose をゼロからざっくり理解する | Developers.IO
  • [備忘録] Kinesis FirehoseのLambdaによるデータ変換について | Developers.IO
  • CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | Developers.IO
  • マイクロサービス時代のフルマネージドなログ集約事情 - Qiita
  • Firehose でS3プリフィックスのカスタマイズが可能になりました | Developers.IO
  • AWSでガッチリログ解析 - Qiita
  • [AWS] Kinesis Firehoseの自分まとめ - Qiita

トラブルシューティング †

記事:

• Kinesis Data Firehose でのデータ配信失敗を解決する

---

Verify that the IAM role has access to the Elasticsearch cluster endpoint: †

docs:

• OpenSearchサービス送信先へのクロスアカウント間の配信
• Kinesis Data Firehose から Amazon OpenSearch Service へのクロスアカウントストリーミングをセットアップするにはどうすればよいですか?

エラー:

• アカウントAにあるOpenSearchに、アカウントBにfirehoseを作って送信したい場合、firehose自体の作成に失敗した

  aws firehose create-delivery-stream --cli-input-json file://input.json --profile example
  
  Verify that the IAM role has access to the Elasticsearch cluster endpoint: https://...

• awscliの結果を見ると、HTTP/400 Bad requestで失敗する。OpenSearch側には4xxエラー増加としてCloudWatchメトリクスに表示される。CloudWatch logsのアプリケーションログにはエラーは出ない。

解決方法:

• firehoseのIAM roleと、OpenSearchのaccess policy両方に"/*" を付与すると、firehoseが作成できた。AWS docではもっとresourceの範囲が狭いが、エラーが出なくなるまで範囲を広めた。
• OpenSearchのアクセスポリシーに"/*"を追加

  ...
        "Effect": "Allow",
        "Principal": {
          "AWS": [
            "arn:aws:iam::<AWS account B id>:role/<firehose role name>",
  ...
        "Action": "es:ESHttpGet",
        "Resource": [
          "arn:aws:es:ap-northeast-1:<AWS account A id>:domain/<domain name>/*"
  ...

• firehoseのIAM roleに"/*"を追加

  ...
        "Action": "es:ESHttpGet",
        "Resource": [
          "arn:aws:es:ap-northeast-1:<AWS account A id>:domain/<domain name>/*"
  ...

---

クロスアカウント †

• OpenSearchに配信する場合、AWS console上では別アカウントを選択できない。APIかawscli等を使うしかない。

• 記事
  • Kinesis Data Firehose クロスアカウントS3 への配信 | Oji-Cloud

---

Dynamic Partitioning: 動的パーティション †

Data Firehorseでs3へ集めたログをAthenaやGlue等で検索する時、パーティション(s3://bucket/prefix/dt=<YYYY-mm-dd-HH>/file.gz)があったほうが速度、金額的に良い。

• Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose
  • 追加料金がかかる。
  • jsonならjq parserが簡単。
  • それ以外はLambdaで解析する

• jsonのログ内にec2_instance_idが入っていて、パーティションに追加したい場合

  locals {
    s3_datetime_partition1 = "dt=!{timestamp:yyyy}-!{timestamp:MM}-!{timestamp:dd}-!{timestamp:HH}"
    s3_datetime_partition2 = "year=!{timestamp:yyyy}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}"
    s3_prefix = "host/id=example/${local.s3_datetime_partition1}/ec2_instance_id=!{partitionKeyFromQuery:ec2_instance_id}/"
  }

• 記事
  • Amazon Kinesis Data Firehoseの動的パーティショニング(jqパーサー)を試してみた | DevelopersIO
  • Amazon Kinesis Data FirehoseでLambda Processorを使わずにレコード間に改行コードを自動挿入するアイデア（AWS CDK） | DevelopersIO

---

ログ分析 †

• ログ分析ソリューションを構築する

• 記事
  • AWSでガッチリログ解析 - Qiita

---

td-agent-bit(fluent-bit)からの利用 †

AWSの最近の対応(Fargate, docker image提供)を見ると、この選択肢が良さそう

• Fluent-Bit

---

td-agent(fluentd)からの利用 †

• awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis

• 記事
  • fluent-plugin-kinesisでKinesis Streamsにログを送信する | Developers.IO

---

aws-kinesis-agent: EC2等へインストールしてデータを送信する †

• aws-kinesis-agenton EC2 -> Kinesis Firehose -> S3やElasticsearchへ転送等ができる

• Kinesis エージェントを使用した Kinesis Data Firehose への書き込み - Amazon Kinesis Data Firehose
• Kinesis Data Firehose リソースへのアクセス権をアプリケーションに付与する

• https://github.com/awslabs/amazon-kinesis-agent/releases
  • メモリ使用量: デフォルトで85MB程「ps -eo comm,user:32,rss h | grep java」で確認
  • initdの起動スクリプトが入っていたので、CentOS 6でも起動出来た。

• 対象のログは aws-kinesis-agent-user ユーザで読み取る権限が必要。
  • logrotateの際にユーザが変わる事もあるので、logrotateのケアも必要。
  • セキュリティ要件の高いログ(元が0600)は、0640にしてgroupにaws-kinesis-agent-userを追加した方が良さそう。

    sudo usermod -aG wheel aws-kinesis-agent-user
    sudo chown :wheel /tmp/app.log
    sudo chmod 640 /tmp/app.log

• deliveryStream:だと、Firehose が使われる。間違って kinesisStream: を指定すると、kinesis Streamが使われるので注意。

• EL用のrpmにはlogrotateが入ってないので自分で作る

  cat /etc/logrotate.d/aws-kinesis-agent
  /var/log/aws-kinesis-agent/*.log {
      missingok
      notifempty
      compress
      dateext
      copytruncate
      create 0664 aws-kinesis-agent-user aws-kinesis-agent-user
      su aws-kinesis-agent-user aws-kinesis-agent-user
  }

• /etc/sysconfig/aws-kinesis-agent
  • aws access key等を記載する。EC2の場合はIAM roleの方が良い。
  • AGENT_LOG_LEVEL="TRACE" とすると、送信できない場合にログが出る

• /etc/aws-kinesis/agent.json
  • jsonの行頭にスペースが存在してもエラーにはならない
  • v1.1.5.1: flows: []が必須。存在しないと、NullPointerExceptionが発生した。

    {
      "cloudwatch.emitMetrics": false,
      "cloudwatch.endpoint": "monitoring.ap-northeast-1.amazonaws.com",
      "firehose.endpoint": "firehose.ap-northeast-1.amazonaws.com",
      "kinesis.endpoint": "",
      "flows": [
      ]
    }

• /etc/aws-kinesis/agent.d/
  • flows: セクションをagent.jsonから分離して別ファイルとして置ける
  • /etc/aws-kinesis/agent.d/app_log.json

    {
      "flows": [
        {
          "filePattern": "/tmp/app.log*",
          "deliveryStream": "yourdeliverystream"
        }
      ]
    }

• /var/run/aws-kinesis-agent/checkpoints
  • SQLite形式で、kinesis-agentが読んだファイル等を保存している

• 記事
  • AWS Kinesis Firehoseとkinesis-agentを利用してログをs3に収集する | AI tech studio
  • Kinesis AgentとFirehoseを利用してEC2からS3にログを転送する | データエンジニアになりたい

---

aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける †

• Exception on LogRotate · Issue #50 · awslabs/amazon-kinesis-agent

• 暫定対策
  • https://github.com/awslabs/amazon-kinesis-agent/issues/50#issuecomment-425696122

• 記事
  • aws-kinesis-agentのバグ - Qiita

---

正規表現 †

• 構文: Pattern (Java Platform SE 8 )
• json内に定義する場合、「\」は「\\」とする
• Free Online Java Regular Expression Tester - FreeFormatter.com
  • 正規表現のテスト。「\\」は「\」に置換する必要あり

---

ログフォーマットサンプル †

• 元のログフォーマットのまま送る
  • /etc/aws-kinesis/agent.d/app_log.json

    {
      "flows": [
        {
          "filePattern": "/tmp/app.log*",
          "deliveryStream": "yourdeliverystream"
        }
      ]
    }

• SYSLOGフォーマット(/var/log/messages, secure等)
  • /etc/aws-kinesis/agent.d/messages.json

    {
      "flows": [
        {
          "dataProcessingOptions": [
            {
              "logFormat": "SYSLOG",
              "optionName": "LOGTOJSON"
            }
          ],
          "deliveryStream": "yourdeliverystream",
          "filePattern": "/var/log/messages*"
        }
      ]
    }

---

複数行のログ †

• multiline - Fluentdの正規表現が参考になる。
• もしくは、fluentd + awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis を使う

• log4jで使える記号
  • Log4j – Log4j 2 Layouts

• 例: /var/log/aws-kinesis-agent/aws-kinesis-agent.logのフォーマット

---

EC2 metadataをログに追加する †

• 記事
  • Kinesis Agent を使用して Kinesis Data Firehose にログをプッシュするときに Amazon EC2 メタデータを追加する

• /etc/aws-kinesis/agent.d/messages.json

  {
    "flows": [
      {
        "dataProcessingOptions": [
          {
            "logFormat": "SYSLOG",
            "optionName": "LOGTOJSON"
          },
          {
            "logFormat": "SYSLOG",
            "optionName": "ADDEC2METADATA"
          }
        ],
        "deliveryStream": "yourdeliverystream",
        "filePattern": "/var/log/messages*"
      }
    ]
  }

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

---

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件

---