Memo/AmazonWebServices/KinesisDataFirehose

Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信

Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信 †

Amazon Kinesis Data Firehose（ストリーミングデータをデータストアや分析ツールにロード）| AWS

Kinesis エージェントを使用した Kinesis Data Firehose への書き込み - Amazon Kinesis Data Firehose
- Apache Common Log, Apache Combined Log , Apache Error Log , RFC3164 Syslog等に対応している

記事

↑

クロスアカウント †

記事
- Kinesis Data Firehose クロスアカウントS3 への配信 | Oji-Cloud

↑

Dynamic Partitioning: 動的パーティション †

Data Firehorseでs3へ集めたログをAthenaやGlue等で検索する時、パーティション(s3://bucket/prefix/dt=<YYYY-mm-dd-HH>/file.gz)があったほうが速度、金額的に良い。

Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose
- 追加料金がかかる。
- jsonならjq parserが簡単。
- それ以外はLambdaで解析する

jsonのログ内にec2_instance_idが入っていて、パーティションに追加したい場合

locals {
  s3_datetime_partition1 = "dt=!{timestamp:yyyy}-!{timestamp:MM}-!{timestamp:dd}-!{timestamp:HH}"
  s3_datetime_partition2 = "year=!{timestamp:yyyy}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}"
  s3_prefix = "host/id=example/${local.s3_datetime_partition1}/ec2_instance_id=!{partitionKeyFromQuery:ec2_instance_id}/"
}

記事
- Amazon Kinesis Data Firehoseの動的パーティショニング(jqパーサー)を試してみた | DevelopersIO
- Amazon Kinesis Data FirehoseでLambda Processorを使わずにレコード間に改行コードを自動挿入するアイデア（AWS CDK） | DevelopersIO

↑

ログ分析 †

ログ分析ソリューションを構築する

記事
- AWSでガッチリログ解析 - Qiita

↑

td-agent-bit(fluent-bit)からの利用 †

AWSの最近の対応(Fargate, docker image提供)を見ると、この選択肢が良さそう

Fluent-Bit

↑

td-agent(fluentd)からの利用 †

awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis

記事
- fluent-plugin-kinesisでKinesis Streamsにログを送信する | Developers.IO

↑

aws-kinesis-agent: EC2等へインストールしてデータを送信する †

aws-kinesis-agenton EC2 -> Kinesis Firehose -> S3やElasticsearchへ転送等ができる

https://github.com/awslabs/amazon-kinesis-agent/releases
- メモリ使用量: デフォルトで85MB程「ps -eo comm,user:32,rss h | grep java」で確認
- initdの起動スクリプトが入っていたので、CentOS 6でも起動出来た。

対象のログは aws-kinesis-agent-user ユーザで読み取る権限が必要。
- logrotateの際にユーザが変わる事もあるので、logrotateのケアも必要。
- セキュリティ要件の高いログ(元が0600)は、0640にしてgroupにaws-kinesis-agent-userを追加した方が良さそう。
```
sudo usermod -aG wheel aws-kinesis-agent-user
sudo chown :wheel /tmp/app.log
sudo chmod 640 /tmp/app.log
```

deliveryStream:だと、Firehose が使われる。間違って kinesisStream: を指定すると、kinesis Streamが使われるので注意。

EL用のrpmにはlogrotateが入ってないので自分で作る

cat /etc/logrotate.d/aws-kinesis-agent
/var/log/aws-kinesis-agent/*.log {
    missingok
    notifempty
    compress
    dateext
    copytruncate
    create 0664 aws-kinesis-agent-user aws-kinesis-agent-user
    su aws-kinesis-agent-user aws-kinesis-agent-user
}

/etc/sysconfig/aws-kinesis-agent
- aws access key等を記載する。EC2の場合はIAM roleの方が良い。
- AGENT_LOG_LEVEL="TRACE" とすると、送信できない場合にログが出る

/etc/aws-kinesis/agent.json

jsonの行頭にスペースが存在してもエラーにはならない

v1.1.5.1: flows: []が必須。存在しないと、NullPointerExceptionが発生した。

{
  "cloudwatch.emitMetrics": false,
  "cloudwatch.endpoint": "monitoring.ap-northeast-1.amazonaws.com",
  "firehose.endpoint": "firehose.ap-northeast-1.amazonaws.com",
  "kinesis.endpoint": "",
  "flows": [
  ]
}

/etc/aws-kinesis/agent.d/

flows: セクションをagent.jsonから分離して別ファイルとして置ける

/etc/aws-kinesis/agent.d/app_log.json

{
  "flows": [
    {
      "filePattern": "/tmp/app.log*",
      "deliveryStream": "yourdeliverystream"
    }
  ]
}

/var/run/aws-kinesis-agent/checkpoints
- SQLite形式で、kinesis-agentが読んだファイル等を保存している

記事
- AWS Kinesis Firehoseとkinesis-agentを利用してログをs3に収集する | AI tech studio
- Kinesis AgentとFirehoseを利用してEC2からS3にログを転送する | データエンジニアになりたい

↑

aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける †

Exception on LogRotate · Issue #50 · awslabs/amazon-kinesis-agent

暫定対策
- https://github.com/awslabs/amazon-kinesis-agent/issues/50#issuecomment-425696122

記事
- aws-kinesis-agentのバグ - Qiita

↑

正規表現 †

構文: Pattern (Java Platform SE 8 )
json内に定義する場合、「\」は「\\」とする
Free Online Java Regular Expression Tester - FreeFormatter.com
- 正規表現のテスト。「\\」は「\」に置換する必要あり

↑

ログフォーマットサンプル †

元のログフォーマットのまま送る

/etc/aws-kinesis/agent.d/app_log.json

{
  "flows": [
    {
      "filePattern": "/tmp/app.log*",
      "deliveryStream": "yourdeliverystream"
    }
  ]
}

SYSLOGフォーマット(/var/log/messages, secure等)

/etc/aws-kinesis/agent.d/messages.json

{
  "flows": [
    {
      "dataProcessingOptions": [
        {
          "logFormat": "SYSLOG",
          "optionName": "LOGTOJSON"
        }
      ],
      "deliveryStream": "yourdeliverystream",
      "filePattern": "/var/log/messages*"
    }
  ]
}

↑

複数行のログ †

multiline - Fluentdの正規表現が参考になる。
もしくは、fluentd + awslabs/aws-fluent-plugin-kinesis: Fluent Plugin for Amazon Kinesis を使う

log4jで使える記号
- Log4j – Log4j 2 Layouts

例: /var/log/aws-kinesis-agent/aws-kinesis-agent.logのフォーマット

↑

EC2 metadataをログに追加する †

記事
- Kinesis Agent を使用して Kinesis Data Firehose にログをプッシュするときに Amazon EC2 メタデータを追加する