Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信

トラブルシューティング

記事:


Verify that the IAM role has access to the Elasticsearch cluster endpoint:

docs:

エラー:

解決方法:


クロスアカウント


Dynamic Partitioning: 動的パーティション

Data Firehorseでs3へ集めたログをAthenaやGlue等で検索する時、パーティション(s3://bucket/prefix/dt=<YYYY-mm-dd-HH>/file.gz)があったほうが速度、金額的に良い。


ログ分析


td-agent-bit(fluent-bit)からの利用

AWSの最近の対応(Fargate, docker image提供)を見ると、この選択肢が良さそう


td-agent(fluentd)からの利用


aws-kinesis-agent: EC2等へインストールしてデータを送信する


aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける


正規表現


ログフォーマットサンプル


複数行のログ


EC2 metadataをログに追加する


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2023-03-01 (水) 13:51:34