Memo/AmazonWebServices/KinesisDataFirehose

https://dexlab.net:443/pukiwiki/index.php?Memo/AmazonWebServices/KinesisDataFirehose
 

Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信


td-agent(fluentd)からの利用


トラブルシューティング


aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける


aws-kinesis-agent: EC2等へインストールしてデータを送信する

  • aws-kinesis-agenton EC2 -> Kinesis Firehose -> S3やElasticsearchへ転送等ができる
  • https://github.com/awslabs/amazon-kinesis-agent/releases
    • aws-kinesis-agent のリリースバージョン
    • EL用のrpmにはlogrotateが入ってないので自分で作る
      cat /etc/logrotate.d/aws-kinesis-agent
      /var/log/aws-kinesis-agent/aws-kinesis-agent.log {
          missingok
          notifempty
          compress
          dateext
          create 0664 aws-kinesis-agent-user aws-kinesis-agent-user
          su aws-kinesis-agent-user aws-kinesis-agent-user
      }
    • /etc/sysconfig/aws-kinesis-agent
      • aws access key等を記載する。EC2の場合はIAM roleの方が良い。
      • AGENT_LOG_LEVEL="TRACE" とすると、送信できない場合にログが出る
    • /var/run/aws-kinesis-agent/checkpoints
      • SQLite形式で、kinesis-agentが読んだファイル等を保存している

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-06-29 (月) 12:35:37 (5d)