Memo/AmazonWebServices/KinesisDataFirehose

https://dexlab.net:443/pukiwiki/index.php?Memo/AmazonWebServices/KinesisDataFirehose 		 

Kinesis Data Firehose: ストリーミングデータ(ログ等)をS3/Elasticsearch/Redshift/Splunk等に送信 †

↑

td-agent(fluentd)からの利用 †

↑

トラブルシューティング †

↑

aws-kinesis-agent: logrotateでcopytruncateの場合、Exceptionが発生しつづける †

↑

aws-kinesis-agent: EC2等へインストールしてデータを送信する †

  • aws-kinesis-agenton EC2 -> Kinesis Firehose -> S3やElasticsearchへ転送等ができる
  • https://github.com/awslabs/amazon-kinesis-agent/releases
    • aws-kinesis-agent のリリースバージョン
    • EL用のrpmにはlogrotateが入ってないので自分で作る 
      cat /etc/logrotate.d/aws-kinesis-agent
/var/log/aws-kinesis-agent/aws-kinesis-agent.log {
    missingok
    notifempty
    compress
    dateext
    create 0664 aws-kinesis-agent-user aws-kinesis-agent-user
    su aws-kinesis-agent-user aws-kinesis-agent-user
}
    • /etc/sysconfig/aws-kinesis-agent
      • aws access key等を記載する。EC2の場合はIAM roleの方が良い。
      • AGENT_LOG_LEVEL="TRACE" とすると、送信できない場合にログが出る
    • /var/run/aws-kinesis-agent/checkpoints
      • SQLite形式で、kinesis-agentが読んだファイル等を保存している
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-06-29 (月) 12:35:37 (5d)