Memo/Heroku/Papertrail

Papertrail addon: ログをS3に保存、ダッシュボード提供、フィルタリング等 †

• Papertrail - Add-ons - Heroku Elements
  • Liveログ閲覧、フィルタ、どの時間帯にログが多いかを確認, ...
  • Freeプランあり。Freeはlog volume 10MB/day
  • Automatic S3 archive export
  • S3 bucketにpolicyを付けるだけで良い。IAM user access keyは不用

• Permanent log archives - Papertrail log format他
  • S3へのログ転送は6-7時間かかる

記事:

• Heroku Logging Add-on Papertrail と LogDNA の比較 / マスタカの ChangeLog メモ

Log filtering: ログから余分な情報を削除して保存 †

• Log filtering - Papertrail
  • ログを保存する際にフィルタできる。regexも使える

• 例: heroku postgresはインターネットに公開されており、アタック等のログが大量に発生する場合がある。そのままではPapertrailのログ保存量が増え料金も増えるためフィルタしたい
  • 以下のログを除外したい

    sql_error_code = 28P01 # FATAL:  password authentication failed for user "postgresql"
    sql_error_code = 28000 # FATAL:  no pg_hba.conf entry for host "xxx.xxx.xxx.xxx", user "postgres", database "postgres", no encryption
    sql_error_code = 08P01 # HINT:  This may indicate that the client does not support any SSL protocol version between TLSv1.2 and TLSv1.3.
    sql_error_code = 0A000 # FATAL:  unsupported frontend protocol 255.255: server supports 3.0 to 3.0

  • Eventで対象ログを検索して、表示されないまでANDで条件を足していく。
  • Search syntax - Papertrail ではregexが使えないように見える。

    sql_error_code AND -28P01 AND -28000 AND -08P01 AND -0A000

  • Log filteringでregexを指定し保存

    sql_error_code = (28P01|28000|08P01|0A000)

AWS Athenaでの検索 †

• Analyzing Papertrail logs with AWS Athena | by Dave North | Medium

• AWS Athenaで検索しやすいパーティション(dt=YYYY-MM-DD)付きで保存される

  s3://bucket/<prefix>/dt=2020-08-01/2020-08-01-00.tsv.gz

• 1時間単位のログ件数を抽出

  SELECT
    date_trunc('hour', parse_datetime(generated_at,'yyyy-MM-dd HH:mm:ss')) AS generated_at_hour,
    COUNT(*) AS COUNT
  FROM papertrail_log
  WHERE
    heroku_app = 'example-heroku-app'
    AND dt = '2020-08-01'
  GROUP BY date_trunc('hour', parse_datetime(generated_at,'yyyy-MM-dd HH:mm:ss'))
  ORDER BY generated_at_hour ASC

• 'heroku/router' から分単位のアクセス数を抽出

  SELECT
    date_trunc('minute', parse_datetime(generated_at,'yyyy-MM-dd HH:mm:ss')) AS TIME,
    COUNT(program) AS COUNT
  FROM papertrail_log
  WHERE
    heroku_app = 'example-heroku-app'
    AND program = 'heroku/router'
    AND dt BETWEEN format_datetime(now() - INTERVAL '1' DAY,'YYYY-MM-dd') AND format_datetime(now(),'YYYY-MM-dd')
  GROUP BY date_trunc('minute', parse_datetime(generated_at,'yyyy-MM-dd HH:mm:ss'))
  ORDER BY TIME ASC

• 'heroku/router' からpathを抽出

  SELECT
    regexp_extract(message, 'path=\"([^\"]+)', 1) AS path,
    COUNT(program) AS COUNT
  FROM papertrail_log
  WHERE
    heroku_app = 'example-heroku-app'
    AND program = 'heroku/router'
    AND dt BETWEEN format_datetime(now() - INTERVAL '1' DAY,'YYYY-MM-dd') AND format_datetime(now(),'YYYY-MM-dd')
  GROUP BY regexp_extract(message, 'path=\"([^\"]+)', 1)
  ORDER BY COUNT DESC
  LIMIT 100

• "Started GET" だけを抽出

  SELECT
    regexp_extract(message, 'Started GET \"([^\"]+)', 1) AS started_get,
    COUNT(*) AS COUNT
  FROM papertrail_log
  WHERE
    heroku_app = 'example-heroku-app'
    AND dt = '2020-08-01'
    AND program = 'app/web.1'
    AND message LIKE '%Started GET%'
  GROUP BY regexp_extract(message, 'Started GET \"([^\"]+)', 1)
  ORDER BY COUNT DESC
  LIMIT 100

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件