Memo/Grafana/Troubleshooting

https://dexlab.net:443/pukiwiki/index.php?Memo/Grafana/Troubleshooting
 

トラブルシューティング


ExpiredTokenException: tokenが切れる

環境:

  • Grafana v7.0.6
  • EC2にGrafanaをインストールしている。
  • EC2のIAM roleを作り、instance profileを設定している。
  • IAM roleの有効期限は1時間。

現象:

  • IAM roleの有効期限(1時間)より前に、「The security token included in the request is expired status code: 400, request id: ...」のようにtokenが切れて、グラフが表示されない。リロードしたり、ログアウトでは変わらない時がある。10分くらい待つと表示されるようになる。
  • 解決:
    • 不明

ValidationError: 1 validation error detected: Value 'REMOVE_EMPTY(SEARCH('...

  • Grafana v6.5.2
  • 原因: 検索に使う文字列が1024文字を超えている?
  • 解決: 検索に使う文字列を短くする。
    • Allでエラーが出る場合: Valiables > 変数名 > Custom all value: *

too many datapoints requested in query B. Please try to reduce the time range

  • Grafana v6.5.2
  • 原因: 1回のクエリのデータポイント数を超えている
  • 解決: 1回のクエリのデータポイント数を減らす
    • QueryのPeriodを許容出来る範囲で伸ばす: 5m
    • QueryのMin time intervalを許容出来る範囲で伸ばす: 5m (5分。300だと「Invalid interval string, expecting a number followed by one of "Mwdhmsy」エラーになるメトリクスもあった。HTTPCode_Backend_4XX等)
    • Periodを5mにすると、sumの場合に1mと値が異なるので注意。
    • 右上のタイムレンジを短くする

Grafana v6.5〜大きいクエリでエラーになる

  • Upgrading to v6.5
    • GetMetricStatistics APIの代わりに、GetMetricData APIを使用するようになった。
    • 1ダッシュボード1クエリを実行している。
    • GetMetricData API の制限
      • 1度に100クエリまで。
      • 50〜100 TPSの制限がある。TPSの上限は AWS Service Quotas console から引き上げ申請が出せる
    • 条件式は1024文字まで。templatingで使う変数が長くなるとエラーになる。
    • Allの場合は"*"を明示的に指定するのが良さそう

全画面スクリーンショット

v6.5.2現在取れない。issueの最後に加工は必要だが取る方法が書いてある。

  • NG: Chrome dev tools
  1. chromeでgrafanaを開く。例: https://play.grafana.org/d/000000012/grafana-play-home?orgId=1 グラフのロードが完了したら、dev tools (F12)を開く
  2. 以下コマンドで高さの取得
    document.querySelector('.react-grid-layout').style.height;
  3. 取得したheightを指定して実行
    docker run --cap-add=SYS_ADMIN timoschwarzer/capture-website-cli capture-website \
    --full-page \
    --overwrite \
    --output=screenshot.png \
    --element='.react-grid-layout' \
    --height=1056 \
    'https://play.grafana.org/d/000000012/grafana-play-home?orgId=1' > screenshot.png

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-02-04 (木) 15:33:15 (137d)