• Memo/Grafana/CloudWatch
• Memo/Grafana/Loki
• Memo/Grafana/Zabbix

Grafana †

• http://grafana.org/
  • オープンソースの可視化ツール
  • 複数のデータソースに対応し、ダッシュボードやグラフを作成できる。
  • プラグインでデータソースを追加できる
  • プラグインでパネル、データソースを追加できる
    • CloudWatch
    • Zabbix
    • Elasticsearch
  • Grafana - Grafana Documentation Site
  • 管理画面のLDAP認証対応
  • ansible, chef, docker, puppet等でデプロイできる Grafana - Installing via provisioning tools

• 変更履歴: grafana/CHANGELOG.md - GitHub

• 記事
  • Grafanaでかっけぇダッシュボード作るよ！(構築・設定編) | サーバーワークス エンジニアブログ

---

小数点以下の表示桁数の指定 †

CloudWatch等のmetricsは浮動小数点が多すぎで見にくい場合がある。

• https://grafana.com/docs/grafana/latest/features/panels/graph/

• Grafana v6.5.2
• Graph > Legend Tab > Decimals
• X, Y軸それぞれに設定できる。
• Decimals:1 だと、小数点以下1桁を表示する。tableやHover tooltipの数値には効かないようだ。

---

トラブルシューティング †

---

ValidationError: 1 validation error detected: Value 'REMOVE_EMPTY(SEARCH('... †

• Grafana v6.5.2
• 原因: 検索に使う文字列が1024文字を超えている？
• 解決: 検索に使う文字列を短くする。
  • Allでエラーが出る場合: Valiables > 変数名 > Custom all value: *

---

too many datapoints requested in query B. Please try to reduce the time range †

• Grafana v6.5.2
• 原因: 1回のクエリのデータポイント数を超えている
• 解決: 1回のクエリのデータポイント数を減らす
  • QueryのPeriodを許容出来る範囲で伸ばす: 300 (秒間隔)
  • 右上のタイムレンジを短くする

---

Grafana v6.5〜大きいクエリでエラーになる †

• Upgrading to v6.5
  • GetMetricStatistics APIの代わりに、GetMetricData APIを使用するようになった。
  • 1ダッシュボード1クエリを実行している。
  • GetMetricData API の制限
    • 1度に100クエリまで。
    • 50〜100 TPSの制限がある。TPSの上限は AWS Service Quotas console から引き上げ申請が出せる
  • 条件式は1024文字まで。templatingで使う変数が長くなるとエラーになる。
  • Allの場合は"*"を明示的に指定するのが良さそう

• Issue
  • 6.5 cloudwatch changes make large queries impossible · Issue #21496 · grafana/grafana

---

全画面スクリーンショット †

v6.5.2現在取れない。issueの最後に加工は必要だが取る方法が書いてある。

• NG: Chrome dev tools

• Issue
  • Support full page screenshots via chrome dev tools · Issue #12607 · grafana/grafana

---

GitHub stats †

• GitHub Repo Issue Analytics dashboardData for Grafana | Grafana Labs
• GitHub Repo Comment Analytics dashboardData for Grafana | Grafana Labs

---

Graph上の0,nullのメトリクスを隠す †

メトリクスが多く、0やnullを非表示にしたい場合:

• 環境
  • Grafana 5.x

1. Graph > Legend タブ
2. Hide series
   • With only nulls: nullを隠すにチェック
   • With only zeros: 0 を隠すにチェック

---

Annotations: グラフ上にイベント発生日時、タグ、メッセージを残せる †

• Annotations | Grafana Documentation
  • 例: deploy日時をグラフ上に残し、メトリクスへの影響を見る

• 記事
  • Grafana annotation + Prometheus で試験結果をさっくりまとめよう - Qiita

---

Scripted Dashboards: javascriptでカスタムダッシュボード作成 †

• Scripted Dashboards | Grafana Documentation

• 記事
  • Grafana の scripted dashboards を利用してダッシュボードを自動生成する - クックパッド開発者ブログ

---

正規表現 †

• 「web01」と「web01-test」が混在していて、testを除外する。

  /web(?!.*test)/

• 「test」と「example」を除外。

  /^(?!.*test|.*example)/

---

Playlist: 一定時間毎にダッシュボードを切り替える †

• Playlist | Grafana Documentation

---

ROW OPTIONS: 行単位のグループ化 †

• 同系統のメトリクスをまとめる。
• 行単位で隠しておける。クリックすると表示。複数系統のメトリクスを纏めると縦に長くなりがちなので、スクロールを減らせる。

Grafanaのバージョンによって、ROW OPTIONの位置が変わった。

• v5.x: layout managerが変わって、ROWがpanelに変わった。ROWがデフォルトで不用になった代わりに、行に余白があると自動でグラフの配置が詰められる。

1. Add panel
2. Row panelを選択

• v4.x以下: ROW単位だった

1. Dashboard左下のAdd ROW

---

adminユーザのパスワードを忘れたら †

• DBに登録されるため、/etc/grafana/grafana.ini の admin_password を変えて、grafana-server を再起動しても反映されない。
• default passwordの'admin' へ変更する場合

sudo sqlite3 /var/lib/grafana/grafana.db
sqlite> update user set password = '59acf18b94d7eb0694c61e60ce44c110c7a683ac6a8f09580d626f90f4a242000746579358d77dd9e570e83fa24faa88a8a6', salt = 'F3FAxVm33R' where login = 'admin';
sqlite> .quit

---

Direct link rendered image: 画像へのリンクを取得 †

チャットに画像を直接貼りたい。

• http://docs.grafana.org/reference/sharing/#direct-link-rendered-image

• 注意点
  • 画像のURLにも認証が入るため、認証がONの場合見えない。

1. グラフをクリック > Share
2. Direct link rendered imageをクリックすると、画像取得できるURLが発行されるのでコピペ
3. チャットアプリによっては末尾に画像の拡張子が必要なので「#.png」を付ける

---

サンプルテンプレート †

• monitoringartist/grafana-aws-cloudwatch-dashboards: 20+ Grafana dashboards for AWS CloudWatch metrics: EC2, Lambda, S3, ELB, EMR, EBS, SNS, SES, SQS, RDS, EFS, ElastiCache, Billing, API Gateway, VPN, ...

---

Elasticsearch †

• 記事

• GrafanaでElasticsearchのデータを表示する - designetwork

---

バックアップ＆リストア †

DBのバックアップを取るだけ。

---

sqlite3の場合 †

• バックアップ：毎日1回、最大7日の場合

  sudo nice sqlite3 /var/lib/grafana/grafana.db .dump | gzip > grafana.sqlite3.$(date +%w).gz

• リストア:

  sudo service grafana-server stop
  sudo mv /var/lib/grafana/grafana.db /var/lib/grafana/grafana.db.$(date +%Y%m%d)
  zcat grafana.sqlite3.1.gz | sudo sqlite3 /var/lib/grafana/grafana.db
  sudo chown grafana:grafana /var/lib/grafana/grafana.db
  sudo service grafana-server start

---

設定ファイル †

• CentOS 7
  • /etc/grafana/grafana.ini

    [paths]
    # sqlite3のDBファイル等
    data = /var/lib/grafana
    # ログファイルのパス
    logs = /var/log/grafana
    [database]
    # sqlite3のDBファイル名
    path = grafana.db
    type = sqlite3

---

ログの出力先変更 †

CentOS 7で同じ内容のログが出ている場合、変更できる。

• mode
  • console: /var/log/messages
  • file: /var/log/grafana/grafana.log
  • console, file: 両方に出力する

• /var/log/grafana/grafana.log だけにする

  sudo vim /etc/grafana/grafana.ini
  --
  [log]
  ...
  mode = file
  --
  sudo service grafana-server restart

---

Templating: テンプレート化 †

Grafana 2.1からの機能。変数を定義して、変数に応じてグラフを切り替える事ができる。
変数自体は固定値だけでなく、データソースも指定できるため、動的に変更があっても、Grafana側の変更は不要にできる。
データソース自体も選択可能にできる。

• Templating | Grafana Documentation

• 記事
  • Grafanaで同じグラフを大量に作る (Repeating Rows and Panels) - Qiita

• グラフ
  • General > Titleで「$var_name」で参照できる。
  • Metrics > Aliasで「{{dimension_name}}」で参照できる。$var_nameではなく、結果に含まれるMetrics名になる。

    {{metric}}
    {{stat}}
    {{namespace}}
    {{region}}
    {{period}}
    {{YOUR_DIMENSION_NAME}}

---

単位 †

• 記事
  • ギビバイト - Wikipedia

• サイズの表記が複数あるが、グラフのAxesタブ > Unit上の表記は同じ「bytes」なので注意。
  • data (IEC) bytes: GiB表記。2進数での表示。通常コンピュータ上の表記はこちら
  • data (Metric) bytes: GB表記。10進数での表示。

---

plugins: プラグイン †

• Grafana Plugins - extend and customize your Grafana. | Grafana Labs
  • panel: Pie Chart, Cal-HeatMap?, 他。AWS CloudWatch?はデフォルトで入っている。
  • datasource: Zabbix, Elasticsearch, DataDog? 他。AWSはデフォルトで入っている

• https://grafana.com/orgs/grafana
  • Grafana Labs作プラグインはデフォルトで追加しても良いだろう

---

ダウングレード †

• alexanderzobnin-zabbix-app 3.10.3を入れるとエラーで表示されなくなったため、一つ前のバージョンに戻す場合。

  sudo grafana-cli plugins install alexanderzobnin-zabbix-app 3.10.2
  sudo service grafana-server restart

---

一覧 †

sudo grafana-cli plugins ls
installed plugins:
alexanderzobnin-zabbix-app @ 3.8.1

---

更新 †

• pluginの更新があると、Home DashboardのInstalled Appsに通知される。
• Up to dateリンクから更新方法の案内が見えるので簡単

• 例: CentOS 7

  # 全て更新する場合
  sudo grafana-cli plugins update-all
  
  # 指定pluginのみ更新
  sudo grafana-cli plugins update alexanderzobnin-zabbix-app
  
  sudo service grafana-server restart

---

追加 †

• 例: CentOS7上の「zabbix」プラグインを追加

  sudo grafana-cli plugins install alexanderzobnin-zabbix-app
  sudo service grafana-server restart

---

アップグレード †

• Upgrading | Grafana Documentation

• pluginは自動更新されないので更新する

  sudo grafana-cli plugins update-all
  sudo service grafana-server restart

---

インストール †

• Installing via provisioning tools | Grafana Documentation

• Ansible, Puppet, Docker, Chef
• picotrading/ansible-grafana: Role to install and configure Grafana ansible roleが楽で良い

• Installing on RPM-based Linux | Grafana Documentation

• デフォルトURL: http://localhost:3000/
• デフォルトuser/password: /etc/grafana/grafana.ini
  • [security] セクション