Memo/JavaScript/jq

jq: JSONのCLIパーサ †

• jq CLIツール

• 整形

echo '{ "key1":"value1" }' | jq .
{
  "key1": "value1"
}

• オプション
  • -r: ダブルクオーテーション等の引用符を出力しない
  • -c: コンパクト。1行に納める
  • --arg <key> <val> : 引数を指定。jq内で $key として参照可能
  • -f <file> : filter.jq のようにフィルタをファイルから読む

• 記事

• 軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました ｜ Developers.IO

---

empty: 一致しない場合に、nullではなく空を返したい †

• empty

  empty returns no results. None at all. Not even null.

echo '{"key1":"val1"}' | jq '.foo // empty'
# empty

echo '{"key1":"val1"}' | jq '.key1 // empty'
"val1"

---

jnv: 動的にjsonフィルタとして動作確認、調整できる †

• GitHub - ynqa/jnv: interactive JSON filter using jq

---

含まない項目/除外 †

• 例: .InstanceTypeに"m2", "m3"を含まない項目を出力

  jq -r '.[] | select(.InstanceType | test("m2|m3") | not)' test.json

---

--stream: ストリーム形式での出力 †

記事:

• jqコマンドのストリーミング処理 (--stream) をパイプでawkにつなぐ方法のまとめ - Qiita

---

親keyを含めて出力 †

• 以下の例で「jq '.root.child1'」を指定した場合、「.child1」keyが出力されない
• 例1: .child1以下の要素を.child1を含めて出力

  echo '
  {
     "root":{
        "child1":{
           "item1":{}
        },
        "child2":{
           "item1":{}
        }
     }
  }
  ' | jq '{"child1":.root.child1}'
  
  {
    "child1": {
      "item1": {}
    }
  }

---

json中の文字列として存在するjson項目の扱い †

記事:

• JSONの中に文字列として記載されたJSONの値をjqで扱ってみる | DevelopersIO

• 例: AWS SecretsManagerはPLANTEXT形式を扱えるので、jsonをそのまま格納できる。vault_idだけ取り出す。

  echo '
  {
      "ARN": "arn:aws:secretsmanager:ap-northeast-1:123456789012:secret:example-vault-id",
      "Name": "example-vault-id",
      "VersionId": "12344567-1234-1234-1234-123445678910",
      "SecretString": "{\"vault_id\":\"example-vault-id-123\"}",
      "VersionStages": [
          "AWSCURRENT"
      ],
      "CreatedDate": "2023-01-02T03:04:05.000000+09:00"
  }' | jq -r .SecretString | jq -r .vault_id
  
  example-vault-id-123

---

小数点の切り捨て †

• jq 1.6
• ceil: 切り上げ
• round: 丸め

• floor: 切り捨て

  echo '{"num1": 0.123456789}' | jq '.num1 | floor'
  
  0
  
  echo '{"num1": 1.123456789}' | jq '.num1 | floor'
  
  1
  
  echo '{"num1": 1.123456789}' | jq '.num1 * 1000 | floor / 1000'
  
  1.123

---

LTSVとjsonを相互変換 †

• LTSVをjsonへ変換。最後に空"{}"が追加されてしまう。"-s"が無い場合は、1行1配列になる。

  echo -e "key1:val1\tkey2:val2\nkey1:val3\tkey2:val4" | jq -s -R 'split("\n")|map(split("\t")|map(split(":")|{"key":.[0],"value":.[1:]|join(":")})|from_entries)'
  
  [
    {
      "key1": "val1",
      "key2": "val2"
    },
    {
      "key1": "val3",
      "key2": "val4"
    },
    {}
  ]

• jsonをLTSVへ変換

  cat test.json | jq -r '.[] | to_entries | map("\(.key):\(.value)") | join("\t")'
  
  key1:val1       key2:val2
  key1:val3       key2:val4

---

awscliとの連携 †

• 例: ec2の情報を取得

  profile=default
  region=ap-northeast-1
  
  aws ec2 describe-instances --profile $profile --region $region > ec2raw.json

• ec2の特定項目だけをCSV出力: region,Name,InstanceId

  cat ec2raw.json | jq -r --arg region "$region" '.Reservations[] | .[] | [$region, (.Tags[] | select(.[] == "Name").Value), .InstanceId] | @csv'

• 「.DeleteOnTermination == false」ec2をterminateしても、自動削除されないEBSのvol-idを表示。手動で削除する必要あり。

  cat ec2raw.json | jq -r '.Reservations[].Instances[].BlockDeviceMappings[].Ebs | select(.DeleteOnTermination == false) | .VolumeId'

---

-f: フィルタをファイルから読む †

フィルタを整形し読みやすく出来る。

• example.jq

  if has("key1") then
    .key1 = $arg1
  else
    .
  end

• 実行

  echo '{"key1":"val1","key2":"val2"}' | jq -f example.jq --arg arg1 "arg1"
  {
    "key1": "arg1",
    "key2": "val2"
  }

---

引数の参照 †

echo '{"key1":"val1","key2":"val2"}' | jq '.key1 = $arg1 | .key2 = $arg2' --arg arg1 "arg1" --arg arg2 "arg2"
{
  "key1": "arg1",
  "key2": "arg2"
}

---

置換 †

• 指定したkeyを持つ値を置換

  echo '{"key1":"val1","key2":"val2"}' | jq 'if has("key1") then .key1 = "rep1" else . end'
  {
    "key1": "rep1",
    "key2": "val"
  }

• 複数の値を置換

  echo '{"key1":"val1","key2":"val2"}' | jq '.key1 = "rep1" | .key2 = "rep2"'
  {
    "key1": "rep1",
    "key2": "rep2"
  }

---

map(x), map_values(x): 各要素に同じフィルタを適用 †

• map(x), map_values(x)

• 配列に対して同じフィルタ(+1)を適用

  echo '[1, 2, 3]' | jq 'map(.+1)'
  [
    2,
    3,
    4
  ]
  
  # 以下と同じ
  echo '[1, 2, 3]' | jq '[.[] | .+1]'

• objectに対して、同じフィルタ(+1)を適用

  echo '{"a": 1, "b": 2, "c": 3}' | jq 'map_values(.+1)'
  {
    "a": 2,
    "b": 3,
    "c": 4
  }
  
  # 以下と同じ
  echo '{"a": 1, "b": 2, "c": 3}' | jq '.[] |= .+1'

---

一部の項目だけダブルクオートで括る †

echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r '.[] | ["\""+.name+"\"", .val] | @tsv'
"foo"   10
"bar"   20

---

unixtimeから日付文字列へ変換 †

• jq-1.5-1-a5b5cbe

  echo '{"unixtime": 1575936000}' | jq '(.unixtime | todate)'
  "2019-12-10T00:00:00Z"
  
  echo '{"unixtime": 1575936000}' | jq '(.unixtime | strftime("%Y-%m-%dT%H:%M:%SZ"))'
  "2019-12-10T00:00:00Z"
  
  # 入力元が文字列の場合
  echo '{"unixtime": "1575936000"}' | jq '(.unixtime | tonumber | todate)'
  "2019-12-10T00:00:00Z"

---

日付文字列からunixtimeへの変換 †

• jq

  echo '{"date": "2019-12-10"}' | jq '(.date + "T00:00:00Z" | fromdate)'
  1575936000

• date

  date +%s -d '2019-12-10'
  1575903600

---

sort, sort_by: ソート †

• sort: arrayをソート。逆順は「| reverse」を付ける

  echo '[4,3,2]' | jq 'sort'
  [
    2,
    3,
    4
  ]

• sort_by: mapのarrayを「.id」でソート。逆順は「| reverse」を付ける

  echo '[{"id":4}, {"id":3}, {"id":2}]' | jq 'sort_by(.id)'
  [
    {
      "id": 2
    },
    {
      "id": 3
    },
    {
      "id": 4
    }
  ]

---

nullの扱い †

• .val != nullのデータだけ選択

  jq -n '{"key":"foo1", "val": 1},{"key":"foo2","val":null} | select(.val != null)'
  {
    "key": "foo1",
    "val": 1
  }

• 配列から != nullの要素だけ選択

  jq -n '["a","b",null] | map(select(.!=null))'
  [
    "a",
    "b"
  ]

---

del(): 指定要素の削除 †

• .valを削除

  jq -n '{"key":"foo1", "val": 1},{"key":"foo2","val":null} | del(.val)'
  {
    "key": "foo1"
  }
  {
    "key": "foo2"
  }

---

gojq: Go言語版jq †

• itchyny/gojq: Pure Go implementation of jq

• 記事
  • jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ

---

一部の配列を文字列へ変換したい。 †

• 全体はtsvで出力。ResourceRecords[] は複数の値があるので、カンマ区切りに変換。AliasTargetの場合もある。
• join()は配列しか受け取らないので、「[.ResourceRecords[].Value]」で配列に変換している。
  • 配列に変換しないと、「Cannot iterate over string」エラー。
  • nullが含まれていてもカンマが増える
• 「| sort」でソートも出来るが、「,val1,val2」のように前にカンマが付く。

• 例

  echo '
  {
      "ResourceRecordSets": [
          {
              "ResourceRecords": [
                  {
                      "Value": "ec2-xxx-xxx-xxx-001.ap-northeast-1.compute.amazonaws.com"
                  },
                  {
                      "Value": "ec2-xxx-xxx-xxx-002.ap-northeast-1.compute.amazonaws.com"
                  }
              ], 
              "Type": "CNAME", 
              "Name": "roundrobin.example.com.", 
              "TTL": 300
          }, 
          {
              "AliasTarget": {
                  "HostedZoneId": "XXXXXXXXXX", 
                  "EvaluateTargetHealth": false, 
                  "DNSName": "web-1234567890.ap-northeast-1.elb.amazonaws.com."
              }, 
              "Type": "A", 
              "Name": "www.example.com."
          }
     ]
  }
  ' | jq -r '.ResourceRecordSets[] | select(.Type | test("CNAME|AAAA|^A$")) | [.Name, .Type, ([.ResourceRecords[]?.Value, .AliasTarget?.DNSName] | join(","))] |@tsv'
  
  roundrobin.example.com.	CNAME	ec2-xxx-xxx-xxx-001.ap-northeast-1.compute.amazonaws.com,ec2-xxx-xxx-xxx-002.ap-northeast-1.compute.amazonaws.com,
  www.example.com.	A	web-1234567890.ap-northeast-1.elb.amazonaws.com.

---

select(): 条件を指定して抽出 †

• contains("str"): strを含む

  echo '[{"name":"foo123a"},{"name":"bar123b"}]' | jq '.[] | select(.name | contains("oo"))'
  
  {
    "name": "foo123a"
  }

• startswith("str"): strから始まる

  echo '[{"name":"foo123a"},{"name":"bar123b"}]' | jq '.[] | select(.name | startswith("foo"))'
  
  {
    "name": "foo123a"
  }

• endswith("str"): strで終わる

  echo '[{"name":"foo123a"},{"name":"bar123b"}]' | jq '.[] | select(.name | endswith("b"))'
  
  {
    "name": "bar123b"
  }

• 親のkeyは異なるが、「".enabled": false」 の項目だけ抽出する

  echo '{"a":{"enabled":true, "name":"foo"},"b":{"enabled":false, "name":"bar"}}' | jq '. | map(select(.enabled == false))'
  
  [
    {
      "enabled": false,
      "name": "bar"
    }
  ]

• td-agent(fluentd) で buffer_queue_length > 0 のものだけを選択

  curl -s localhost:24220/api/plugins.json | jq '.plugins[] | select(.buffer_queue_length > 0)'

• 完全一致

  select(.Value == "example")

• 正規表現を使って検索

  select(.Type | test("CNAME|AAAA|^A$"))

---

dictから指定キーを複数取り出す †

echo '{
	"properties": [{
			"name": "instanceFamily",
			"value": "t3"
		},
		{
			"name": "productDescription",
			"value": "Linux/UNIX"
		},
		{
			"name": "instanceType",
			"value": "t3.medium"
		}
	]
}' | jq -r '.
| [
(.properties[] | select(.name == "instanceType").value),
(.properties[] | select(.name == "instanceFamily").value)
]
| @tsv'

t3.medium       t3

---

nullを無視して検索 †

select()する時にnullが混ざっていると「Cannot iterate over null (null)」が出る。

• .[]?

  Like .[], but no errors will be output if . is not an array or object.

• 例: Valueに"example2" を含むレコードを出力

  echo '{"ResourceRecordSets":[{"AliasTarget":{"HostedZoneId":"example","EvaluateTargetHealth":false,"DNSName":"example.ap-northeast-1.elb.amazonaws.com."},"Type":"A","Name":"example.com."},{"ResourceRecords":[{"Value":"example2.ap-northeast-1.elb.amazonaws.com."}],"Type":"CNAME","Name":"www.example.com.","TTL":300}]}' \
  | jq '.ResourceRecordSets[] | select(.ResourceRecords[]?.Value | test("example2"))'

---

出力形式指定: csv, tsv, etc †

• Format strings and escaping
  • @text, @json, @html, @uri, @csv, @tsv, @sh, @base64, @base64d

• dict型をarray型へ変換後、@csv出力

  echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r '.[] | [.name, .val] | @csv'
  "foo",10
  "bar",20

• @shで出力

  echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r '.[] | [.name, .val] | @sh'
  'foo' 10
  'bar' 20

• 記事
  • 配列やnull（特定のキーがない）があるJSONからjqでTSV作ってみた | Developers.IO

---

文字列を出力に追加 †

• 文字列を先頭に追加。@csvで出力

  region=ap-northeast-1
  echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r --arg region "$region" '.[] | [$region, .name, .val] | @csv'
  
  "ap-northeast-1","foo",10
  "ap-northeast-1","bar",20

• 文字列を先頭に追加。文字列として結合

  region=ap-northeast-1
  echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r --arg region "$region," '$region + .[].name'
  
  ap-northeast-1,foo
  ap-northeast-1,bar

---

スペース(whitespace)区切り †

• 「join(" ")」できる項目は文字列のみ。
• 数値は「tostring」で文字列に変換する必要がある。

  echo '{"data": ["0","1","2"]}' | jq -r '.data | join(" ")'
  0 1 2
  
  echo '[ { "name": "foo", "val": 10 }, { "name": "bar", "val": 20 }  ]' | jq -r '.[] | [.name, .val|tostring] | join(" ")'
  foo 10
  bar 20

---

件数、合計、平均、最大、最小 †

• 記事
  • jqコマンドでJSONのキーの集計(キーの数・合計・平均・最大・最小等を求める)を行う | 俺的備忘録 〜なんかいろいろ〜

• 件数: length
• 合計: add
• 平均: add/length
• 最大: max
• 最小: min

• 例：valを元に計算

  echo '[ { "id": 1, "val": 10 }, { "id": 2, "val": 20 }  ]' | jq '[.[].val] | length, add, add/length, max, min'
  2  # length
  30 # add
  15 # add/length
  20 # max
  10 # min

---

インストール †

• CentOS 7: epelリポジトリにある

  sudo yum install jq --enablerepo=epel

• Ubuntu 18.04 LTS:

  sudo apt install jq

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

---

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件

---