Athena †
Workgroup: クエリのスキャン量上限設定、コスト管理、ユーザ権限管理 †
- workgroup毎に
- 1クエリ1TBスキャンあたり、$5かかるので、上限を設定したい
- 出力s3 bucketや暗号化方法を指定できる
- 複数のタグを設定し、識別できる。このタグでBilling画面で識別できる。
- workgroupに割り当てたクエリの設定を上書きできる。
athenacli: athenaの利用に特化したCLI †
- awscliの欠点
- 手動で試す場合、非同期なので使いにくい。
- 結果はS3のファイルに出るため、ダウンロードする手間がかかる。
awscliからの利用 †
実行順序:
- start-query-execution: クエリの実行。DDL(CREATE/ALTER TABLE)もSQLもこれ。非同期なのですぐ完了する。idが出る
- get-query-execution: 指定idのステータス確認。定期的に実行して完了/エラーまで待つ
- get-query-results: 指定idが完了していれば、S3に結果のファイルが出ている
- aws s3 cp 等でlocalに結果のcsv等をダウンロード
SQL実行順序:
- CREATE TABLE table_name
- MSCK REPAIR TABLE table_name
- これを実行しないと、selectしても結果は空になる。
- SELECT ... from table_name
- 注意点
- SQL,DDLは1回に一つだけ。";"で区切ってもエラーになる。
- 「no viable alternative at input」がよく発生するが、詳細がわからないため解決に苦労する。
- "\"は"\\\\"と書く必要がある。
- 項目の順序も重要
- CSV
- csv.gz ファイルに対応しているので圧縮しておく。
- 元のCSVにダブルクオート付きの場合、「ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'」を指定しないと、ダブルクオートが二重に出力される。
- 例: csv.gz のファイルで、ダブルクオート付き、ヘッダ行は1行
local sql=$(cat << EOD
CREATE EXTERNAL TABLE IF NOT EXISTS
dns (
Date string,
QueryType string,
Client string,
SendReceive string,
Protocol string,
RecordType string,
Query string,
Results string
)
PARTITIONED BY (
year int,
month int,
day int
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'separatorChar' = ',',
'quoteChar' = '\"',
'escapeChar' = '\\\\'
)
STORED AS TEXTFILE
LOCATION 's3://${S3_BUCKET}/${prefix}id=DNS/'
TBLPROPERTIES (
'skip.header.line.count'='1',
'has_encrypted_data'='false'
)
;
EOD
)
ベストプラクティス †
- ファイルフォーマット
- Parquet, ORC, Text files, Avro, CSV, TSV, and JSON
- SQL
- 「LIMIT 10000」のように制限する
- JOINする場合、大きいTABLEを左側に、小さいTABLEを右側に指定する。「FROM big_table, little_table」
- GROUP BYは、カーディナリティ(カラムに含まれている種類)が高い順に指定する。文字列ではなく、数値を指定する。
- LIKEは「regexp_like(l_comment, 'wake|regular|express|sleep|hello')」で一つに纏める。
- ユニークな個数を調べる場合「count(distinct l_comment)」の代わりに、「approx_distinct(l_comment)」を使う。ただし、誤差が2.3%出る
- 「SELECT * 」の代わりに「SELECT customer.c_name」のように明示的にカラム名を指定する
パーティション分割 †
Athenaは1TBのスキャンあたり、1回$5かかるため、スキャンデータを減らす工夫をしないと、コストが非常に増える。
- 検索時によく指定する、日付、ホスト名、アプリケーション名等で分割すると良さそう
- CREATE TABLEした直後にselectしても何も出ない。以下を実行する必要がある。
![[PukiWiki]](image/owl.png "[PukiWiki]")
