Memo/AmazonWebServices/OpenSearch(Elasticsearch)

OpenSearch(Elasticsearch) 全文検索エンジン

OpenSearch(Elasticsearch) 全文検索エンジン †

Elasticsearch開発元がライセンス変更したので、AWSがforkしてOpenSearchになった。

Amazon ElasticsearchがAmazon OpenSearch Serviceに名称を変更：CodeZine（コードジン）

Amazon Elasticsearch Service（Elasticsearch を簡単にデプロイ・操作・スケーリング）| AWS
- Elasticsearch: Lucene(全文検索エンジン)をベース
- Kibana: 準リアルタイムにElasticsearchに入れたログを分析して表示。

コスト
- 検証/開発用: t3.small.search 1台から
- 本番、可用性を上げる場合: マスターノード最低3台(t3.small.search)、データノード最低2台(m5.large.search)となるので、かなり高い
- ストレージも1日のインデックスサイズから試算するより数倍大きいEBSが必要なので高い。data node 1台あたり512GBの上限があるので、それ以上の場合は高くなる
  - ストレージ要件の計算

RI
- t2のRIは無い。
- t3.medium.elasticsearch。それ以下は無い

記事

↑

ディスクサイズの試算 †

ストレージ要件の計算
Source data * (1 + number of replicas) * 1.45 = minimum storage requirement

minimum storage requirement / number of data node = storage on data node

EBS ボリュームサイズのクォータ
m5.large.search = max 512GB

number_of_replicasの取得

os_endpoint=https://search-access2-edwtfevernq4kklyjrdkx7hwti.ap-northeast-1.es.amazonaws.com
index=prod-access-2023-04-10

curl -s $os_endpoint/$index/_settings?pretty | jq -r '. | map(select(.settings))[] | .settings.index.number_of_replicas'

1

例：1日10GBのデータを42日(6週間)保存する場合のEBSサイズの試算

(10 GB * 42 day) * (1 + 1 replica) * 1.45 = 1218GB
# data node 1台あたり、最大512GBなので 3台必要
1218GB / 3 data node = 406GB

↑

パフォーマンスチューニング †

記事:

Performance tuning - OpenSearch documentation

Amazon OpenSearch Service でのインデックス作成パフォーマンスを向上させる | AWS re:Post

↑

curlでの操作 †

url末尾に"?pretty"をつけると、出力のjsonが人間が読みやすいように整形されて出力される。

例: OpenSearch 1.3

os_endpoint="https://search-EXAMPLE-dummy.ap-northeast-1.es.amazonaws.com"

# index一覧
curl -s $os_endpoint/_cat/indices?v\&s=i

health status index                                       uuid                   pri rep docs.count docs.deleted store.size pri.store.size

green  open   example-2023-03-25                       dummyUUID   5   1    1010529            0    349.1mb        174.5mb
g
...

example-* のindexを削除する

# list index
index=$(curl -s -X GET "${os_endpoint}/_cat/indices?v" | grep -o -P ' example-[^ ]+' | tr -d ' ')

# delete old index
for i in $index; do \
echo "# $i"; \
curl -s -X DELETE "${os_endpoint}/${i}"; \
echo; \
done

↑

ログの有効化 †

有効にするとCloudWatch Logsに記録される
作成されたCloudWatch Logsに保持期間を設定した方が良い。ログが増えるとコストも増えるため。
ログ有効後、無効化するとクラスターの再作成が実行された。データは保持されるが、30分程度設定が変更できなくなる。

エラーログの有効化:

Amazon CloudWatch Logs を用いて OpenSearch ログをモニタリングする - Amazon OpenSearch Service

OpenSearchの設定から、ログ発行を有効にする
再度失敗するリクエストを送信
数分待つと、ロググループ「/aws/OpenSearchService/domains/<domain>/application-logs」に新しいログイベントが記録される
保持期間が未設定なので、1日等設定する。

↑

トラブルシューティング †

Amazon OpenSearch Service での検索または書き込み拒否を解決する OpenSearch側のスペック不足など

↑

This interval creates too many buckets to show in the selected time range, so it has been scaled to X hours. †

長期間を指定すると、アグリゲーションの間隔が長くなる
https://opensearch.org/docs/1.3/api-reference/cluster-api/cluster-settings/
search.max_buckets Integer The maximum number of aggregation buckets allowed in a single response. Default is 65536.

".defaults.search.max_buckets"の取得

os_endpoint=https://search-<domain>-****.ap-northeast-1.es.amazonaws.com

curl -s "$os_endpoint/_cluster/settings?include_defaults=true&pretty" | jq -r '.defaults.search.max_buckets'

65535

AWS OpenSearchでは、"/_cluster/settings" の一部のみ変更が許可されている。"search.max_buckets"は変更できない。
- https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/supported-operations.html#version_opensearch_1.3

↑

Failed to fetch †

ストレージサイズを増やした場合、クラスター新規構築 -> データコピーをしているようだ。
その後、AWS console上で「API Error: Failed to fetch」が表示される部分があった
- クラスターのヘルス > 概要
- インデックス

↑

Serverless †

料金: 最低$700/month程度(ストレージ除く)。ec2版は検証/開発用には1台から利用できるので安い。
大規模になるほど、運用が楽になるメリットはあるか。

制限事項:

Limitations
マルチアカウント/マルチリージョン非対応
API/pluginに一部互換性が無い
user/password認証非対応。IAMのみ
IP制限できるか不明

記事:

[速報] Amazon Kinesis Data Firehose Amazon OpenSearch Serverless へのデータストリーム配信をサポートしました！ #reinvent | DevelopersIO

↑

index template: data type型等を変更 †

opensearch APIを直接操作する場合、index templateが設定してあれば良い
dashbordから検索する場合は、dashbord上でindex patternの設定が別に必要

例: text型をinteger型に変更したい。(dashbordだと、string, numberと表記される)

新規indexは index templateを設定する
- Index templates - OpenSearch documentation

既存index
- Create or update mappings - OpenSearch documentation
- これでは失敗した
- AWS OpenSearch インデックスのマッピングのデータ型変更の手順 - Qiita
  - 一時indexを作って変更する方法

↑

firehoseからOpensearchへ送信 †

OpenSearch_2.3
- 2022-11: firehose作成時に未サポートのエラーが出る「unsupported version: OpenSearch_2.3」
  - https://docs.aws.amazon.com/firehose/latest/dev/create-destination.html#create-destination-elasticsearch
  - docの言語を上の選択からEnglishに変えると注釈に書いてある。日本語docには書いてない。

OpenSearch_1.3
- 2022-11: firehoseから転送できる。

↑

別アカウントからの送信/クロスアカウント/マルチアカウント †

domain_arnとcluster_endpointは排他。
- OpenSearchサービス先へのクロスアカウント間の配信
- domain_arn: firehoseとOpenSearchが同AWSアカウントの場合。IAM role arnを指定する。
- cluster_endpoint: firehoseとOpenSearchが別のAWSアカウントの場合。OpenSearch endpointを指定。
- AWS console上では、domain_arnを使って同一アカウントのみしか設定できない。 APIやawscli等を使うとcluster_endpointを指定できる。

例: firehoseのIAM roleから、opensearchへアクセス検証で失敗。Opensearch側で拒否されている
```
HTTP/1.1 400 Bad Request
...
Verify that the IAM role has access to the Elasticsearch cluster endpoint: https://search-<domain>...
```
- 別アカウントの場合は、cluster_endpointを指定する
- OpenSearch側のセキュリティ設定を見直す。参考: Memo/AmazonWebServices/KinesisDataFirehose#a58fc604

記事:

Kinesis Data Firehose から Amazon OpenSearch Service へのクロスアカウントストリーミングをセットアップするにはどうすればよいですか?

↑

インデックスのサイズ縮小 †

デフォルトの圧縮形式: LZ4. 「best_compression形式(DEFLATE)」を指定する事で、小さくなる。既存のindexは新規追加分から適用される。全て変換したい場合は「_forcemerge」を使うようだ。

記事:

↑

ISM(Index State Management): インデックスの自動管理 †

Index State Management - Amazon Elasticsearch Service
- indexを30日後にread_only状態へ。90日後に削除等の設定できる。

slack等への通知:

notification: https://opensearch.org/docs/1.3/im-plugin/ism/policies/#notification
error_notification: https://opensearch.org/docs/1.3/im-plugin/ism/policies/#error-notifications

記事:

ISM を使用して Amazon ES で低ストレージ容量を管理する

↑

トラブルシューティング †

記事:

指定indexのISMの状態チェック

os_endpoint=https://search-<domain>-****.ap-northeast-1.es.amazonaws.com
index=example-2023-04-01

curl -s $os_endpoint/_plugins/_ism/explain/${index}?pretty

epoc unixtime msから、iso-8601フォーマットへ変換

date -d @$((1676074602001/1000)) --iso-8601=sec

2023-02-11T09:16:42+09:00

↑

ISM templateが実行されない †

環境:

AWS OpenSearch v1.3

現象:

ISM templateが実行されない。例えばISM templateで「min_index_age: 7d」として定義しても、なぜか実行されない。indexには正常にISM templateが適用されている。

一時的な対策:

ISM templateをindexから削除、追加する。これでISMの通りにindexが消えた。

例: 2023-04-01～30までのindexのpolicyを削除、追加する

os_endpoint=https://search-<domain>-****.ap-northeast-1.es.amazonaws.com
index=example-2023-04-

for i in $(seq -w 01 30); do \
curl -s -X POST "$os_endpoint/_plugins/_ism/remove/${index}$i?pretty" ; \
curl -s -X POST -H "Content-Type: application/json" -d '{ "policy_id": "cleanup-prod-access" }' "$os_endpoint/_plugins/_ism/add/${index}$i?pretty" ; \
done

Memo/AmazonWebServices/OpenSearch(Elasticsearch)

OpenSearch(Elasticsearch) 全文検索エンジン †

ディスクサイズの試算 †

パフォーマンスチューニング †

curlでの操作 †

ログの有効化 †

トラブルシューティング †

This interval creates too many buckets to show in the selected time range, so it has been scaled to X hours. †

Failed to fetch †

Serverless †

index template: data type型等を変更 †

firehoseからOpensearchへ送信 †

別アカウントからの送信/クロスアカウント/マルチアカウント †

インデックスのサイズ縮小 †

ISM(Index State Management): インデックスの自動管理 †

トラブルシューティング †

ISM templateが実行されない †

Software

Programming

Game

雑記

連絡先

TreeView

人気の10件

最新の10件