Memo/AmazonWebServices/awscli/S3

S3 †

• バケット作成：LocationConstraintを指定しないとus-east-1に作成される

  aws s3api create-bucket --bucket mybucket --create-bucket-configuration LocationConstraint=ap-northeast-1

• その他

  # バケット一覧
  aws s3 ls s3://mybucket
  
  # s3バケットを再帰的にローカルにコピー
  aws s3 cp s3://mybucket/myfolder myfolder --recursive
  
  # s3バケットとローカルを同期
  aws s3 sync s3://mybucket/myfolder myfolder --exclude *.tmp --exact-timestamps
  
  # デフォルトに指定したリージョン以外の操作には --region オプションを付ける
  aws s3 cp s3://mybucket/myfolder myfolder --recursive --region ap-northeast-1

• バケット内一括削除。確認は無いので注意

  aws s3 rm s3://mybucket/ --recursive

• バケットライフサイクルの指定。JSONが複雑なのでManagement Consoleで設定して、その値を取得すると楽

  aws s3api get-bucket-lifecycle --bucket mybucket > bucket-lifecycle.30.json
  
  cat bucket-lifecycle.30.json 
  {
      "Rules": [
          {
              "Status": "Enabled",
              "Prefix": "",
              "Expiration": {
                  "Days": 30
              },
              "ID": "lifecycle-30"
          }
      ]
  }
  
  aws s3api put-bucket-lifecycle --bucket mybucket --lifecycle-configuration file://bucket-lifecycle.30.json

list-objects-v2: 高速に検索。keyの部分一致したobjectを抽出 †

• s3 objectが数百万ある場合、"aws s3 ls s3://mybucket/ | grep example" は非常に遅い。
• list-objects-v2 — AWS CLI 1.18.174 Command Reference
  • 前方一致で良い場合は「--prefix <key name>」が使える。高速

    aws s3api list-objects-v2 --bucket <bucket> --prefix <path/to/key1> --profile <profile>

  • 指定文字がKeyに含まれているものだけ抽出

    --query "Contents[?contains(Key, '<key name>')]"

bucket間でのコピー †

• Amazon S3 バケット間でオブジェクトをコピーする

• cp, syncが使える。
• syncの場合、ループしないように注意したほうが良さそう

• 例 dir1/ 以下を /へ移動したい

  s3://example
    /dir1
      /dummy1.txt
      /dummy1.txt

aws s3 sync s3://example/dir1/ s3://example/ --profile example --exact-timestamps

objectのタイムゾーンを表示する †

要望は上がっている

• Show timezone in "s3 ls" output · Issue #5242 · aws/aws-cli

• 環境
  • aws-cli/2.1.27 Python/3.7.3 Linux/5.4.72-microsoft-standard-WSL2 exe/x86_64.ubuntu.18 prompt/off

• s3 lsだと、タイムゾーンが非表示。デフォルトではlocal TZのようだ

  # TZ=JSTの場合
  aws s3 ls s3://my-bucket/ --profile example
  
  2021-08-25 12:05:23          5 example1.html
  2021-03-04 17:35:57         38 index.html
  
  # TZ=UTCの場合
  TZ=UTC aws s3 ls s3://my-bucket/ --profile example
  
  2021-08-25 03:05:23          5 example1.html
  2021-03-04 08:35:57         38 index.html

• s3apiだとiso-8601形式で表示される。 "--prefix i" とすると、index.htmlだけ表示される。

  aws s3api list-objects --query 'Contents[].[Key, LastModified]' --bucket my-bucket  --profile example --output text
  
  example1.html   2021-08-25T03:05:23+00:00
  index.html      2021-03-04T08:35:57+00:00

aws s3 lsでバケット作成日がregion指定で異なる値を返す †

• 環境
  • aws-cli/2.1.0 Python/3.7.3 Linux/4.19.128-microsoft-standard exe/x86_64.ubuntu.18
  • aws-cli/1.18.176 Python/3.6.8 Linux/4.19.128-microsoft-standard botocore/1.19.16

• 確認

  aws s3 ls --profile example --region us-east-1 | grep my-old-bucket
  2014-10-24 16:06:51 my-old-bucket
  
  aws s3 ls --profile example --region ap-northeast-1 | grep my-old-bucket
  2020-06-20 03:46:31 my-old-bucket

• 原因
  • list-buckets s3api showing different creation dates ? · Issue #3597 · aws/aws-cli
  • AWS consoleでの作成日はus-east-1リージョンの値を表示している

ls: key名だけの取得 †

• s3を使う方法

  aws s3 ls s3://example/ --output text | awk '{print $4;}'

• s3apiを使う方法
  • --prefixを付ける場合、先頭に"/"を付けない

    aws s3api list-objects-v2 \
     --bucket example \
     --prefix prefix/ \
     --query 'Contents[].[Key]' \
     --output text

object数と合計ファイルサイズ †

• Amazon CloudWatch を使用したメトリクスのモニタリング - Amazon Simple Storage Service
  • BucketSizeBytes, NumberOfObjectsで取得できる。
  • StorageType = AllStorageTypesが指定できない。 (必須。StandardStorage, GlacierStorage等個別に分かれている。AllStorageTypesを指定しても空になる)
  • 更新頻度は1日1回

• 記事
  • S3のバケット毎の使用量が欲しいんです ｜ DevelopersIO CloudWatchのメトリクスから計算する方法

• awscli cloudwatchから取得。速い

  aws_profile=example
  region=ap-northeast-1
  bucket_name=example-bucket
  start_time="$(date +%Y-%m-%d -d '-1 day')T00:00:00Z"
  end_time="$(date +%Y-%m-%d -d '-1 day')T23:59:59Z"
  period=86400
  
  cat > /tmp/mdq.json << EOF
  [
  {"Id":"t0","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"StandardStorage"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t1","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"StandardIAStorage"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t2","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"StandardIASizeOverhead"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t3","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"StandardIAObjectOverhead"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t4","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"GlacierStorage"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t5","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"GlacierObjectOverhead"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t6","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"GlacierS3ObjectOverhead"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t7","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"GlacierInstantRetrievalStorage"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"t8","MetricStat":{"Metric":{"Namespace":"AWS/S3","MetricName":"BucketSizeBytes","Dimensions":[{"Name":"BucketName","Value":"${bucket_name}"},{"Name":"StorageType","Value":"GlacierIRSizeOverhead"}]},"Period":86400,"Stat":"Sum"},"ReturnData":false},
  {"Id":"total","Expression":"FILL(t0,0)+FILL(t1,0)+FILL(t2,0)+FILL(t3,0)+FILL(t4,0)+FILL(t5,0)+FILL(t6,0)+FILL(t7,0)+FILL(t8,0)","Label":"Total","ReturnData":true}
  ]
  EOF
  
  bucket_size_info=$(aws cloudwatch get-metric-data \
  --profile $aws_profile \
  --region $region \
  --start-time "$start_time" \
  --end-time "$end_time" \
  --metric-data-queries file:///tmp/mdq.json)
  
  bucket_size=$(echo ${bucket_size_info} | jq -r '.MetricDataResults[].Values[0]')
  bucket_size_gb=$(echo "scale=2; ${bucket_size} / 1024 / 1024 / 1024" | bc)

• ファイル数が欲しい場合

  bucket_objects=$(aws cloudwatch get-metric-statistics \
  --profile ${aws_profile} \
  --region ${region} \
  --namespace AWS/S3 \
  --metric-name NumberOfObjects \
  --dimensions Name=BucketName,Value=${bucket_name} Name=StorageType,Value=AllStorageTypes \
  --statistics Average \
  --start-time ${start_time} \
  --end-time ${end_time} \
  --period ${period})
  
  bucket_objects_count=$(echo ${bucket_objects} | jq -r '.Datapoints[].Average')

• awscli s3: このコマンドはオブジェクトが多いと非常に遅い。CloudWatchのメトリクスを参照した方が良い

  aws s3 ls s3://my-bucket/ --recursive --human --sum --profile example
  ...
  Total Objects: 14
     Total Size: 56.5 KiB

署名付オブジェクトURLの有効期限 †

• awscliのpresignはダウンロードのみ対応。
• boto3の s3.generate_presigned_url()でput可能なpresign urlを払い出せるようだ。
• 使用したアクセスキーの有効期限により、指定した有効期限より短い時間で切れる事がある。
  • IAM user: max 7 days
  • IAM instance profile: max 6 hour
    • URLがIAM userより遥かに長い
  • STS: max 36 hour
    • URLがIAM userより遥かに長い

• 記事
  • 【AWS S3】S3 Presigned URLの仕組みを調べてみた - Qiita
  • S3 バケットの署名付き URL が、指定した有効期限より前に失効する
  • [小ネタ]S3の署名付きURLを利用して、非AWSユーザにWindows PCからファイルをアップロードしてもらった話 ｜ DevelopersIO
  • Boto3でS3のpre-signed URLを生成する ｜ DevelopersIO

署名付きオブジェクトURLの生成 †

• 署名付きオブジェクトURLの生成 - AWS
  • S3オブジェクトをダウンロードするための期限付きURLを生成できる
  • AWS CLI v1.10.59以降で対応
  • AWS SDKで可能

• AWS CLI v1.10.59から presign が実装された。例:1時間で有効期限が切れるURLを発行。IAMでS3Readonly権限を付与したアカウントを用意した後、

  aws s3 presign s3://mybucket/example.txt --expires-in 3600

• AWS CLI(2015-10-15)では未実装だが、botoに実装済みなので、短いスクリプトで生成できるようだ
  • Support generation of signed URL's for S3 access Issue #462 aws/aws-cli GitHub

• 例: 複数アカウントの管理 account1でIAM userを管理している。AssumeRoleでaccount2のs3 bucket上のpre-signed URLを作る。
  • IAM role: assumerole-exampleに設定した最大セッション秒が有効期限の上限になるので延長しておく。

    profile=default
    s3_path=s3://example-bucket/example1.gz
    expires_in=$((8*3600))
    
    aws sts assume-role \
      --role-arn "arn:aws:iam::012345678901:role/assumerole-example" \
      --role-session-name "session1" \
      --duration-seconds $expires_in \
      --profile account1 > session1.json
    
    export AWS_REGION=ap-northeast-1
    export AWS_ACCESS_KEY_ID=$(cat session1.json | jq -r '.Credentials.AccessKeyId')
    export AWS_SECRET_ACCESS_KEY=$(cat session1.json | jq -r '.Credentials.SecretAccessKey')
    export AWS_SESSION_TOKEN=$(cat session1.json | jq -r '.Credentials.SessionToken')
    
    aws s3 presign $s3_path --expires-in $expires_in

  • 環境変数AWS_が残っていると、--profileより優先されるため掃除

    unset $(env | grep -o -P '^AWS_[\w\d]+')

• 記事
  • 【小ネタ】AWS CLIでS3のPre-Signed URLを生成できるようになっていました！ ｜ Developers.IO
  • S3 の事前署名付き（期限付き）URL を生成する | cloudpack技術情報サイト

S3 cp: ワイルドカードを使う †

• Use of Exclude and Include Filters

• 記事
  • [小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする ｜ Developers.IO

• 以下のような指定はできない。

  aws s3 cp s3://mybucket/logs/*.log ./

• --recursive --exclude "*" --include "..." を使う

  aws s3 cp s3://mybucket/ ./ --recursive --exclude "*" --include "*.log"

S3 sync †

• sync — AWS CLI 2.17.28 Command Reference
• デフォルトではsync時、ファイルサイズが同じだとスキップされる。"--exact-timestamps" を付けるとファイルのタイムスタンプが異なるものも同期してくれる。

• 例: test01とtest02だけをダウンロードしたい

  mybucket
    |-test01
    |-test02
    |-test03

aws s3 sync s3://mybucket/ ./ --exclude "*" --include "test01/*" --include "test02/*" --exact-timestamps

• 記事
  • AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 ｜ DevelopersIO
  • Amazon S3 データ転送を最適化する

S3のbucket policy取得 †

AWS_PROFILE=default
for bucket in $(aws --profile $AWS_PROFILE s3api list-buckets --query "Buckets[].[Name]" --output text); do \
region=$(aws --profile $AWS_PROFILE s3api get-bucket-location --bucket $bucket --output text); \
echo "---- $bucket"; \
aws --profile $AWS_PROFILE --region $region s3api get-bucket-policy --bucket $bucket; \
done > $AWS_PROFILE.s3.bucket-policy.json

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件