S3 †

• バケット作成：LocationConstraintを指定しないとus-east-1に作成される

  aws s3api create-bucket --bucket mybucket --create-bucket-configuration LocationConstraint=ap-northeast-1

• その他

  # バケット一覧
  aws s3 ls s3://mybucket
  
  # s3バケットを再帰的にローカルにコピー
  aws s3 cp s3://mybucket/myfolder myfolder --recursive
  
  # s3バケットとローカルを同期
  aws s3 sync s3://mybucket/myfolder myfolder --exclude *.tmp
  
  # デフォルトに指定したリージョン以外の操作には --region オプションを付ける
  aws s3 cp s3://mybucket/myfolder myfolder --recursive --region ap-northeast-1

• バケット内一括削除。確認は無いので注意

  aws s3 rm s3://mybucket/ --recursive

• バケットライフサイクルの指定。JSONが複雑なのでManagement Consoleで設定して、その値を取得すると楽

  aws s3api get-bucket-lifecycle --bucket mybucket > bucket-lifecycle.30.json
  
  cat bucket-lifecycle.30.json 
  {
      "Rules": [
          {
              "Status": "Enabled",
              "Prefix": "",
              "Expiration": {
                  "Days": 30
              },
              "ID": "lifecycle-30"
          }
      ]
  }
  
  aws s3api put-bucket-lifecycle --bucket mybucket --lifecycle-configuration file://bucket-lifecycle.30.json

aws s3 lsでバケット作成日がregion指定で異なる値を返す †

• 環境
  • aws-cli/2.1.0 Python/3.7.3 Linux/4.19.128-microsoft-standard exe/x86_64.ubuntu.18
  • aws-cli/1.18.176 Python/3.6.8 Linux/4.19.128-microsoft-standard botocore/1.19.16

• 確認

  aws s3 ls --profile example --region us-east-1 | grep my-old-bucket
  2014-10-24 16:06:51 my-old-bucket
  
  aws s3 ls --profile example --region ap-northeast-1 | grep my-old-bucket
  2020-06-20 03:46:31 my-old-bucket

• 原因
  • list-buckets s3api showing different creation dates ? · Issue #3597 · aws/aws-cli
  • AWS consoleでの作成日はus-east-1リージョンの値を表示している

keyの部分一致したobjectを抽出 †

• list-objects-v2 — AWS CLI 1.18.174 Command Reference

aws s3api list-objects-v2 --bucket <bucket> --query "Contents[?contains(Key, '<key name>')]" --profile <profile>

• 前方一致で良い場合は「--prefix <key name>」が使える

ls: key名だけの取得 †

• s3を使う方法

  aws s3 ls s3://example/ --output text | awk '{print $4;}'

• s3apiを使う方法
  • --prefixを付ける場合、先頭に"/"を付けない

    aws s3api list-objects-v2 \
     --bucket example \
     --prefix prefix/ \
     --query 'Contents[].[Key]' \
     --output text

object数と合計ファイルサイズ †

• Amazon CloudWatch を使用したメトリクスのモニタリング - Amazon Simple Storage Service
  • BucketSizeBytes, NumberOfObjectsで取得できる。
  • 更新頻度は1日1回

• 記事
  • S3のバケット毎の使用量が欲しいんです ｜ DevelopersIO CloudWatchのメトリクスから計算する方法

• awscli cloudwatchから取得。速い

  aws_profile=example
  region=ap-northeast-1
  bucket_name=example-bucket
  start_time="$(date +%Y-%m-%d -d '-1 day')T00:00:00Z"
  end_time="$(date +%Y-%m-%d -d '-1 day')T23:59:59Z"
  period=86400
  bucket_size_info=$(aws cloudwatch get-metric-statistics \
  --profile ${aws_profile} \
  --region ${region} \
  --namespace AWS/S3 \
  --metric-name BucketSizeBytes \
  --dimensions Name=BucketName,Value=${bucket_name} Name=StorageType,Value=StandardStorage \
  --statistics Sum \
  --start-time ${start_time} \
  --end-time ${end_time} \
  --period ${period})
  
  bucket_size=$(echo ${bucket_size_info} | jq -r '.Datapoints[].Sum')
  bucket_size_gb=$(echo "scale=2; ${bucket_size} / 1024 / 1024 / 1024" | bc)

• ファイル数が欲しい場合

  bucket_objects=$(aws cloudwatch get-metric-statistics \
  --profile ${aws_profile} \
  --region ${region} \
  --namespace AWS/S3 \
  --metric-name NumberOfObjects \
  --dimensions Name=BucketName,Value=${bucket_name} Name=StorageType,Value=AllStorageTypes \
  --statistics Average \
  --start-time ${start_time} \
  --end-time ${end_time} \
  --period ${period})
  
  bucket_objects_count=$(echo ${bucket_objects} | jq -r '.Datapoints[].Average')

• awscli s3: このコマンドはオブジェクトが多いと非常に遅い。CloudWatchのメトリクスを参照した方が良い

  aws s3 ls s3://my-bucket/ --recursive --human --sum --profile example
  ...
  Total Objects: 14
     Total Size: 56.5 KiB

署名付オブジェクトURLの有効期限 †

• awscliのpresignはダウンロードのみ対応。
• boto3の s3.generate_presigned_url()でput可能なpresign urlを払い出せるようだ。
• 使用したアクセスキーの有効期限により、指定した有効期限より短い時間で切れる事がある。
  • IAM user: max 7 days
  • IAM instance profile: max 6 hour
    • URLがIAM userより遥かに長い
  • STS: max 36 hour
    • URLがIAM userより遥かに長い

• 記事
  • 【AWS S3】S3 Presigned URLの仕組みを調べてみた - Qiita
  • S3 バケットの署名付き URL が、指定した有効期限より前に失効する
  • [小ネタ]S3の署名付きURLを利用して、非AWSユーザにWindows PCからファイルをアップロードしてもらった話 ｜ DevelopersIO
  • Boto3でS3のpre-signed URLを生成する ｜ DevelopersIO

署名付きオブジェクトURLの生成 †

• 署名付きオブジェクトURLの生成 - AWS
  • S3オブジェクトをダウンロードするための期限付きURLを生成できる
  • AWS CLI v1.10.59以降で対応
  • AWS SDKで可能

• AWS CLI v1.10.59から presign が実装された。例:1時間で有効期限が切れるURLを発行。IAMでS3Readonly権限を付与したアカウントを用意した後、

  aws s3 presign s3://mybucket/example.txt --expires-in 3600

• AWS CLI(2015-10-15)では未実装だが、botoに実装済みなので、短いスクリプトで生成できるようだ
  • Support generation of signed URL's for S3 access Issue #462 aws/aws-cli GitHub

• 記事
  • 【小ネタ】AWS CLIでS3のPre-Signed URLを生成できるようになっていました！ ｜ Developers.IO
  • S3 の事前署名付き（期限付き）URL を生成する | cloudpack技術情報サイト

S3 cp: ワイルドカードを使う †

• Use of Exclude and Include Filters

• 記事
  • [小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする ｜ Developers.IO

• 以下のような指定はできない。

  aws s3 cp s3://mybucket/logs/*.log ./

• --recursive --exclude "*" --include "..." を使う

  aws s3 cp s3://mybucket/ ./ --recursive --exclude "*" --include "*.log"

S3 sync †

• 例: test01とtest02だけをダウンロードしたい

  mybucket
    |-test01
    |-test02
    |-test03

aws s3 sync s3://mybucket/ ./ --exclude "*" --include "test01/*" --include "test02/*"

• 記事
  • AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 ｜ DevelopersIO
  • Amazon S3 データ転送を最適化する

S3のbucket policy取得 †

AWS_PROFILE=default
for bucket in $(aws --profile $AWS_PROFILE s3api list-buckets --query "Buckets[].[Name]" --output text); do \
region=$(aws --profile $AWS_PROFILE s3api get-bucket-location --bucket $bucket --output text); \
echo "---- $bucket"; \
aws --profile $AWS_PROFILE --region $region s3api get-bucket-policy --bucket $bucket; \
done > $AWS_PROFILE.s3.bucket-policy.json