Memo/AmazonWebServices/awscli/EC2

'Memo/AmazonWebServices/awscli/EC2/' には、下位層のページがありません。

awscli ec2 †

---

spotインスタンスのみ抽出/除外 †

• 起動しているspotインスタンスだけ表示

  PROFILE=example
  REGION=ap-northeast-1
  
  aws ec2 describe-instances --filters "Name=instance-state-name,Values=running" "Name=instance-lifecycle,Values=spot" --profile $PROFILE --region $REGION

• 起動しているondemandインスタンスだけ表示。(InstanceLifecycle==null)

  aws ec2 describe-instances --filters "Name=instance-state-name,Values=running" --query 'Reservations[].Instances[?InstanceLifecycle==null]' --profile $PROFILE --region $REGION

---

未使用EIPの検索 †

• AssociationId が空のEIP一覧
  • 「--filters 'Name=association-id,Values='」だと何も表示されないため、jqを使った。

profile=example
region=ap-northeast-1

aws ec2 describe-addresses \
--profile $profile \
--region $region \
--output json \
| jq '.Addresses[] | select(.AssociationId == null)'

{
  "PublicIp": "xxx.xxx.xxx.xxx",
  "AllocationId": "eipalloc-abcdef12",
  "Domain": "vpc",
  "PublicIpv4Pool": "amazon",
  "NetworkBorderGroup": "ap-northeast-1"
}
...

---

EBS IDからEC2の検索 †

• EBSのIDから、EC2インスタンスID, Tag:Nameを取得

  profile=example
  region=ap-northeast-1
  vol_id=vol-1234567890
  
  aws ec2 describe-instances \
  --filters "Name=block-device-mapping.volume-id,Values=${vol_id}" \
  --query 'Reservations[].Instances[].{InstanceId:InstanceId, Name:Tags[?Key==`Name`].Value|[0]}' \
  --output text \
  --profile $profile \
  --region $region

---

jqで結果の取得 †

awscliでjsonで出力した後に、jqで一部分だけを取得したい場合

• Memo/JavaScript/jq#hf66d578

• ec2のNameタグからValueだけを表示

  jq -r '.Reservations[].Instances[].Tags[] | select(.Key == "Name") | .Value' ec2.json

---

Platformでの検索 †

• windowsしか検索できないようだ。Linux系の場合、Noneになる。RedHat等もNone
• RedHat(RHEL)やAmazon Linux等の区別はAMI Name, IDでしかできない？
• RI(Reserved Instance)を購入時にWindows/RedHat等は別なので区別する必要がある

PROFILE=example
aws ec2 describe-instances --profile $PROFILE --filters "Name=platform,Values=windows"

• Platformか、タグにPlatformが含まれていれば表示

  --query 'Reservations[].Instances[].{C010:(Platform||Tags[?Key==`Platform`].Value)|[0]}'

• 記事
  • 【小ネタ】AMIに表示されるOSについての勘違いと実際の動き ｜ DevelopersIO

---

AMIの取得 †

• --dry-run: テスト
• --no-reboot: EC2を再起動しない。

AWS_PROFILE=default
AWS_REGION=ap-northeast-1
INSTANCE_ID=i-xxxxxxxxxxx
NAME="test-web-01.$(date +%Y%m%d)"

aws --profile $AWS_PROFILE --region $AWS_REGION ec2 create-image --instance-id $INSTANCE_ID --no-reboot --name $NAME

---

EC2のホスト一覧の作成 †

• EC2インスタンス一覧(Stateでソート、カラム名に"A_, B_"を付けているのは出力カラム順がアルファベットのため)

  aws ec2 describe-instances \
    --region ap-northeast-1 \
    --query 'sort_by(Reservations[].Instances[].{A_Name:Tags[?Key==`Name`].Value|[0],B_InstanceId:InstanceId,C_PublicDnsName:PublicDnsName,D_State:State.Name}, &D_State)' \
    --output text

  • State=runningのみ

      --filters "Name=instance-state-name,Values=running"

  • タグでソートしたい場合(sort_by(, &A_Name) ではnullが含まれると失敗する)

      --output text | sort

---

EBSの追加と動的拡張 †

• Linux の EBS ボリュームのサイズ、IOPS、またはタイプの変更
• ボリュームサイズ変更後の Linux ファイルシステムの拡張 - Amazon Elastic Compute Cloud

• EBSの追加

  AWS_PROFILE=default
  aws --profile $AWS_PROFILE --region ap-northeast-1 ec2 create-volume --size 10 --volume-type gp2 --availability-zone ap-northeast-1b
  # vol-xxxx
  aws --profile $AWS_PROFILE --region ap-northeast-1 ec2 attach-volume --device /dev/sdf --volume-id vol-xxxx --instance-id i-xxxx

  • ホスト上の作業

    sudo mkdir /mnt/ebs0
    sudo mkfs.ext4 /dev/xvdf
    sudo mount /dev/xvdf /mnt/ebs0
    # /etc/fstab に追加
    sudo vim /etc/fstab
    --
    /dev/xvdf /ext/ebs0 ext4 defaults,nofail 0 0
    --

• EBSのリサイズ: オンラインで動的変更が可能(gp2のみ。standardは除く)

  AWS_REGION=ap-northeast-1
  AWS_PROFILE=example
  aws ec2 modify-volume  --volume-id vol-xxxx --size 20 --profile $AWS_PROFILE --region ap-northeast-1

  • EBS typeがstandardの場合、インスタンスをstop(root volumeの場合)、detach(その他の場合)する必要がある。ついでにgp2に変えてしまうのが良いだろう。

    aws ec2 modify-volume  --volume-id vol-xxxx --size 20 --volume-type gp2 --profile $AWS_PROFILE --region $AWS_REGION

• ホスト上の作業: cloud-initによって、自動的に拡張済みの場合がある。

  df -h

• パーティションがある場合: sudo growpart /dev/xvdf 1
• OSに新しいサイズを認識させる必要がある

  sudo resize2fs /dev/xvdf

---

Private DNSからEC2インスタンスを検索する †

aws --profile default --region ap-northeast-1 ec2 describe-instances \
--filters 'Name=private-dns-name,Values=ip-01-02-03-04.ap-northeast-1.compute.internal' \
--query "Reservations[].Instances[].{InstanceId:InstanceId,Tags:Tags[],PublicDnsName:PublicDnsName,State:State.Name}"                                                                                                                                                      

[
    {
        "InstanceId": "i-123456",
        "State": "running",
        "PublicDnsName": "ec2-01-02-03-04.ap-northeast-1.compute.amazonaws.com",
        "Tags": [
            {
                "Value": "web01",
                "Key": "Name"
            }
        ]
    }
]

---

classic link: EC2 classicとVPCを接続する †

• aws ec2 attach-classic-link-vpc
  • EC2 classicとVPC内のリソースを接続する
  • EC2 classicには一つのVPC IDだけ設定できる
  • EC2 classicからVPC内のリソースへのアクセスには、private dns/ipを使う。public dns/ipでは接続できなかった
  • Route53のpublic/private自動変換機能は動作しない

AWS_PROFILE=default
AWS_REGION=ap-northeast-1
AWS_VPC_ID=vpc-xxxx
AWS_VPC_SG="sg-xxxx"
AWS_EC2_ID="i-xxxx01 i-xxxx02"

aws --profile $AWS_PROFILE --region $AWS_REGION ec2 enable-vpc-classic-link --vpc-id $AWS_VPC_ID

for id in $AWS_EC2_ID; do \
  echo "---- $id: ";aws --profile $AWS_PROFILE --region $AWS_REGION ec2 attach-classic-link-vpc --instance-id $id --vpc-id $AWS_VPC_ID --groups $AWS_VPC_SG
done

• EC2の中から、タグが「Name=web01, web02, ...」、動作中を探して、instance-idを返す

  AWS_EC2_ID=$(aws --profile $AWS_PROFILE \
    --region $AWS_REGION \
    ec2 describe-instances \
    --filters "Name=instance-state-name,Values=running" "Name=tag-key,Values=Name" "Name=tag-value,Values=web*" \
    --query 'Reservations[].Instances[].InstanceId' \
    --output text)

---

インスタンスIDから、インスタンス名の検索 †

aws ec2 describe-instances \
  --region ap-northeast-1 \
  --instance-ids i-12345678 i-90123456 \
  --query "Reservations[].Instances[].{InstanceId:InstanceId,Tags:Tags[],PublicDnsName:PublicDnsName,State:State.Name}"

[
    {
        "InstanceId": "i-12345678",
        "State": "running",
        "PublicDnsName": "ec2-12-34-56-78.ap-northeast-1.compute.amazonaws.com",
        "Tags": [
            {
                "Value": "host01",
                "Key": "Name"
            },
        ]
    },
    {
     ...
    }
]

---

タグからインスタンスID他の検索 †

• 例: tag:Nameに「web」を含んだインスタンス一覧をTSV型式で出力

  PROFILE=example
  REGION=ap-northeast-1
  
  aws ec2 describe-instances \
   --filters "Name=tag:Name,Values=*web*" \
   --query 'Reservations[].Instances[].{A_Name:Tags[?Key==`Name`].Value|[0],B_InstanceId:InstanceId,C_IamInstanceProfile_Arn:IamInstanceProfile.Arn,D_IamInstanceProfile_Id:IamInstanceProfile.Id}' \
   --profile $PROFILE \
   --region $REGION \
   --output text

---

特定のtagを対象にAPI terminationを有効にする †

• tag:Name=web* を対象に --no-disable-api-termination を実行する

  TAG_VALUE=web*
  PROFILE=example
  REGION=ap-northeast-1
  EC2_ID=$(aws --profile $PROFILE \
    --region $REGION \
    ec2 describe-instances \
    --filters "Name=tag-key,Values=Name" "Name=tag-value,Values=${TAG_VALUE}" \
    --query 'Reservations[].Instances[].InstanceId' \
    --output text)
  
  for id in $EC2_ID; do \
  echo "# $id"; \
  aws ec2 modify-instance-attribute --instance-id $id --no-disable-api-termination --profile $PROFILE --region $REGION; \
  done

---

EC2 Security Group †

• authorize-security-group-ingress AWS CLI 1.3.6 documentation

• 全リージョンのセキュリティグループの取得

  AWS_PROFILE=test-user
  for region in $(aws --profile $AWS_PROFILE ec2 describe-regions --query "Regions[].[RegionName]" --output text); do \
  echo "---- $region"; aws --profile $AWS_PROFILE --region $region ec2 describe-security-groups --query 'SecurityGroups[].{GroupName:GroupName, IpRanges:IpPermissions[].IpRanges[]}' > $AWS_PROFILE.$region.ec2.security-groups.json; \
  aws --profile $AWS_PROFILE --region $region  rds describe-db-security-groups --query 'DBSecurityGroups[].{GroupName:DBSecurityGroupName, IpRanges:IPRanges[]}' > $AWS_PROFILE.$region.rds.security-groups.json; \
  done

  • 特定のIPアドレスを含む結果をフィルタリング(jqがキーの大文字、小文字を区別するので、一つのフィルタに出来なかった点がイマイチ)

    SECURITY_GROUPS_FILTER='"0.0.0.0/32","1.2.3.4/32"'
    
    for file in $(ls $AWS_PROFILE.*.ec2.security-groups.json); do \
    echo "---- $file"; cat $file | jq -r ".[]|select(.IpRanges[].CidrIp|contains($SECURITY_GROUPS_FILTER))"; \
    done > filtered.$AWS_PROFILE.ec2.security-groups.json
    
    for file in $(ls $AWS_PROFILE.*.rds.security-groups.json); do \
    echo "---- $file"; cat $file | jq -r ".[]|select(.IpRanges[].CIDRIP|contains($SECURITY_GROUPS_FILTER))"; \
    done > filtered.$AWS_PROFILE.rds.security-groups.json

• ruleにDescriptionを付けられるようになった。理解しやすく、保守性があがる。

  # security group idを指定する場合
  aws ec2 authorize-security-group-ingress \
  --group-id sg-xxxx1 \
  --ip-permissions "FromPort=24224,ToPort=24224,IpProtocol=tcp,UserIdGroupPairs={GroupId=sg-xxxx2,Description=web.fluentd}" \
  --profile example \
  --region ap-northeast-1
  
  # CIDRを指定する場合
  aws ec2 authorize-security-group-ingress \
  --group-id sg-859c6ae0 \
  --ip-permissions "FromPort=24224,ToPort=24224,IpProtocol=tcp,IpRanges=[{CidrIp=xxx.xxx.xxx.xxx/32,Description=web.fluentd},{CidrIp=xxx.xxx.xxx.xxx/32,Description=log.fluentd}]" \
  --profile example \
  --region ap-northeast-1

• MySecurityGroup に GatewaySecurityGroup からsshで接続できるように設定

  aws --profile test-user ec2 authorize-security-group-ingress \
    --group-name MySecurityGroup \
    --protocol tcp \
    --port 22 \
    --source-group GatewaySecurityGroup

• ELBからのTCPを許可

  aws --profile test-user ec2 authorize-security-group-ingress \
    --group-name MySecurityGroup \
    --protocol tcp \
    --port 0-65535 \
    --group-owner amazon-elb \
    --source-group amazon-elb-sg

• ELBから全てのプロトコル(tcp, udp, icmp)を許可

  aws --profile test-user ec2 authorize-security-group-ingress \
    --group-name MySecurityGroup \
    --source-security-group-owner-id amazon-elb \
    --source-security-group-name amazon-elb-sg

---

セキュリティグループ追加時に説明記入する †

AWS_PROFILE=example 
AWS_REGION=ap-northeast-1 
AWS_EC2_SG=sg-xxxx 
AWS_EC2_SG_CIDR="203.0.113.0/24" 
AWS_EC2_SG_DESCRIPTION="web01 td-agent" 

aws ec2 authorize-security-group-ingress \ 
--profile $AWS_PROFILE \ 
--region $AWS_REGION \ 
--group-id $AWS_EC2_FLUENTD_SG \ 
--ip-permissions "$(printf '[{"IpProtocol": "tcp", "FromPort": 24224, "ToPort": 24224, "IpRanges": [{"CidrIp": "%s", "Description": "%s"}]}]' "${AWS_EC2_SG_CIDR}" "${AWS_EC2_SG_DESCRIPTION}")"

---

条件を指定してテキスト形式でのリストを取得 †

• TCPのIPリストを取得

  aws ec2 describe-security-groups --group-id sg-123456 \
    --query 'SecurityGroups[].IpPermissions[?contains(IpProtocol, `tcp`)].IpRanges' \
    --output text

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

---

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件

---