Memo/AmazonWebServices/Batch

Batch: マネージドbatch †

• AWS Batch（バッチ処理をあらゆる規模で効率的に実行）| AWS

記事:

• Terraformを使ってS3とAWS Batchを連携するようAWSリソース作成してみた | DevelopersIO

• AWS Batch で登場する IAM ロールの種類を絵に描いて整理してみた | DevelopersIO

• AWS Batch のジョブステートを図解で説明してみた | DevelopersIO
• AWS Batch ベストプラクティスまとめ | Amazon Web Services ブログ
• AWS再入門ブログリレー AWS Batch編 ｜ DevelopersIO

配列ジョブ: 子ジョブを生成して実行 †

記事:

• AWS Batch の配列ジョブの挙動が確認できるチュートリアルをやってみた | DevelopersIO

  ひとつのジョブの中で 2 ~ 10,000 の子ジョブを生成できます。

トラブルシューティング †

RegisterJobDefinitionで値が反映されてない場合 †

• RegisterJobDefinition - AWS Batch

• terraform aws v5.98.0の場合、"containerProperties" の中にサポート外のkey=valueが入っていても差分に出ないし、エラーにもならない。No changesで終わる。
  • 正解は "containerProperties" の外に書く。各場所が違う

スタックしたjobの自動終了 †

• tertraformで設定する場合。docみてもサンプルが書いてないのでimportして差分が出ないようにした

  resource "aws_batch_job_queue" "example" {
    name     = "example"
    state    = "ENABLED"
    priority = 1
  
    compute_environment_order {
      order               = 1
      compute_environment = aws_batch_compute_environment.example.arn
    }
  
    job_state_time_limit_action {
      action           = "CANCEL"
      max_time_seconds = 600 # 600 ~ 86400
      reason           = "MISCONFIGURATION:COMPUTE_ENVIRONMENT_MAX_RESOURCE"
      state            = "RUNNABLE"
    }
    job_state_time_limit_action {
      action           = "CANCEL"
      max_time_seconds = 600 # 600 ~ 86400
      reason           = "MISCONFIGURATION:JOB_RESOURCE_REQUIREMENT"
      state            = "RUNNABLE"
    }
    job_state_time_limit_action {
      action           = "CANCEL"
      max_time_seconds = 600 # 600 ~ 86400
      reason           = "CAPACITY:INSUFFICIENT_INSTANCE_CAPACITY"
      state            = "RUNNABLE"
    }
  }

記事:

• AWS Batch ジョブが RUNNABLE 状態でスタックしたときにジョブの自動キャンセル設定をできるようになりました | DevelopersIO

Job Definition内のcommandの値を実行時に変更する †

• リファレンス: ContainerProperties のジョブ定義のパラメータ - AWS Batch
  • parameters, commandでshell実行($(date)等)は出来なかった。

• AWS Batch ジョブ環境変数 - AWS Batch
  • 定義済み環境変数

記事:

• EventBridge のトリガーから AWS Batch ジョブにパラメータを渡す | AWS re:Post
• AWS CLI で AWS Batch にジョブを送信する (第３回) #aws-cli - Qiita

entrypoint.sh内でコマンドを実行して展開する †

• cloudwatch eventから実行する場合など、例えば実行日時を所定のフォーマット(YYYY-mm-dd等)でパラメータ指定したい。しかし、通常はshell関数は実行/展開されない。
• docker image内に該当コマンドが存在し、実行できる事が条件
• セキュリティ的にはよくはない。image内に該当コマンドがあれば実行できてしまうので。

• entrypoint.sh

  #!/bin/bash
  
  INPUT=$1
  INPUT=$(bash -c "echo $INPUT")
  echo "INPUT: $INPUT"

• 例: 検証で引数が変数展開されない事にするため、シングルクオートで括る

  bash entrypoint.sh '$(date +%Y-%m-%d)'
  INPUT: 2025-01-02

Job Definition内のParametersに定義する †

• Job Definition内のParametersにkey:valueで定義すると、Command内で"Ref::key"で参照できる。
• "opt1=Ref::key"のような途中にRef::を書くと置換されなかった。

    "jobDefinitions": [
        {
...
            "Parameters": {
                "event_time": "2016-12-30T18:44:49Z"
            },
...
            "containerProperties": {
...
                "command": [
                    "python3",
                    "./run.py",
                    "Ref::event_time"
                ],

• awscliから実行する場合

  aws batch submit-job --parameters event_time="$(date --iso-8601=sec -u)",...

CloudWatchEventから実行する場合 †

• aws_cloudwatch_event_targetからeventを渡す時も Parameters{ key: value }のjsonを渡す。
• input_template内で<var name>で参照する時、ダブルクオートで括らずそのまま記載する必要がある。"<var name>"だと展開されない。なのでjsonencode()は使えない。
• aws batch job側で「Ref::var」が設定してあり、それをcloudwatch event側でも書かないとエラーになりbatch jobが始まらない。モニタリングでもFailedInvocationsが上がるだけで理由が書いてない。

記事:

• Terraformで構築する機械学習ワークロード（Batch on Fargate編） | DevelopersIO

• terraform: cloudwatch.event.tf

  resource "aws_cloudwatch_event_target" "batch_job" {
    for_each = var.batch_job_event_config
    rule     = aws_cloudwatch_event_rule.batch_job["${each.key}"].name
    role_arn = aws_iam_role.events_invoke_batch.arn
    arn      = aws_batch_job_queue.batch.arn
  
    batch_target {
      job_definition = aws_batch_job_definition.batch["${each.value.batch_job_name}"].arn
      job_name       = "${each.key}"
    }
  
    input_transformer {
      input_paths = {
        event_time = "$.time", # ISO8601. e.g.) 2016-12-30T18:44:49Z
      }
  
      input_template = <<EOF
      {
        "Parameters" : {
          "event_time" : <event_time>
        }
      }
  EOF
    }
  }

jobDefinitions内のenvironmentに環境変数を定義 †

• json中のenvironmentにshellコマンド($date(date))を書いても展開さない。
• json中のenvironmentに"Ref:varname"を書いても展開されない。

            "containerProperties": {
...
                "command": [
                    "python3",
                    "./run.py",
                    "${EVENT_TIME}"
                ],

• awscliから実行する場合

  aws batch submit-job --container-overrides "environment=[{name=EVENT_TIME,value=$(date --iso-8601=sec -u)}, ...}]"

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件