■半構造化データセットの大規模な並列オンデマンド処理のためのサーバーレスソリューションを要望。S3に保存している何千ものアイテムを並列処理するソリューションといえば何を何モードで利用?

AWS Step Functions MapステートをDistributedモードで使用

・AWS Step Functions MapステートをDistributedモードで使用し、データを並列処理します

この選択肢が正解の理由は以下の通りです。

まず、AWS Step Functionsは複数のAWSサービスを組み合わせて連携させることができる、ワークフロー自動化サービスです。その中のMapステートは各要素に対しタスクを繰り返し実行することが可能となります。

そして、Distributedモードを使用すると何千ものアイテムを同時に並列処理することが可能となります。これにより、大量の半構造化データセットを高速に並列処理するという要件を満たすことができます。

また、AWS Step Functionsはサーバーレスなので、リソースのプロビジョニングやスケジューリングを手動で管理する必要がないため、運用効率が高いと言えます。

選択肢:AWSのステップファンクションマップステートをインラインモードで使用し、データを並列処理します

この選択肢が正しくない理由は以下の通りです。

AWS Step FunctionsのMapステートをインラインモードで使うと、データの並列処理は可能ですが、大量のデータを効率的に処理するためにはDistributedモードの方が適しています。なぜなら、Distributedモードは高いスループットを持ち、複数のワーカーが並列でタスクを処理することを可能にするからです。

コメント

タイトルとURLをコピーしました