→AWS Glue
→Amazon API Gateway + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose
・AWS Glueを使ってAmazon S3にある生データを処理します
・Amazon API Gatewayを使用して、生データをAmazon Kinesis Data Streamsに送信します。Amazon Kinesis Data Firehoseを設定して、Amazon S3にデータを配信するソースとしてデータストリームを使用します
この選択肢が正解の理由は以下の通りです。
まず、Amazon API Gatewayを使用することで、数百万台ものリモートデバイスからの大量のデータ送信を効率良く処理することが可能となります。そしてそのデータをAmazon Kinesis Data Streamsに送信することで、リアルタイムでのデータ収集と処理が可能となります。
また、Amazon Kinesis Data Firehoseを設定し、データストリームをソースとしてS3にデータを配信することで、大量のデータを効率的にS3に保存できます。
さらに、AWS Glueを活用することで、Amazon S3に保存された生データのETL(Extraction, Transformation, Load)処理を自動化でき、運用のオーバーヘッドを最小限に抑えつつ、データの利用効率を高めることが可能となります。

コメント