菜鳥工程師肉豬: AWS console建立Kinesis Data Firehose範例

2022/3/11

AWS console建立Kinesis Data Firehose範例

在AWS console建立一個Kinesis Data Firehose範例。

選擇服務區域(region)。

在上方搜尋欄搜尋"Kinesis"，點選[Kinesis]。

點選Kinesis左側選單的[Delivery streams]。

點選右側上方的[Create delivery stream]設定要建立的delivery stream。

[Choose source and destination]的[Source]選擇[Direct PUT]；[Destination]選擇[Amazon S3]。

[Delivery stream name]這邊命名為PUT-s3-demo-bucket-202112151320。

[Transform and convert records]的[Data transformation]及[Record format conversion]皆維持預設[Disabled]。

[Destination settings]的[S3 bucket]點選[Browse]選擇既有的S3 bucket或點選[Create]建立一個新的。這邊選擇之前建立的S3 bucket。[Dynamic partitioning]維持預設[Disabled]，[S3 bucket prefix]及[S3 bucket error output prefix]皆略過。

[S3 buffer hints]及[S3 compression and encryption]皆維持預設。[Buffer size]是record達到上限後即轉送到目的地；[Buffer interval]是送出資料到目的地的時間間隔。

[Advanced settings]維持預設。這邊會新建一個IAM角色[KinesisFirehoseServiceRole-PUT-s3-d-ap-northeast-1-1647064785027]。

按最下面的[Create delivery stream]建立。

建立後回到Amazon Kinesis的[Delivery streams]選單即可看到新增的delivery stream。

在AWS CLI 2輸入aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket查詢可看到新建的delivery stream。

$ aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket
{
    "DeliveryStreamNames": [
        "PUT-s3-demo-bucket-202112151320"
    ],
    "HasMoreDeliveryStreams": false
}

展開[Test with demo data]，點選[Start sending demo data]，然後等5分鐘。