在AWS console建立一個Kinesis Data Firehose範例。
選擇服務區域(region)。
在上方搜尋欄搜尋"Kinesis"，點選[Kinesis]。
點選Kinesis左側選單的[Delivery streams]。
點選右側上方的[Create delivery stream]設定要建立的delivery stream。
[Choose source and destination]的[Source]選擇[Direct PUT]；[Destination]選擇[Amazon S3]。
[Delivery stream name]這邊命名為PUT-s3-demo-bucket-202112151320。
[Transform and convert records]的[Data transformation]及[Record format conversion]皆維持預設[Disabled]。
[Destination settings]的[S3 bucket]點選[Browse]選擇既有的S3 bucket或點選[Create]建立一個新的。這邊選擇之前建立的S3 bucket。[Dynamic partitioning]維持預設[Disabled]，[S3 bucket prefix]及[S3 bucket error output prefix]皆略過。
[S3 buffer hints]及[S3 compression and encryption]皆維持預設。[Buffer size]是record達到上限後即轉送到目的地；[Buffer interval]是送出資料到目的地的時間間隔。
[Advanced settings]維持預設。這邊會新建一個IAM角色[KinesisFirehoseServiceRole-PUT-s3-d-ap-northeast-1-1647064785027]。
按最下面的[Create delivery stream]建立。
建立後回到Amazon Kinesis的[Delivery streams]選單即可看到新增的delivery stream。
在AWS CLI 2輸入aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket查詢可看到新建的delivery stream。
$ aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket
{
"DeliveryStreamNames": [
"PUT-s3-demo-bucket-202112151320"
],
"HasMoreDeliveryStreams": false
}
展開[Test with demo data]，點選[Start sending demo data]，然後等5分鐘。
開啟S3服務的bucket清單，在上面選擇的S3 bucket中可看到delivery stream送來的資料。
任點選一筆資料，然後選擇[Download]下載到本機。
以文字編輯器開啟內容為剛送來的測試資料。
在Kinesis Data Firehose deilvery stream的[Monitoring]標籤下的[Delivery stream metrics]可觀察到剛剛測試時的資料接收及發送狀態。
沒有留言:
張貼留言