網頁

2022/3/11

AWS console建立Kinesis Data Firehose範例

AWS console建立一個Kinesis Data Firehose範例。


選擇服務區域(region)。

在上方搜尋欄搜尋"Kinesis",點選[Kinesis]。



點選Kinesis左側選單的[Delivery streams]。



點選右側上方的[Create delivery stream]設定要建立的delivery stream。



[Choose source and destination]的[Source]選擇[Direct PUT];[Destination]選擇[Amazon S3]。

[Delivery stream name]這邊命名為PUT-s3-demo-bucket-202112151320



[Transform and convert records]的[Data transformation]及[Record format conversion]皆維持預設[Disabled]。



[Destination settings]的[S3 bucket]點選[Browse]選擇既有的S3 bucket或點選[Create]建立一個新的。這邊選擇之前建立的S3 bucket。[Dynamic partitioning]維持預設[Disabled],[S3 bucket prefix]及[S3 bucket error output prefix]皆略過。



[S3 buffer hints]及[S3 compression and encryption]皆維持預設。[Buffer size]是record達到上限後即轉送到目的地;[Buffer interval]是送出資料到目的地的時間間隔。




[Advanced settings]維持預設。這邊會新建一個IAM角色[KinesisFirehoseServiceRole-PUT-s3-d-ap-northeast-1-1647064785027]。

按最下面的[Create delivery stream]建立。



建立後回到Amazon Kinesis的[Delivery streams]選單即可看到新增的delivery stream。



在AWS CLI 2輸入aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket查詢可看到新建的delivery stream。

$ aws firehose list-delivery-streams --exclusive-start-delivery-stream-name PUT-s3-demo-bucket
{
    "DeliveryStreamNames": [
        "PUT-s3-demo-bucket-202112151320"
    ],
    "HasMoreDeliveryStreams": false
}

展開[Test with demo data],點選[Start sending demo data],然後等5分鐘。



開啟S3服務的bucket清單,在上面選擇的S3 bucket中可看到delivery stream送來的資料。



任點選一筆資料,然後選擇[Download]下載到本機。



以文字編輯器開啟內容為剛送來的測試資料。



在Kinesis Data Firehose deilvery stream的[Monitoring]標籤下的[Delivery stream metrics]可觀察到剛剛測試時的資料接收及發送狀態。





沒有留言:

張貼留言