網頁

▼

2022/3/11

AWS Kinesis Data Firehose簡介

Amazon Kinesis Data Firehose簡介。


簡介

Amazon Kinesis Data Firehose服務可用來傳輸接近即時(real-time)的串流資料到指定目的地如AWS S3、RedShift、OpenSearch、Splunk或其他第三方服務支援的HTTP位置，包括Datadog、 Dynatrace、LogicMonitor、MongoDB、New Relic、Sumo Logic。

Kinesis Data Firehose是全託管服務，會依傳輸量自動擴展無需手動管理。Kinesis Data Firehose可把送來的的資料自動傳送到指定目的地，且可設定傳送前的資料轉換及對資料進行批次、壓縮及加密。


  • Kinesis Data Firehose delivery stream - Kinesis Data Firehose的實體，接收data producer送來的records，並轉送到指定目的地。
  • record - 由data producer發送到delivery stream的資料，一個record最大為1,000KB。
  • data producer - 發送record到delivery stream的資料生產者，例如應用程式或Kinesis Data Streams
  • buffer size, buffer interval - Kinesis Data Firehose緩存送來的record的大小與傳送到目的地前的時間。Buffer size單位為MBs，buffer interval單位為秒。

                            ┌──────────────────────────────┐
                            │  AWS Kinesis Data Firehose   │
                            │ ┌──────────────────────────┐ │
┌───────────────┐           │ │     delivery stream      │ │   ┌─────────────┐
│               │  ┌──────┐ │ │ buffer──┬──────┬──────┐  │ │   │             │
│ data producer ├──┤record├─┼─┼─►│record│record│record├──┼─┼──►├─destination │
│               │  └──────┘ │ │  └──────┴──────┴──────┘  │ │   │             │
└───────────────┘           │ └──────────────────────────┘ │   └─────────────┘
                            └──────────────────────────────┘


沒有留言:

張貼留言