Amazon Kinesis Data Firehose簡介。
簡介
Amazon Kinesis Data Firehose服務可用來傳輸接近即時(real-time)的串流資料到指定目的地如AWS S3、RedShift、OpenSearch、Splunk或其他第三方服務支援的HTTP位置，包括Datadog、 Dynatrace、LogicMonitor、MongoDB、New Relic、Sumo Logic。
Kinesis Data Firehose是全託管服務，會依傳輸量自動擴展無需手動管理。Kinesis Data Firehose可把送來的的資料自動傳送到指定目的地，且可設定傳送前的資料轉換及對資料進行批次、壓縮及加密。
- Kinesis Data Firehose delivery stream - Kinesis Data Firehose的實體，接收data producer送來的records，並轉送到指定目的地。
- record - 由data producer發送到delivery stream的資料，一個record最大為1,000KB。
- data producer - 發送record到delivery stream的資料生產者，例如應用程式或Kinesis Data Streams
- buffer size, buffer interval - Kinesis Data Firehose緩存送來的record的大小與傳送到目的地前的時間。Buffer size單位為MBs，buffer interval單位為秒。
┌──────────────────────────────┐
│ AWS Kinesis Data Firehose │
│ ┌──────────────────────────┐ │
┌───────────────┐ │ │ delivery stream │ │ ┌─────────────┐
│ │ ┌──────┐ │ │ buffer──┬──────┬──────┐ │ │ │ │
│ data producer ├──┤record├─┼─┼─►│record│record│record├──┼─┼──►├─destination │
│ │ └──────┘ │ │ └──────┴──────┴──────┘ │ │ │ │
└───────────────┘ │ └──────────────────────────┘ │ └─────────────┘
└──────────────────────────────┘
沒有留言:
張貼留言