Tích hợp Kinesis Data Streams với dịch vụ phân tích, tìm kiếm và lưu trữ
Dữ liệu streaming chỉ có giá trị khi được phân phối tới nơi sử dụng: dịch vụ phân tích, dịch vụ tìm kiếm hoặc nơi lưu trữ lâu dài như Amazon S3.
Kinesis Data Streams đóng vai trò lớp tiếp nhận dữ liệu (ingestion): phía trước là producer, phía sau là các dịch vụ phân tích, tìm kiếm và lưu trữ. Với mỗi yêu cầu của MFTECH, chọn dịch vụ cho từng bước và chạy mô phỏng:
Mỗi click trên web phải được phân tích ngay để gợi ý sản phẩm, không được mất click khi tải tăng đột biến, và kết quả được lưu vào S3.
Chọn dịch vụ cho từng bước, sau đó chọn Chạy mô phỏng.
Hai dịch vụ thường bị nhầm lẫn với Data Streams:
- Amazon Data Firehose (tên cũ Amazon Kinesis Data Firehose): phân phối dữ liệu tới đích, có thể chuyển đổi dữ liệu trước khi phân phối. Các đích được tài liệu liệt kê: Amazon S3, Apache Iceberg Tables, Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Snowflake, Splunk, Splunk Observability Cloud, HTTP endpoint tuỳ chỉnh và HTTP endpoint của các nhà cung cấp bên thứ ba được hỗ trợ (Datadog, Dynatrace, New Relic, MongoDB Atlas, Sumo Logic, Elastic và một số nhà cung cấp khác). DynamoDB không phải là đích của Firehose: để ghi dữ liệu cảm biến vào bảng DynamoDB mà không phải tự cấp phát capacity, dùng SQS với Lambda đọc theo batch và ghi vào bảng. Không cần phát triển consumer; API của Firehose chỉ có thao tác ghi (
PutRecord,PutRecordBatch), không có thao tác để ứng dụng đọc hay đọc lại dữ liệu. - Amazon Managed Service for Apache Flink (tên cũ Amazon Kinesis Data Analytics for Apache Flink): xử lý stream liên tục bằng Java, Scala, Python hoặc SQL, ví dụ đếm số click theo từng phút; Managed Service for Apache Flink Studio cho phép truy vấn stream tương tác bằng SQL. Dịch vụ riêng Kinesis Data Analytics for SQL Applications đã ngừng: từ 15/10/2025 không tạo được ứng dụng mới, từ 27/01/2026 ứng dụng bị xoá; AWS khuyến nghị chuyển sang Managed Service for Apache Flink hoặc Flink Studio.
Với các ứng dụng đã được phát triển cho Apache Kafka, sử dụng Amazon MSK: dịch vụ Kafka được quản lý hoàn toàn, ứng dụng tiếp tục dùng Kafka API. Với MSK Serverless, MSK quản lý broker và capacity của cluster.
- Phân tích stream liên tục, kể cả bằng SQL: Amazon Managed Service for Apache Flink (Kinesis Data Analytics for SQL Applications đã ngừng).
- Lưu stream vào S3 không cần viết mã: Firehose (không có đích DynamoDB).
- Tìm kiếm full-text: OpenSearch Service; dashboard: Amazon Quick Sight (trước đây là Amazon QuickSight).
- Chuyển dữ liệu từ S3 vào stream: AWS DMS (full load file hiện có; thay đổi mới phải ở dạng file CDC theo định dạng của DMS).
- Tác vụ dài hơn 15 phút: Fargate thay cho Lambda.
- Hệ thống đã sử dụng Kafka: Amazon MSK.
Integrating Kinesis Data Streams with analytics, search and storage services
Streaming data is only valuable once it is delivered to where it is used: analytics services, search services or long-term storage such as Amazon S3.
Kinesis Data Streams acts as the data ingestion layer: producers in front, analytics, search and storage services behind. For each MFTECH requirement, choose a service for each step and run the simulation:
Mỗi click trên web phải được phân tích ngay để gợi ý sản phẩm, không được mất click khi tải tăng đột biến, và kết quả được lưu vào S3.
Chọn dịch vụ cho từng bước, sau đó chọn Chạy mô phỏng.
Two services that are often confused with Data Streams:
- Amazon Data Firehose (formerly Amazon Kinesis Data Firehose): delivers data to destinations, and can transform data before delivery. The documented destinations are Amazon S3, Apache Iceberg Tables, Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Snowflake, Splunk, Splunk Observability Cloud, custom HTTP endpoints and the HTTP endpoints of supported third-party providers (Datadog, Dynatrace, New Relic, MongoDB Atlas, Sumo Logic, Elastic and others). DynamoDB is not a Firehose destination: to write sensor data into a DynamoDB table without provisioning capacity yourself, use SQS with Lambda reading in batches and writing to the table. No consumer to develop; the Firehose API has only write operations (
PutRecord,PutRecordBatch), with no operation for applications to read or reread data. - Amazon Managed Service for Apache Flink (formerly Amazon Kinesis Data Analytics for Apache Flink): processes streams continuously in Java, Scala, Python or SQL, for example counting clicks per minute; Managed Service for Apache Flink Studio lets you query streams interactively with SQL. The separate Kinesis Data Analytics for SQL Applications service has been discontinued: since 15 October 2025 no new applications can be created, and since 27 January 2026 applications are deleted; AWS recommends moving to Managed Service for Apache Flink or Flink Studio.
For applications already developed for Apache Kafka, use Amazon MSK: a fully managed Kafka service, and applications keep using the Kafka API. With MSK Serverless, MSK manages the brokers and the cluster capacity.
- Continuous stream analytics, including with SQL: Amazon Managed Service for Apache Flink (Kinesis Data Analytics for SQL Applications has been discontinued).
- Store a stream in S3 without writing code: Firehose (DynamoDB is not a destination).
- Full-text search: OpenSearch Service; dashboards: Amazon Quick Sight (formerly Amazon QuickSight).
- Move data from S3 into a stream: AWS DMS (full load of existing files; new changes must be CDC files in the DMS format).
- Jobs longer than 15 minutes: Fargate instead of Lambda.
- Systems already using Kafka: Amazon MSK.