Kinesis + MSK: xử lý luồng dữ liệu liên tụcKinesis + MSK: processing continuous data streams
Mỗi giây, hệ thống MFTECH phát sinh hàng nghìn sự kiện click, lượt xem, giao dịch và vị trí shipper. Bài học trình bày cách đưa luồng dữ liệu này vào Kinesis để nhiều ứng dụng cùng đọc theo đúng thứ tự, duy trì thông lượng của stream khi tải tăng đột biến, và kết nối stream tới các dịch vụ phân tích, tìm kiếm và lưu trữ.Every second, the MFTECH system produces thousands of clicks, views, transactions and courier locations. This lesson shows how to bring this data stream into Kinesis so that several applications can read it in order, how to keep the stream's throughput up when load spikes, and how to connect the stream to analytics, search and storage services.
- Mức độ
- Bổ trợ Áp dụng cho các yêu cầu chuyên biệt
- Kiến thức tiên quyết
- SQS + SNS + EventBridge + Step FunctionsLambda + API Gateway
- Thời lượng
- ~24 phút, 4 phần học có mô phỏng
Bài Messaging sử dụng SQS để phân phối tác vụ cho worker: mỗi đơn hàng chỉ cần một worker xử lý. Dữ liệu click và giao dịch của MFTECH có yêu cầu khác: bảng xếp hạng, gợi ý sản phẩm và phát hiện gian lận đều cần đọc cùng một luồng sự kiện, đúng thứ tự, với độ trễ gần như tức thời. Đây là phạm vi của stream.
The Messaging lesson used SQS to distribute tasks to workers: each order needs only one worker to process it. MFTECH’s click and transaction data has different requirements: the leaderboard, product recommendations and fraud detection all need to read the same event stream, in order, with near-instant latency. This is the domain of streams.
Các phần của bài học
Kiến thức
4 phần học, đọc theo thứ tự- Phần 1/4Part 1/4 · 9 phút Đã đọc ✓ Đang đọc So sánh Amazon SQS queue và Kinesis data streamComparing Amazon SQS queues and Kinesis data streams
- Phần 2/4Part 2/4 · 5 phút Đã đọc ✓ Đang đọc Shard quota, throttling và capacity modeShard quotas, throttling and capacity modes
- Phần 3/4Part 3/4 · 7 phút Đã đọc ✓ Đang đọc Tích hợp Kinesis Data Streams với dịch vụ phân tích, tìm kiếm và lưu trữIntegrating Kinesis Data Streams with analytics, search and storage services
- Phần 4/4Part 4/4 · 3 phút Đã đọc ✓ Đang đọc Xử lý dữ liệu không phải streamingProcessing data that is not streaming tệp ghi âm trên Amazon S3call recordings in Amazon S3
Bài kiểm tra
tự đánh giá trước khi sang bài sauCác bài tiếp theo trong lộ trình học
Bài học tiếp theo
Tài liệu AWS
Xem thêm 20 tài liệu
- What is Amazon Data Firehose?
- What is Amazon Managed Service for Apache Flink?
- What is Amazon MSK?
- Choose the data stream capacity mode
- Change the data retention period
- Kinesis Data Streams terminology and concepts
- KPL key concepts (aggregation)
- Using Lambda with Kinesis Data Streams
- Amazon Data Firehose API Reference (Welcome)
- Amazon Managed Service for Apache Flink API Reference (Welcome)
- Amazon Kinesis Data Analytics for SQL Applications discontinuation
- Using Amazon S3 as a source for AWS DMS
- Using Amazon Kinesis Data Streams as a target for AWS DMS
- What is Amazon Quick?
- Analyzing call center audio with Call Analytics (Amazon Transcribe)
- What is Amazon Athena?
- Configure destination settings (Amazon Data Firehose)
- KCL concepts (worker, lease, record processor)
- Using the message group ID with Amazon SQS FIFO queues
- Interleaving multiple ordered message groups in Amazon SQS
Xem thêm 20 tài liệu
- What is Amazon Data Firehose?
- What is Amazon Managed Service for Apache Flink?
- What is Amazon MSK?
- Choose the data stream capacity mode
- Change the data retention period
- Kinesis Data Streams terminology and concepts
- KPL key concepts (aggregation)
- Using Lambda with Kinesis Data Streams
- Amazon Data Firehose API Reference (Welcome)
- Amazon Managed Service for Apache Flink API Reference (Welcome)
- Amazon Kinesis Data Analytics for SQL Applications discontinuation
- Using Amazon S3 as a source for AWS DMS
- Using Amazon Kinesis Data Streams as a target for AWS DMS
- What is Amazon Quick?
- Analyzing call center audio with Call Analytics (Amazon Transcribe)
- What is Amazon Athena?
- Configure destination settings (Amazon Data Firehose)
- KCL concepts (worker, lease, record processor)
- Using the message group ID with Amazon SQS FIFO queues
- Interleaving multiple ordered message groups in Amazon SQS