ElastiCache và phân tích dữ liệu: Redshift, Athena, GlueElastiCache and data analytics: Redshift, Athena, Glue
Bài học trình bày hai nhóm nhu cầu xử lý dữ liệu của MFTECH: phản hồi người dùng với độ trễ thấp (cache, session, bảng xếp hạng, tìm shipper gần nhất) và phân tích dữ liệu (kiểm tra dữ liệu, data warehouse, dashboard, chuyển đổi ghi âm cuộc gọi). Nội dung bao gồm lựa chọn dịch vụ phù hợp cho từng tác vụ và kiểm soát chi phí lưu trữ của data lake theo thời gian.This lesson covers two groups of MFTECH data needs: responding to users with low latency (caching, sessions, leaderboards, finding the nearest shipper) and analyzing data (data checks, a data warehouse, dashboards, converting call recordings). It covers choosing the right service for each task and controlling the storage cost of a data lake over time.
- Mức độ
- Bổ trợ Áp dụng cho các yêu cầu chuyên biệt
- Kiến thức tiên quyết
- RDS + AuroraDynamoDBS3
- Thời lượng
- ~35 phút, 6 phần học có mô phỏng
Số lượng người dùng của MFTECH tăng theo từng tháng. Aurora bắt đầu quá tải do các truy vấn lặp lại, trong khi bộ phận phân tích cần khai thác dữ liệu mà không ảnh hưởng hiệu năng của hệ thống bán hàng. Amazon ElastiCache lưu dữ liệu truy cập thường xuyên trong in-memory cache. Amazon Athena, Amazon Redshift và AWS Glue đảm nhận tác vụ phân tích trên data lake S3.
MFTECH’s user base grows every month. Aurora starts to get overloaded by repeated queries, while the analytics department needs to work with the data without affecting the performance of the sales system. Amazon ElastiCache keeps frequently accessed data in an in-memory cache. Amazon Athena, Amazon Redshift and AWS Glue handle analytics on the S3 data lake.
Các phần của bài học
Kiến thức
6 phần học, đọc theo thứ tự- Phần 1/6Part 1/6 · 7 phút Đã đọc ✓ Đang đọc Caching strategies với ElastiCacheCaching strategies with ElastiCache
- Phần 2/6Part 2/6 · 3 phút Đã đọc ✓ Đang đọc Lựa chọn engineChoosing an engine Valkey, Redis OSS và MemcachedValkey, Redis OSS and Memcached
- Phần 3/6Part 3/6 · 7 phút Đã đọc ✓ Đang đọc Backup, read replica và Multi-AZ cho ElastiCacheBackups, read replicas and Multi-AZ for ElastiCache
- Phần 4/6Part 4/6 · 6 phút Đã đọc ✓ Đang đọc Lựa chọn dịch vụ analytics theo tác vụChoosing an analytics service for each task
- Phần 5/6Part 5/6 · 5 phút Đã đọc ✓ Đang đọc Tối ưu chi phí lưu trữ data lake trên S3Optimizing data lake storage cost on S3
- Phần 6/6Part 6/6 · 7 phút Đã đọc ✓ Đang đọc So sánh các dịch vụ dữ liệu dễ nhầm lẫnComparing data services that are easy to confuse
Bài kiểm tra
tự đánh giá trước khi sang bài sauCác bài tiếp theo trong lộ trình học
Bài học tiếp theo
Tài liệu AWS
Xem thêm 35 tài liệu
- What is AWS Glue?
- What is AWS Glue DataBrew?
- What is Amazon EMR?
- Comparing node-based Valkey, Memcached, and Redis OSS clusters
- Common ElastiCache use cases
- Query restored Amazon Glacier objects (Athena)
- Athena data optimization techniques
- Amazon Redshift system overview
- Multi-Region keys in AWS KMS
- Resilience in Amazon ElastiCache (Mitigating Failures)
- Minimizing downtime in ElastiCache by using Multi-AZ
- High availability using replication groups (ElastiCache)
- Snapshot and restore (ElastiCache)
- Scheduling automatic backups (ElastiCache)
- Taking manual backups (ElastiCache)
- Valkey and Redis OSS parameters (appendonly)
- Durability in ElastiCache
- Caching strategies (lazy loading, write-through)
- What is Amazon SQS?
- Building visual ETL jobs with AWS Glue Studio
- Creating and working with DataBrew profile jobs
- Creating and using DataBrew recipes
- AWS Glue DataBrew features
- What is Amazon AppFlow?
- What is AWS Lake Formation?
- What is Amazon Security Lake?
- Amazon OpenSearch Service operational best practices (refresh interval)
- Using OpenSearch Dashboards with Amazon OpenSearch Service (map service)
- What is Amazon Neptune?
- Using Amazon Neptune with a global database
- Working with AWS DMS Serverless
- What is AWS Database Migration Service?
- Use Machine Learning (ML) with Amazon Athena
- Use ML with Athena syntax
- Machine learning (Amazon Redshift ML)
Xem thêm 35 tài liệu
- What is AWS Glue?
- What is AWS Glue DataBrew?
- What is Amazon EMR?
- Comparing node-based Valkey, Memcached, and Redis OSS clusters
- Common ElastiCache use cases
- Query restored Amazon Glacier objects (Athena)
- Athena data optimization techniques
- Amazon Redshift system overview
- Multi-Region keys in AWS KMS
- Resilience in Amazon ElastiCache (Mitigating Failures)
- Minimizing downtime in ElastiCache by using Multi-AZ
- High availability using replication groups (ElastiCache)
- Snapshot and restore (ElastiCache)
- Scheduling automatic backups (ElastiCache)
- Taking manual backups (ElastiCache)
- Valkey and Redis OSS parameters (appendonly)
- Durability in ElastiCache
- Caching strategies (lazy loading, write-through)
- What is Amazon SQS?
- Building visual ETL jobs with AWS Glue Studio
- Creating and working with DataBrew profile jobs
- Creating and using DataBrew recipes
- AWS Glue DataBrew features
- What is Amazon AppFlow?
- What is AWS Lake Formation?
- What is Amazon Security Lake?
- Amazon OpenSearch Service operational best practices (refresh interval)
- Using OpenSearch Dashboards with Amazon OpenSearch Service (map service)
- What is Amazon Neptune?
- Using Amazon Neptune with a global database
- Working with AWS DMS Serverless
- What is AWS Database Migration Service?
- Use Machine Learning (ML) with Amazon Athena
- Use ML with Athena syntax
- Machine learning (Amazon Redshift ML)