Phần 4/6 · 6 phút

Lựa chọn dịch vụ analytics theo tác vụ

0/7

Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Dữ liệu phân tích thường được tập trung vào một data lake trên S3; mỗi tác vụ như truy vấn nhanh, biến đổi dữ liệu hay lập báo cáo có một dịch vụ phù hợp nhất.

Dữ liệu của MFTECH được lưu trong data lake trên S3. Mỗi tác vụ có một dịch vụ phù hợp nhất:

Athena: truy vấn SQL trực tiếp trên tệp trong S3, serverless, tính phí theo số byte dữ liệu được quét. Phù hợp với truy vấn ad-hoc.
Redshift: kho dữ liệu (data warehouse) MPP cho báo cáo và dashboard chạy định kỳ. Có phiên bản Serverless. Redshift Spectrum cho phép cluster Redshift truy vấn thêm dữ liệu trên S3.
Glue: ETL serverless và Data Catalog; Glue Studio là giao diện trực quan để tạo, chạy và giám sát Glue job. Glue DataBrew: làm sạch dữ liệu qua giao diện trực quan, không cần viết code, có data profiling, recipe chia sẻ được và sơ đồ data lineage.
EMR: cluster Spark/Hadoop với kích thước tự lựa chọn, dùng khi cần kiểm soát framework và cấu hình.

Chọn một tác vụ, chạy mô phỏng, sau đó chuyển sang công cụ phù hợp hơn. Tác vụ đồng bộ liên tục database được trình bày chi tiết tại bài di chuyển dữ liệu:

SELECT count(*) FROM clicks WHERE user_id IS NULLSử dụng Athena truy vấn trực tiếp trên S3

Chọn một tác vụ dữ liệu của MFTECH và chạy mô phỏng, sau đó bật tuỳ chọn để chuyển sang công cụ phù hợp hơn.

Ghi nhớ:

SQL ad-hoc trên S3: Athena.
Kho dữ liệu MPP serverless: Redshift Serverless, nạp dữ liệu bằng Glue.
Làm sạch dữ liệu không cần code, có profiling và recipe dùng chung: DataBrew.
Đồng bộ dữ liệu và thay đổi liên tục giữa hai database: DMS, không phải Glue.
Chuyển ghi âm thành văn bản: Transcribe.
Tìm kiếm full-text: OpenSearch.
Quan hệ giữa người dùng (đồ thị): Neptune.
Dữ liệu ít truy cập nhưng vẫn cần truy vấn SQL ngay: S3 Standard-IA + Athena.

Part 4/6 · 6 phút

Choosing an analytics service for each task

0/7

Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Analytics data is usually centralized in a data lake on S3; each task, such as quick queries, data transformation or reporting, has a best-fit service.

MFTECH’s data is stored in a data lake on S3. Each task has a best-fit service:

Athena: SQL queries directly on files in S3, serverless, billed by the bytes of data scanned. Suits ad-hoc queries.
Redshift: an MPP data warehouse for reports and dashboards that run on a schedule. Has a Serverless option. Redshift Spectrum lets a Redshift cluster also query data on S3.
Glue: serverless ETL and the Data Catalog; Glue Studio is the visual interface for creating, running and monitoring Glue jobs. Glue DataBrew: clean data through a visual interface, with no code to write, with data profiling, shareable recipes and a data lineage map.
EMR: Spark/Hadoop clusters of the size you choose, used when you need control over the framework and configuration.

Choose a task, run the simulation, then switch to the better-suited tool. Continuous database sync is covered in detail in the data migration lesson:

SELECT count(*) FROM clicks WHERE user_id IS NULLSử dụng Athena truy vấn trực tiếp trên S3

Chọn một tác vụ dữ liệu của MFTECH và chạy mô phỏng, sau đó bật tuỳ chọn để chuyển sang công cụ phù hợp hơn.

Ghi nhớ:

Ad-hoc SQL on S3: Athena.
Serverless MPP data warehouse: Redshift Serverless, loaded with Glue.
No-code data cleaning with profiling and shared recipes: DataBrew.
Syncing data and ongoing changes between two databases: DMS, not Glue.
Converting recordings to text: Transcribe.
Full-text search: OpenSearch.
Relationships between users (graph): Neptune.
Infrequently accessed data that still needs immediate SQL queries: S3 Standard-IA + Athena.