Phần 6/6 · 7 phút

So sánh các dịch vụ dữ liệu dễ nhầm lẫn

0/3

Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Nhiều dịch vụ dữ liệu có tên hoặc tính năng gần giống nhau; phân biệt được chúng giúp chọn đúng dịch vụ cho từng nhu cầu.

Một số dịch vụ có tên hoặc tính năng gần với nhu cầu của MFTECH nhưng giải quyết vấn đề khác. Chọn từng dịch vụ để xem trường hợp sử dụng, lý do không phù hợp trong tình huống tương ứng, và phương án nên chọn:

AWS Glue StudioDùng khi

Giao diện trực quan để tạo, chạy và giám sát Glue ETL job trên engine Apache Spark serverless; kéo thả các node nguồn, biến đổi, đích mà không cần viết Spark; tự sinh script PySpark có thể chỉnh sửa; có node Data Quality để kiểm tra dữ liệu theo rule.

Vì sao không chọn trong tình huống này

Kỹ sư và analyst của MFTECH cần cùng chuẩn bị dữ liệu Parquet trên S3, xem profile từng cột (phân bố, giá trị null, kiểu dữ liệu), lưu các bước thành công thức dùng chung và xem data lineage. Đó là bộ tính năng của công cụ chuẩn bị dữ liệu, còn Glue Studio là công cụ xây dựng ETL job.

Phương án phù hợp

AWS Glue DataBrew: hơn 250 phép biến đổi có sẵn, recipe có phiên bản và tải về để dùng lại, profile job, sơ đồ data lineage (phần 4).

Chi tiết về Security Lake: bài Security, phần 2. Chi tiết về global tables: bài DynamoDB, phần 5.

Ghi nhớ:

Xây dựng ETL job trực quan: Glue Studio; chuẩn bị dữ liệu có profiling và recipe dùng chung: DataBrew.
Đưa dữ liệu từ SaaS vào AWS: AppFlow.
Phân quyền chi tiết trên data lake: Lake Formation; tập trung log bảo mật: Security Lake.
Vị trí cập nhật liên tục: Redis geospatial; tìm kiếm và bản đồ: OpenSearch.
Đồ thị: Neptune; ghi đa Region: DynamoDB global tables.
Gọi endpoint SageMaker AI có sẵn từ SQL trên S3: Athena ML; huấn luyện mô hình bằng SQL trên data warehouse: Redshift ML.

Part 6/6 · 7 phút

Comparing data services that are easy to confuse

0/3

Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Many data services have similar names or features; telling them apart helps you pick the right one for each need.

Some services have names or features close to a MFTECH need but solve a different problem. Choose each service to see when to use it, why it does not fit the matching situation, and what to choose instead:

AWS Glue StudioDùng khi

A visual interface for creating, running and monitoring Glue ETL jobs on the serverless Apache Spark engine; drag and drop source, transform and target nodes without writing Spark; generates an editable PySpark script; includes a Data Quality node to check data against rules.

Vì sao không chọn trong tình huống này

MFTECH's engineers and analysts need to prepare Parquet data on S3 together, see a profile of every column (distributions, null values, data types), save the steps as a shared recipe and view data lineage. Those are the features of a data preparation tool; Glue Studio is a tool for building ETL jobs.

Phương án phù hợp

AWS Glue DataBrew: more than 250 built-in transformations, versioned recipes you can download and reuse, profile jobs, a data lineage map (part 4).

More on Security Lake: Security lesson, part 2. More on global tables: DynamoDB lesson, part 5.

Ghi nhớ:

Building ETL jobs visually: Glue Studio; preparing data with profiling and shared recipes: DataBrew.
Bringing SaaS data into AWS: AppFlow.
Fine-grained permissions on a data lake: Lake Formation; centralizing security logs: Security Lake.
Constantly updated locations: Redis geospatial; search and maps: OpenSearch.
Graphs: Neptune; multi-Region writes: DynamoDB global tables.
Calling an existing SageMaker AI endpoint from SQL on S3: Athena ML; training models with SQL in a data warehouse: Redshift ML.