Bỏ qua tới nội dung
CloudDojo
Phần 3/5 · 9 phút

AWS AI services: Comprehend, Transcribe, Textract, Rekognition, Translate, Polly

0/7
Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Nhiều bài toán như nhận dạng giọng nói, dịch thuật hay phân tích văn bản không cần tự xây dựng model machine learning; AWS AI services cung cấp model đã được huấn luyện sẵn (pre-trained) qua API.

AWS cung cấp các AI service đã được huấn luyện sẵn, sử dụng thông qua lệnh gọi API mà không cần kiến thức machine learning:

  • Amazon Comprehend: phân tích văn bản: cảm xúc (sentiment), thực thể (entity), cụm từ khoá. Hỗ trợ custom entity recognition để nhận diện loại thực thể riêng của doanh nghiệp. Comprehend chỉ hỗ trợ một số ngôn ngữ (tiếng Anh, Tây Ban Nha, Pháp, Đức, Ý, Bồ Đào Nha, Nhật, Hàn, Hindi, Ả Rập, Trung); tiếng Việt chưa nằm trong danh sách.
  • Amazon Transcribe: chuyển giọng nói thành văn bản, có khả năng phân tách từng người nói.
  • Amazon Textract: trích xuất văn bản, bảng, form từ ảnh scan và PDF; nhận dạng văn bản tiếng Anh, Pháp, Đức, Ý, Bồ Đào Nha và Tây Ban Nha.
  • Amazon Rekognition: phân tích ảnh và video: đối tượng, cảnh, khuôn mặt, nội dung không phù hợp, chữ xuất hiện trong ảnh. Rekognition không phân tích cảm xúc hay chủ đề của một đoạn văn bản.
  • Amazon Translate: dịch văn bản giữa các ngôn ngữ (có hỗ trợ tiếng Việt). Translate không xác định cảm xúc; khi cần phân tích đánh giá tiếng Việt, có thể dịch sang tiếng Anh bằng Translate rồi chuyển sang Comprehend.
  • Amazon Polly: chiều ngược lại của Transcribe, chuyển văn bản thành giọng nói. Transcribe chỉ nhận âm thanh làm đầu vào.

Mỗi tình huống dưới đây là một pipeline xử lý của MFTECH; văn bản đưa vào Comprehend và Textract là tiếng Anh (gian hàng quốc tế của MFTECH), do giới hạn ngôn ngữ nêu trên. Gửi một tài liệu và quan sát kết quả đầu ra tại từng bước xử lý:

Sau đợt khuyến mãi: 3.000 đánh giá tiếng Anh gửi đến trong vài giây
Ứng dụngform đánh giáAPI GatewayREST API(không có)gọi trực tiếpLambdađọc theo batchComprehendDetectSentimentDynamoDBTTL 365 ngày

Chọn một tình huống, sau đó chọn nút chạy. Thay đổi cấu hình và chạy lại để so sánh.

Amazon SageMaker AI là dịch vụ ML được quản lý toàn phần để xây dựng, huấn luyện và triển khai model ML. Tự huấn luyện model trên SageMaker AI cũng đáp ứng được các yêu cầu trên, nhưng cần nhân sự có chuyên môn ML và chi phí vận hành cao hơn. Khi đã có AI service pre-trained phù hợp, nên ưu tiên sử dụng service đó. SageMaker AI cũng không phải nơi chạy API container của ứng dụng: việc đó thuộc về ECS hoặc EKS trên Fargate.

Ghi nhớ:
  • Văn bản → cảm xúc, thực thể: Comprehend (loại thực thể riêng: custom entity recognition).
  • Ảnh, video: Rekognition.
  • Dịch ngôn ngữ: Translate.
  • Văn bản → giọng nói: Polly.
  • Giọng nói → văn bản: Transcribe, sau đó truy vấn SQL bằng Athena.
  • Ảnh scan, PDF → văn bản: Textract, sau đó chuyển sang Comprehend.
  • Lưu lượng dữ liệu tăng đột biến: đặt SQS giữa API Gateway và Lambda; tự động xoá dữ liệu sau một năm: TTL của DynamoDB (item hết hạn thường bị xoá trong vòng vài ngày).
Part 3/5 · 9 phút

AWS AI services: Comprehend, Transcribe, Textract, Rekognition, Translate, Polly

0/9
Từ khóa của phần nàyChọn một từ để xem nghĩa trước khi đọc

Many tasks such as speech recognition, translation or text analysis need no self-built machine learning model; AWS AI services provide pre-trained models through an API.

AWS provides pre-trained AI services that you use through API calls, with no machine learning knowledge required:

  • Amazon Comprehend: analyzes text: sentiment, entities, key phrases. Supports custom entity recognition to identify entity types specific to the business. Comprehend supports only certain languages (English, Spanish, French, German, Italian, Portuguese, Japanese, Korean, Hindi, Arabic, Chinese); Vietnamese is not yet on the list.
  • Amazon Transcribe: converts speech to text and can separate individual speakers.
  • Amazon Textract: extracts text, tables and forms from scanned images and PDFs; recognizes text in English, French, German, Italian, Portuguese and Spanish.
  • Amazon Rekognition: analyzes images and videos: objects, scenes, faces, unsafe content, text that appears in an image. Rekognition does not analyze the sentiment or topics of a piece of text.
  • Amazon Translate: translates text between languages (Vietnamese is supported). Translate does not detect sentiment; to analyze Vietnamese reviews, you can translate them to English with Translate and then pass them to Comprehend.
  • Amazon Polly: the reverse of Transcribe, converts text to speech. Transcribe accepts only audio as input.

Each scenario below is a MFTECH processing pipeline; the text sent to Comprehend and Textract is in English (MFTECH’s international storefront), because of the language limits above. Send a document and watch the output at each processing step:

Sau đợt khuyến mãi: 3.000 đánh giá tiếng Anh gửi đến trong vài giây
Ứng dụngform đánh giáAPI GatewayREST API(không có)gọi trực tiếpLambdađọc theo batchComprehendDetectSentimentDynamoDBTTL 365 ngày

Chọn một tình huống, sau đó chọn nút chạy. Thay đổi cấu hình và chạy lại để so sánh.

Amazon SageMaker AI is a fully managed ML service for building, training and deploying ML models. Training your own model on SageMaker AI also meets these requirements, but it needs staff with ML expertise and costs more to operate. When a suitable pre-trained service exists, prefer that service. SageMaker AI is also not where the application’s container APIs run: that is the job of ECS or EKS on Fargate.

Ghi nhớ:
  • Text → sentiment, entities: Comprehend (custom entity types: custom entity recognition).
  • Images, video: Rekognition.
  • Language translation: Translate.
  • Text → speech: Polly.
  • Speech → text: Transcribe, then query with SQL using Athena.
  • Scanned images, PDFs → text: Textract, then pass to Comprehend.
  • Traffic spikes: put SQS between API Gateway and Lambda; automatically delete data after one year: DynamoDB TTL (expired items are typically deleted within a few days).

Kiểm tra nhanh

Trả lời để ghi nhận đã đọc phần này. Câu trả lời sai sẽ được nhắc ôn lại vào những ngày sau.

MFTECH cần xác định đánh giá tiếng Việt của khách hàng là tích cực hay tiêu cực, không có chuyên gia machine learning. Chọn gì?
Gian hàng quốc tế của MFTECH nhận hoá đơn dạng PDF scan bằng tiếng Anh và cần trích xuất bảng, form rồi nhận diện thực thể. Pipeline nào phù hợp?

Đã trả lời 0/2 câu