Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSのAIサービスインテグレーション - AIの仕組みを活用した課題解決

貞松政史
November 04, 2020

AWSのAIサービスインテグレーション - AIの仕組みを活用した課題解決

AWSのサービス群にはAIや機械学習に関連するサービスが多数用意されています。現実世界で直面する課題の幾つかは、AWSで用意されているAIサービスそのまま適用、あるいは組み合わせて適用することで解決できます。本セッションでは、Amazon Transcribeを利用した文字起こしシステムやAmazon Rekognition + Amazon Translate + Amazon Pollyの組み合わせによる画像中のテキスト翻訳と読み上げのシステムについて、その仕組みと実際の動作について解説します。

貞松政史

November 04, 2020
Tweet

More Decks by 貞松政史

Other Decks in Technology

Transcript

  1. 2 ⾃⼰紹介 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部

    機械学習チーム 岡⼭オフィス勤務 最近の活動 機械学習を活⽤した 「レコメンドシステムプラン」 を公開しました︕ https://classmethod.jp/services/machine-learning/recommend/
  2. 7 おしながき 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeによる⽂字起こし + ⽣成した テキストの閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ
  3. 8 AWSのAIサービス群 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeによる⽂字起こし + ⽣成した テキストの閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ
  4. 10 AWSのAIサービス群 Amazon Comprehend Amazon Forecast Amazon Lex Amazon Personalize

    Amazon Polly Amazon Rekognition Amazon Textract Amazon Transcribe Amazon Translate AWSのAIサービスは様々な分野をカバー • テキスト解析 • OCR (Optical Character Recognition) • テキスト翻訳 • STT (Speech To Text) • TTS (Text To Speech) • チャットボット • 画像解析 • レコメンデーション • 時系列予測 ※SageMakerをはじめとする機械学習の 開発プラットフォームは除外 ※DeepLensやDeepRacer等、学習寄りの プラットフォームについても除外 「AWS AIサービスについて知る」 https://aws.amazon.com/jp/machine-learning/ai-services/
  5. 11 本セッションに関連するサービス Amazon Polly Amazon Rekognition Amazon Transcribe Amazon Translate

    画像分析・動画分析サービス 物体検出や顔検出、テキスト検出など 機械翻訳サービス 深層学習モデルを使⽤したニューラル機械翻訳 テキスト読み上げ(Text-To-Speech)サービス 男性・⼥性2パターンの⽇本語⾳声に対応 ⾳声⽂字起こし(Speech-To-Text)サービス 発話者の判別やカスタム語彙、単語のフィルタなどに対応
  6. 12 画像内テキストの翻訳読み上げアプリ 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeによる⽂字起こし + ⽣成した テキストの閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ
  7. 15 解決策を考える Amazon Polly Amazon Rekognition Amazon Translate 画像分析・動画分析サービス 物体検出や顔検出、テキスト検出など

    機械翻訳サービス 深層学習モデルを使⽤したニューラル機械翻訳 テキスト読み上げ(Text-To-Speech)サービス 男性・⼥性2パターンの⽇本語⾳声に対応 カメラで撮影して画像からテキストを抽出 →抽出したテキストを翻訳 →翻訳したテキストを読み上げ
  8. 16 想定されるアーキテクチャ Amazon API Gateway AWS Lambda Amazon Polly Amazon

    Rekognition Amazon Translate Androidアプリ Xamarin.Forms (クロスプラットフォーム対応) ① ② ③
  9. 23 おしながき 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeによる⽂字起こし + ⽣成した テキストの閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ
  10. 38 サービスインテグレーションのアイデア 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeによる⽂字起こし + ⽣成した テキストの閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ
  11. 43 サービスを置き換えてみる Amazon API Gateway AWS Lambda Amazon Polly 画像ファイル

    Amazon Textract Amazon Translate ブラウザ(Webアプリ)から ファイルをアップロード OCRサービスのTextractで テキストを抽出 ⼀⾒マッチしないように⾒える事例を読み換えてみる
  12. 44 まとめ 1. AWSのAIサービス群 2. Rekognition + Translate + Pollyを

    組み合わせた画像内テキストの翻訳読み上げアプリ 3. Transcribeで⽣成した⽂字起こしテキストの 閲覧&編集アプリ 4. サービスインテグレーションのアイデア 5. まとめ