電笑戦ハンズオン / DENSHOSEN Hands-on

ボケて電笑戦のボケ AI モデルを学習させるハンズオンです。
ボケての紹介、ボケ AI モデル解説、などのコンテンツも含まれています。
https://github.com/aws-samples/bokete-denshosen

Transcript

1. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   © 2022, Amazon Web Services, Inc. or its affiliates.
   ボケて電笑戦ハンズオン
   #awsbasics #電笑戦
   針原 佳貴 (Yoshitaka Haribara, Ph.D.)
   A W S S u m m i t 直 前 企 画
   スタートアップ 機械学習 ソリューションアーキテクト
   Amazon Web Services Japan
   

   View Slide

2. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   Agenda
   • 「ボケて電笑戦」とは
   • ボケ AI モデル解説
   • 電笑戦ハンズオン
   • AWS Summit 電笑戦 にむけて
   • まとめ
   

   View Slide

3. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   ⾃⼰紹介
   針原 佳貴 (はりばら よしたか)
   AWS Japan
   スタートアップ ML ソリューションアーキテクト
   ⼤阪府出⾝。2018年に東京⼤学⼤学院情報理⼯学系
   研究科博⼠課程修了後、AWS Japan に⼊社。
   以来スタートアップ担当のソリューションアーキテクト
   として機械学習基盤の設計や機械学習プロジェクト、
   最近は量⼦コンピューティング案件も⽀援。
   趣味はドラム。
   

   View Slide

4. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   写真で⼀⾔ ボケて by オモロキ
   

   View Slide

5. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   例題
   

   View Slide

6. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   例題と解答例
   

   View Slide

7. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   • ボケて電笑戦では、ボケのビッグ
   データを⽤いて学習させた AI が
   ボケを⾃動⽣成する
   • 3名の出場者がモデルを持ち寄り
   ⾯⽩さと技術を競う
   • この技術セッションでは、
   電笑戦を⽀える AI モデルなど、
   その詳細を紹介します
   ボケて 電笑戦
   Presented by Omoroki & Dentsu Digital
   ࣸਅͰҰݴ
   

   View Slide

8. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   ボケビッグデータについて (提供: オモロキ)
   • ボケてに投稿されているボケは全部で約9300万ボケ
   • そのうちお題画像がクリエイティブコモンズ
   ライセンスの約100万ボケをピックアップ
   • データ量が多いため、扱いやすいよう
   ユーザーからのボケ評価数に応じて
   「ボケ⽸」としてパッケージ化し提供
   ボケ⽸データセット (合計 1,100,542 ボケ):
   • BokeKanSP 評価数 10,001以上 (380 ボケ)
   • BokeKanRed 評価数 1,001 – 10,000 (8,183 ボケ)
   • BokeKanGreen 評価数 101 – 1,000 (37,342 ボケ)
   • BokeKanYellow 評価数 1 – 100 (955,901 ボケ)
   • BokeKanBlue 評価数 0 (98,736ボケ)
   ボケビッグデータが⼊ってるボケ⽸イメージ
   BokeKanSP BokeKanRed
   BokeKanGreen BokeKanYellow BokeKanBlue
   

   View Slide

9. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
   「ボケ⽸」データセットの中⾝ (提供: オモロキ)
   boke.csv
   README.md
   (Photo by Kullez, licensed under the
   Creative Commons Attribution License 2.0)
   Images
   

   View Slide

10. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    “a surfer riding on a wave”
    画像の説明⽂ (キャプション) を
    ⽣成する分野は、2015年頃から
    深層学習の技術が使われ始めた。
    当初はCNN (画像特徴量抽出) と
    RNN/LSTM (⽂章⽣成) を
    掛け合わせたシンプルなモデルが
    主流であった。
    深層学習を⽤いた画像の説明
    (License: Public Domain [Image source])
    

    View Slide

11. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ベースラインのモデル (提供: 電通デジタル)
    2014年頃から盛んに研究されている
    Encoder-Decoder モデルを⽤いて
    画像をテキストに「翻訳」する。
    • Encoder: CNN (ImageNet で学習
    された VGG16) の全結合層から
    ⼊⼒画像の特徴ベクトルを抽出。
    • Decoder: LSTM (系列モデル)
    に繋げることでキャプションを⽣成。
    前ステップの出⼒を次の⼊⼒として
    ⽤いることで⽂章を再帰的に⽣成。
    電笑戦企画・コーディネートの電通デジタル ⽯川 隆⼀ ⽒より提供された
    ベースラインのモデルを電笑戦ハンズオンとして GitHub で公開中
    https://github.com/aws-samples/bokete-denshosen
    Input image
    CNN
    LSTM
    LSTM
    LSTM
    LSTM
    a surfer
    a wave
    …
    Encoder (CNN) Decoder (LSTM)
    

    View Slide

12. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker
    

    View Slide

13. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    AWS AI/ML
    AI SERVICES
    Code + DevOps
    Amazon CodeGuru
    Amazon DevOps Guru
    Business processes
    Amazon Personalize
    Amazon Forecast
    Amazon Fraud Detector
    Amazon Lookout for Metrics
    Search
    Amazon Kendra
    Industrial
    Amazon Monitron
    Amazon Lookout for Equipment
    Amazon Lookout for Vision
    Healthcare
    Amazon HealthLake
    Amazon Comprehend Medical
    Amazon Transcribe Medical
    SPECIALIZED
    Chatbots
    Amazon Lex
    Text & Documents
    Amazon Translate
    Amazon Comprehend
    Amazon Textract
    Speech
    Amazon Polly
    Amazon Transcribe
    Amazon Transcribe Call Analytics
    Vision
    Amazon Rekognition
    AWS Panorama
    CORE
    ML SERVICES Manage
    edge devices
    Learn
    ML
    No-code ML
    for business
    analysts
    Prepare
    data
    Store
    features
    Detect
    bias
    Build with
    notebooks
    Manage
    & monitor
    Train
    models
    Deploy in
    production
    Tune
    parameters
    Explain
    predictions
    CI/CD
    Label
    data
    SAGEMAKER
    CANVAS
    SAGEMAKER
    STUDIO LAB
    AMAZON SAGEMAKER STUDIO IDE
    ML FRAMEWORKS
    & INFRASTRUCTURE
    TensorFlow,
    PyTorch,
    Apache MXNet,
    Hugging Face
    Amazon EC2 CPUs GPUs AWS Trainium
    Elastic
    inference
    AWS Inferentia FPGA
    Habana
    Gaudi
    Deep Learning
    Containers (DLC)
    

    View Slide

14. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker でモデル構築、トレーニング、デプロイ
    トレーニングデータを収集して準備
    完全マネージド型データ処理ジョブ/
    データラベル付けのワークフロー
    MLアルゴリズムを選択または
    独自モデルを持ち込み
    コラボレーティブ・ノートブック
    ビルトインアルゴリズム/モデル
    トレーニング環境の設定と管理
    ワンクリックでトレーニング
    モデルのトレーニング、
    デバッグ、チューニング
    デバッグと
    最適化
    トレーニング実行の
    管理
    実験を視覚的に追跡して
    比較する
    本番環境での
    モデルの展開
    ワンクリック展開と
    自動スケーリング
    モデルの
    モニタリング
    コンセプトのドリフ
    トを自動的に検出
    予測の検証
    予測のヒューマンレ
    ビューを追加
    本番環境の拡張と管理
    完全マネージド型
    自動スケーリングで 75% 削減
    ML用ウェブベースのIDE モデルの自動構築とトレーニング
    

    View Slide

15. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon
    SageMaker
    Studio Notebooks
    共有可能・高速起動
    ノートブック
    シングルサインオン (SSO) で簡単アクセス
    ノートブックに数秒でアクセス
    完全マネージド型で安全
    管理者によるアクセスと権限の管理
    迅速なセットアップ
    コンピューティングリソースを稼働させずに
    ノートブックを起動
    簡単なコラボレーション
    ワンクリックでノートブックの共有
    柔軟性
    コンピューティングリソースを起動・シャットダウン
    

    View Slide

16. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker
    Processing
    データ処理とモデル評価の
    ための分析ジョブ
    完全マネージド型
    クラスタの分散処理の実現
    カスタム処理
    フィーチャエンジニアリング用の独自のスクリプトをご持参
    ください
    コンテナサポート
    SageMaker のビルトインコンテナを使用するか、独自のコ
    ンテナをご持参ください
    セキュリティとコンプライアンス
    SageMaker のセキュリティ機能とコンプライアンス機能を活用
    自動作成と自動終了
    リソースは自動的に作成、設定、終了
    

    View Slide

17. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker
    は 1クリック で
    お客様のモデルを
    トレーニング
    シングルパス
    トレーニング
    メモリに縛られない
    再トレーニング用
    チェックポイント
    お客様独自の
    アルゴリズムを
    トレーニング
    デフォルトで
    分散学習可能
    データストリーム上
    でのトレーニング
    

    View Slide

18. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker
    フルマネージド型:
    ワンクリックでモデル展開
    自動スケーリング
    低レイテンシーと高スループット
    BYOL
    Python SDK
    エンドポイントに複数のモデルの展開
    

    View Slide

19. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ハンズオンコンテンツを公開しています
    https://github.com/aws-samples/bokete-denshosen
    

    View Slide

20. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    5/25 18:30- AWS Summit 電笑戦 にむけて
    電笑戦出場者
    • 森⻑ 誠 ⽒ (ストックマーク株式会社)
    • 中⻄ 健太郎 ⽒ (株式会社ミクシィ)
    • カレーちゃん ⽒
    登壇者
    • コメンテーター: FUJIWARA さん、司会: ⾕井
    • 技術解説: 針原・⽯川、NG ボケ判定: ⻲⽥
    そして今⽇ハンズオンに参加された皆さんも、
    電笑戦当⽇、AWS ジャパン公式 Twitter @awscloud_jp よりお題画像
    を投稿します。本⽇作った AI モデルを使って #電笑戦 ＃AIでボケた
    の２つのハッシュタグ付けて公式投稿にコメントしてください︕
    ࣸਅͰҰݴ
    

    View Slide

21. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Thank you!
    © 2022, Amazon Web Services, Inc. or its affiliates.
    針原 佳貴
    Twitter: @_hariby
    ⻲⽥ 治伸
    Twitter: @kameoncloud
    

    View Slide