Slide 1

Slide 1 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 生成系 AI でプロダクトの価値を 高めるには Machine Learning Developer Relations Takahiro Kubo アマゾン ウェブ サービス ジャパン合同会社

Slide 2

Slide 2 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションのゴール 自社の状況を把握し、生成系 AI でプロダクトの価値を 上げるための 3 ステップを開始すること。 Amazon Bedrock などサービスの詳細はこの後で!

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 自己紹介 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション 「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと してリリースした経験をもとにお話しします。

Slide 4

Slide 4 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本日のアジェンダ 1. 自社の現状を分析する 2. 生成系 AI を価値創出に活かす 3 ステップ 3. 今日から始めるチャレンジ

Slide 5

Slide 5 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本日のアジェンダ 1. 自社の現状を分析する 2. 生成系 AI を価値創出に活かす 3 ステップ 3. 今日から始めるチャレンジ

Slide 6

Slide 6 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6 組織の状況を知るための分類 研究や実証実験の プレスリリースの数 製品化した回数 どれだけ新しい技術 のキャッチアップに 慣れているか どれだけ自社独自の 強みを蓄積できてい るか

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 製品化、研究の先進的事例 3 週間で画像生成機能を 1 億ユーザーの サービスに提供 いち早く長いコンテキストを扱える 基盤モデルを開発

Slide 8

Slide 8 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 研究や実証実験の プレスリリースの数 製品化した 回数 組織の状況をステップアップさせるには製品化が不可欠 スタート ゴール 社内でも社外でも 使える形にしないと 「使われるか」わか らない スタート

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 「もし最初に公開したプロダクトを見て恥ずかしさを覚えな かったなら、それはローンチが遅すぎたということだ。」 LinkedIn 創始者 Reid Hoffman 氏 9

Slide 10

Slide 10 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本日のアジェンダ 1. 自社の現状を分析する 2. 生成系 AI を価値創出に活かす 3 ステップ 3. 今日から始めるチャレンジ

Slide 11

Slide 11 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 価値 is 何 ? LTV(Life Time Value:顧客生涯価値)が一つの考え方 顧客単価 x 収益率 x 購買頻度 x 継続期間 顧客にとって高くても頻繁に長く使いたいサービスで、 コスト効率よく提供できると高まる。 11

Slide 12

Slide 12 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ゴールにたどり着くには、 3 つのフェーズが必要 12 Biz Dev ML 適切なユースケースを選定する。 顧客にとって高くても頻繁に長く使いたい用途の発見。 顧客体験を実現するコスト効率の良い技術を選定。 体験の確実性、また収益・安全性を担保。 継続的なモデル改善の仕組みを作る。 モデルの継続的な改善で機能を洗練させる。

Slide 13

Slide 13 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Biz フェーズ

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Customer Experience Traffic Data Data Driven Decision Growth AI / ML で価値が高まるサイクル ②利益 ③モデルの改善 ①顧客体験の改善 Biz • 良く使いたくなる • 長く使いたくなる • 高い単価でも許容する 研究で機能を洗練させる 製品化で顧客に届ける

Slide 15

Slide 15 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon の例 15 検索体験を 基盤モデルで改善。 目的のアイテムが すぐに買えることで 他社への切り替えが 少なくなる =頻度が高まる。 実際使われた/購入 につながった サジェストのデータ でモデルをより洗練。 ①顧客体験の改善 ②利益 ③モデルの改善 Biz

Slide 16

Slide 16 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon の例 16 検索体験を 基盤モデルで改善。 目的のアイテムが すぐに買えることで 他社への切り替えが 少なくなる。 (※ Amazon で見つからな いから xxx で買うなど) 実際使われた/購入 につながった サジェストのデータ でモデルをより洗練。 ①顧客体験の改善 ②利益 ③モデルの改善 Biz Biz フェーズでは、この 3 点を満たしているかを検証する

Slide 17

Slide 17 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 社内業務コスト削減と顧客体験改善どっちがいい ? 17

Slide 18

Slide 18 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 社内業務コスト削減より顧客体験改善を目指す理由 顧客単価 x 収益率 x 購買頻度 x 継続期間 18 社内業務コスト削減は基本 1 つの項にしか効かないが、 顧客体験の改善は 3 つに効く。 3 倍効率がいい

Slide 19

Slide 19 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Biz フェーズ練習問題 生成系 AI でコールセンターをいい感じにしたい By 社長 19 ①顧客体験の改善は? ②利益は ③モデルの改善は? Biz

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Biz フェーズ練習問題 ( 回答例 ) 20 ①顧客体験の改善 ②利益 ③モデルの改善 Biz オペレーターにつながるま での間、音声通話ボットで お客様の状況をヒアリング。 ヒアリング内容をまとめた レポートを生成することで 体感待ち時間の削減、説明 の二度手間を実現。 「同じ説明の強要」「長い 待ち時間」を解消すること で利用を継続いただける。 61% の消費者は一度でも 不愉快な経験があると他社 に乗り換える (Zendesk 2022) 。 上記 2 点は不愉快な経験 Top3 にランクイン。 オペレーターが、レポート の誤りをチェック。 エラーパターンを分析し、 音声認識やレポートの生成 モデルを改善。

Slide 21

Slide 21 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Biz フェーズのポイント 1. 事例やデータで裏付けをとる。 2. 利益の構成要素 ( 売上 / コスト ) への影響を言語化する。 3. データの蓄積により継続的な成長ができるか確認する。 21 参考 : AI/ML Light Part 機械学習の価値を計算する Biz

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. あなた自身のユースケースは 3 つのポイントを満たしていますか? 22 Biz

Slide 23

Slide 23 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Biz フェーズの支援 : ML Enablement Workshop 生成系 AI の お試し 生成系 AI に よるサービスの 継続的成長 参考 : プロダクトの成長をリードする生成系 AI の活用戦略 23 プロダクトマネージャー ( 製品責任者 ) 、開発者、データ サイエンティストの組織横断的チームで、 3 つの条件を満 たすユースケースの発見と検証を開始する計画を立てる Biz

Slide 24

Slide 24 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Enablement Workshop のコンテンツは すべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、 開催者向けガイドを参照しお客様自身で実施 頂くこともできます 24 Biz ワークショップの資料だけでなく 海外の著名プロダクトでのデータ サイエンス活用事例も紹介。 ワークショップの資料には、AWS の知見だけでなく海外先進事例の 知見が反映されています。

Slide 25

Slide 25 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 「プロダクトを成長させる生成系 AI のユースケースを考え るワークショップ」を開催しました。 プロダクト作りにかかわる方 4,000 名超が参加する 「プロダクト筋トレ」に ML Enablement Workshop をベースにしたコンテンツを 提供。 イベント満足度は 4.8 、ワーク ショップを他の人にお勧めしたい 度合いは 4.5 と高い評価。 25 https://note.com/piqcy/n/n7097e8708185

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Dev フェーズ

Slide 27

Slide 27 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 27 Dev

Slide 28

Slide 28 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 28 Dev

Slide 29

Slide 29 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 社内・チーム内で成功体験を積めるよう、誰でも生成系 AI に触れられる環境を作る。さらにチャレンジを奨励する。 29 KLab 様の事例 Dev

Slide 30

Slide 30 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS で誰でも生成系 AI に触れられる環境を作る方法 ① Amazon SageMaker Canvas で Amazon Bedrock を利用できる。 シングルサインオンの設定をする ことで、 ビジネスユーザーが AWS Console を経由せず アクセスできる。 30 Dev

Slide 31

Slide 31 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Canvas は生成系 AI 以外の機械学習も扱える 31 Dev

Slide 32

Slide 32 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS で誰でも生成系 AI に触れられる環境を作る方法 ② 32 bedrock-claude-chat Amzon Bedrock で選択できる基盤 モデルの一つ Anthropic Claude を使ったチャット UI を提供する オープンソース。 • IP アドレスによるアクセス制限 • 認証機能 • 会話履歴記録機能付き Dev

Slide 33

Slide 33 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock の実行履歴は CloudTrail に記録される 33 どのモデルをいつ呼び出したかを把握可能。 Model invocation logging (Preview) を使用すれば入出力 も CloudWatch / S3 に記録できる 誰がどんなユースケースで使っているかデータをもとに施策を 検討 Dev

Slide 34

Slide 34 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 34 Dev 製品化したこと ない場合ここで よく詰まる

Slide 35

Slide 35 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 実際使ってもらわないと使われるかわからない 35 「もし最初に公開したプロダクトを見て恥ずか しさを覚えなかったなら、それはローンチが遅 すぎたということだ。」(2 回目) LinkedIn 創始者 Reid Hoffman 氏

Slide 36

Slide 36 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 戦略① : セミプロダクション環境でのリリース Dev Sansan Labs 年間 100 リリースを目指し生成 系 AI 等を用いた機能をリード タイム 2 週間でリリース。 Sansan 本体でリリースする前に Lab 環境で価値検証を実施。 Sansan Labs の LLM 活用から考える LLM プロジェクトの要点整理

Slide 37

Slide 37 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 戦略② : エンドユーザーに見えない機能からリリース 37 • エンドユーザーに見えない機能の例 • ユーザーの属性カテゴリの推定 ( 推薦などで使用 ) • 検索用のキーワード抽出 • 段階的な機能開放 ▪ 全ユーザーの 10% から機能を開放する等 メルカリにおける LLM を用いたプロダクト開発 参考 Dev

Slide 38

Slide 38 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 38 Dev

Slide 39

Slide 39 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 収益 1. 扱う入出力のトークン数はどれくらい ? 2. 要求される応答の品質はどれくらい ? 3. 1+2 の前提の上で、コスト効率が良いモデルは ? 安全性 • セキュリティ 39 Dev

Slide 40

Slide 40 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 40 トークン数とは ? 基盤モデルは扱えるトークン数の上限が決まっている。 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.00 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 GPT-4-turbo 128k $10 $30 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 Dev

Slide 41

Slide 41 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 41 トークン数はどうやって決まる ? モデルとペアになっているトークン分割器により決まる。 おおむね出現頻度が高い文字の連なりは一つにまとまる傾向がある。 日本語特化のモデルでない場合、日本語自体が珍しいため 1 文字 1 トークン以上の数で分割されることが多い。 Dev

Slide 42

Slide 42 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 42 クイズ① : トークン数はどれくらい ? Amazon の 「よくある質問」の回答 Dev

Slide 43

Slide 43 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 43 クイズ① : トークン数はどれくらい ? (回答) ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算 2102文字 1998 1067文字 1038 “Amazon” は 1 トークンになっ ているので文字数よりやや少ない Dev

Slide 44

Slide 44 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 44 クイズ① : トークン数はどれくらい ? (補足) ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算 パソコンの取扱説明書 346 ページ https://pc- dl.panasonic.co.jp/public/s_manual/lets_2023sum mer/cfsr4mk1-kihonguide_r-20230014zad- ja_secured.pdf 66,000文字 59,000 Dev

Slide 45

Slide 45 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 45 クイズ① : トークン数はどれくらい ? (補足) Dev https://huggingface.co/spaces/icoxfog417/llm-token-counter Claude と OpenAI 双方の トークン数が確認できる アプリを公開中。

Slide 46

Slide 46 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. クイズ② : 要求される応答の品質は ? 46 品質を決める基準がまず必要 例 : 返答に含まれる確認点の数 • 「PC の電源が入っているか確認してください」 : 1 つ • 「PC の電源、またはディスプレイの電源が ON か確認してくだ さい」: 2 つ Dev

Slide 47

Slide 47 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. クイズ② : 要求される応答の品質は ? 47 例 : Wifi がつながらない問い合わせへの返答を 4 つのモデルで検証 入力プロンプト: 次のガイドを参照し、無線 LAN につながらないお客様への最初のア ドバイスを140 文字以内で作成してください。 ガイド : (PC の Wifi 接続 FAQ を張り付け) Dev

Slide 48

Slide 48 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. クイズ② : 要求される応答の品質は ? 48 Wi-Fiがオフになってい るか、機内モードがオン になっていることを確認 してください。また、無 線LANアクセスポイント の電源が入っていること も確認してください。さ らに、お使いの無線LAN アクセスポイントとの距 離が遠くなっている場合 は・・・(省略) お使いのデバイスの Wi-Fiがオンになって いるか、機内モードが オフになっているかを 確認してください。ま た、無線LANアクセス ポイントの電源がオン になっているか、無線 アダプタがオンかも チェックしてください。 近くにアクセスポイン トがなければ接続でき ません。 A 承知しました。お客様に 最初にお尋ねしたいと思 いますのは、「機内モー ドがオンになっている か」です。 機内モードがオンの状態 ではWi-FiやBluetooth がオフになっていても、 接続が不安定になること があります。 お客様の機種で機内モー ドがオンになっていない か、ご確認いただければ 幸いです。 次の点をご確認くださ い。 - Wi-Fiがオンになって いるか - アクセスポイントの 電源が入っているか - アクセスポイントと の距離が遠すぎないか ・・・(中略)・・・ ご不明な点がありまし たらお問い合わせくだ さい。 D C B Dev 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

Slide 49

Slide 49 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. クイズ② : 要求される応答の品質は ? (回答) 49 お客様の無線LANにつな がらない場合、まず機内 モードがオフになってい るか、Wi-Fiがオンに なっているかを確認して ください。 "Wi-Fiに接続できない 場合、機内モードがオ ンになっていないか、 Wi-Fiやネットワークア ダプターがオンになっ ていることをご確認く ださい。また、無線 LANの設定やファイア ウォールの設定が正し く行われているかも確 認が必要です。" 承知しました。お客様に 最初にお尋ねしたいと思 いますのは、「機内モー ドがオンになっている か」です。 機内モードがオンの状態 では、Wi-FiやBluetooth がオフになっていても、 接続が不安定になること があります。 お客様の機種で機内モー ドがオンになっていない か、ご確認いただければ 幸いです。 お使いのPCと無線LAN アクセスポイントの距 離を近づけ、無線LAN アダプターの検出を再 試行してください。無 線LANアダプターの電 源がオンになっている か、周波数と頻道の設 定が正しいか確認して ください。 GPT 3.5 ELYZA (OSS) GPT 4.0 Claude-v2 Dev A D C B 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

Slide 50

Slide 50 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Anthropic Claude はリーダーボード上、 GPT-4 に次ぐ精度 50 Dev https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard https://yuzuai.jp/benchmark Hugging Face Chatbot Arena Rakuda Ranking

Slide 51

Slide 51 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 長文コンテキストで GPT3.5 / GPT4-turbo より強いとい う報告もあり 51 Dev https://twitter.com/alex_peys/status/1722396553732854122?s=20

Slide 52

Slide 52 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 52 先ほどの A, B, C, D, 4 つのモデルの価格差は ? クイズ③ : 最終的な価格は ? Dev

Slide 53

Slide 53 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 53 お客様の無線LANにつな がらない場合、まず機内 モードがオフになってい るか、Wi-Fiがオンに なっているかを確認して ください。 "Wi-Fiに接続できない 場合、機内モードがオ ンになっていないか、 Wi-Fiやネットワークア ダプターがオンになっ ていることをご確認く ださい。また、無線 LANの設定やファイア ウォールの設定が正し く行われているかも確 認が必要です。" 承知しました。お客様に 最初にお尋ねしたいと思 いますのは、「機内モー ドがオンになっている か」です。 機内モードがオンの状態 では、Wi-FiやBluetooth がオフになっていても、 接続が不安定になること があります。 お客様の機種で機内モー ドがオンになっていない か、ご確認いただければ 幸いです。 お使いのPCと無線LAN アクセスポイントの距 離を近づけ、無線LAN アダプターの検出を再 試行してください。無 線LANアダプターの電 源がオンになっている か、周波数と頻道の設 定が正しいか確認して ください。 GPT 3.5 ELYZA (OSS) GPT 4.0 Claude-v2 30倍 (turbo は 14 倍) 16倍 使用頻度により 変動 ( 後述 ) Dev A D C B クイズ③ : 最終的な価格は ? ( 回答 ) 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

Slide 54

Slide 54 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 54 精度を追求するほどコストがかかる

Slide 55

Slide 55 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 55 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.50 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 GPT-4-turbo 128k $10 $30 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 2023 年 10 月 12 日 時点の価格 OpenAI: https://openai.com/pricing Anthropic: https://aws.amazon.com/jp/bedrock/pricing Amazon Bedrock で使える Claude の特徴 緑色のモデルは AWS で利用可能。 (*) 東京リージョンでは Claude Instant (18k) のみ利用可能。 Claude Instant は、 GPT-3.5 の 2 倍程度だが 100 k まで入り高速。 Claude は GPT-4 に次ぐ精度でより安価 (turbo も安価)。 Dev

Slide 56

Slide 56 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. オープンソースのモデルの価格は ? 56 • 日本語クイズのデータセット JAQKET に対する精度を比較。 • Fine Tuning した OpenCALM では、 GPT-3.5 で JAQKET の評価データに対 し同等の精度が得られた。 • インフラの最適化により GPT 3.5 より 20 倍 ~ 37 倍コスト効率を改善できる。 詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する Fine Tuning で同等精度が得られインスタンス費用のほうが安く済 むなら十分な選択肢 ※インスタンスを起動し続ける場合、推論回数が低いと インスタンスの固定費が高くつく点には注意。 Dev

Slide 57

Slide 57 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. セキュリティ : Amazon Bedrock におけるデータの保護 • 顧客のデータは Amazon およびサードパーティーのモデルの学習 に使用されない。 • データは常に暗号化される (AES-256 / TLS1.2) • Bedrock への入出力は発生したリージョンに留まり顧客ごとに管理 される。 57 Dev

Slide 58

Slide 58 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML フェーズ

Slide 59

Slide 59 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 59 生成系 AI を製品から得られる評価 ( データ ) で追加学習 することが差別化につながる。 価値 データ 通常の機械学習モデル 生成系 AI をそのまま 使い続ける場合 生成系 AI を追加学習 していく場合 ML

Slide 60

Slide 60 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock でできる Fine Tuning 少量データのみで実施可能 特定タスクに対する精度の最大化 Fine-tune PURPOSE DATA NEED ML

Slide 61

Slide 61 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock での追加学習の課題 • 対応しているモデルが限られる。 ▪ 2023/11/14 時点では Amazon Titan のみ。 • モデルの利用が、トークン単位ではなく時間単位の課金になるため、 使用量が少ないと割高になる。 Amazon Bedrock で提供されるハイエンドなモデルはパラメーター 数も多いため、転移学習は高くつく可能性がある。 61 ML

Slide 62

Slide 62 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker : AI/ML の統合開発環境 MLOps 自動化 チューニング 特定ドメイン用の カスタマイズ 監視 バイアスの監視 特徴量貢献度 ドリフト検定 準備 データのラベル付け 人間参加型 AI (human-in-the-loop) の 為のフィードバック提供 デプロイ 最適価格での柔軟な デプロイ 62 ML

Slide 63

Slide 63 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart : より幅広なモデルの選択肢 63 モデル Stable Diffusion XL 1.0 2.1 base 高精細化 インペインティング タスク テキスト入力から フォト・リアルな 画像生成 生成画像の品質改善 特長 Stable Diffusion 2.1 ファイン・チューン対応 モデル AlexaTM 20B タスク 機械翻訳 質問回答 テキスト要約 注釈付与 データ生成 モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク 機械翻訳 質問回答 テキスト要約 モデル Cohere Command XL タスク テキスト生成 情報抽出 質問回答 テキスト要約 モデル Jurassic-2 Ultra, Mid 状況に応じた回答 テキスト要約 言い換え 文法エラー訂正 タスク テキスト生成 長文生成 テキスト要約 言い換え チャット 情報抽出 モデル Lyra-Fr 10B, Mini タスク テキスト生成 キーワード抽出 情報抽出 質問回答 テキスト要約 感情分析 テキスト分類 モデル Llama 2 7B, 13B, 70B タスク 質問回答 チャット テキスト要約 言い換え 感情分析 テキスト生成 モデル Dolly タスク 質問回答 チャット 言い換え 感情分析 テキスト生 成 400 超のオープンソースや企業独自のモデルを簡単にデプロイ、カスタマイズ Dev

Slide 64

Slide 64 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart で LLM を使う方法 64 Python で推論 / 学習のコードを書く必要がない。ボタンを押すだけで OK 。 追加学習には対応しているモデルとしていないモデルがあります。

Slide 65

Slide 65 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. rinna 社の日本語大規模言語モデルも利用可能に 65 Dev Fine Tuning の対応は現在進めている最中です!

Slide 66

Slide 66 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本日のアジェンダ 1. 自社の現状を分析する 2. 生成系 AI を価値創出に活かす 3 ステップ 3. 今日から始めるチャレンジ

Slide 67

Slide 67 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 価値 is 何 ? LTV(Life Time Value:顧客生涯価値)が一つの考え方 顧客単価 x 収益率 x 購買頻度 x 継続期間 67

Slide 68

Slide 68 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ゴールにたどり着くには、 3 つのフェーズが必要 68 Biz Dev ML 適切なユースケースを選定する。 顧客にとって高くても頻繁に長く使いたい用途の発見。 顧客体験を実現するコスト効率の良い技術を選定。 体験の確実性、また収益・安全性を担保。 継続的なモデル改善の仕組みを作る。 モデルの継続的な改善で機能を洗練させる。

Slide 69

Slide 69 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 今日から始める生成系 AI 活用プロジェクトチャート 69 自社の現状分析 Biz Dev ML Amazon SageMaker Canvas や OSS のサンプルで生成系 AI を使え るセキュアな環境を構築できる。 ML Enablement Workshop で 顧客体験改善、利益、継続的改善の 条件を満たす用途を特定する。 Amazon Bedrock 、 Amazon SageMaker JumpStart で用途に合うモデルを比較、選択。 Amazon SageMaker による継続 的なモデル改善。 公開リソース

Slide 70

Slide 70 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 70 来年の AWS Summit で生成系 AI のプロダクト機能を ぜひ発表ください!

Slide 71

Slide 71 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.