生成系 AI でプロダクトの価値を高めるには

© 2023, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 生成系 AI でプロダクトの価値を高めるには Machine Learning Developer Relations Takahiro Kubo アマゾンウェブサービスジャパン合同会社

rights reserved. 本セッションのゴール自社の状況を把握し、生成系 AI でプロダクトの価値を上げるための 3 ステップを開始すること。 Amazon Bedrock などサービスの詳細はこの後で！

rights reserved. 3 自己紹介アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトとしてリリースした経験をもとにお話しします。

rights reserved. 本日のアジェンダ 1. 自社の現状を分析する 2. 生成系 AI を価値創出に活かす 3 ステップ 3. 今日から始めるチャレンジ

rights reserved. 6 組織の状況を知るための分類研究や実証実験のプレスリリースの数製品化した回数どれだけ新しい技術のキャッチアップに慣れているかどれだけ自社独自の強みを蓄積できているか

rights reserved. 7 製品化、研究の先進的事例 3 週間で画像生成機能を 1 億ユーザーのサービスに提供いち早く長いコンテキストを扱える基盤モデルを開発

rights reserved. 8 研究や実証実験のプレスリリースの数製品化した回数組織の状況をステップアップさせるには製品化が不可欠スタートゴール社内でも社外でも使える形にしないと「使われるか」わからないスタート

rights reserved. 「もし最初に公開したプロダクトを見て恥ずかしさを覚えなかったなら、それはローンチが遅すぎたということだ。」 LinkedIn 創始者 Reid Hoffman 氏 9

rights reserved. 価値 is 何 ? LTV（Life Time Value：顧客生涯価値）が一つの考え方顧客単価 x 収益率 x 購買頻度 x 継続期間顧客にとって高くても頻繁に長く使いたいサービスで、コスト効率よく提供できると高まる。 11

rights reserved. ゴールにたどり着くには、 3 つのフェーズが必要 12 Biz Dev ML 適切なユースケースを選定する。顧客にとって高くても頻繁に長く使いたい用途の発見。顧客体験を実現するコスト効率の良い技術を選定。体験の確実性、また収益・安全性を担保。継続的なモデル改善の仕組みを作る。モデルの継続的な改善で機能を洗練させる。

rights reserved. Biz フェーズ

rights reserved. Customer Experience Traffic Data Data Driven Decision Growth AI / ML で価値が高まるサイクル ②利益 ③モデルの改善 ①顧客体験の改善 Biz • 良く使いたくなる • 長く使いたくなる • 高い単価でも許容する研究で機能を洗練させる製品化で顧客に届ける

rights reserved. Amazon の例 15 検索体験を基盤モデルで改善。目的のアイテムがすぐに買えることで他社への切り替えが少なくなる =頻度が高まる。実際使われた/購入につながったサジェストのデータでモデルをより洗練。 ①顧客体験の改善 ②利益 ③モデルの改善 Biz

rights reserved. Amazon の例 16 検索体験を基盤モデルで改善。目的のアイテムがすぐに買えることで他社への切り替えが少なくなる。 (※ Amazon で見つからないから xxx で買うなど) 実際使われた/購入につながったサジェストのデータでモデルをより洗練。 ①顧客体験の改善 ②利益 ③モデルの改善 Biz Biz フェーズでは、この 3 点を満たしているかを検証する

rights reserved. 社内業務コスト削減と顧客体験改善どっちがいい ? 17

rights reserved. 社内業務コスト削減より顧客体験改善を目指す理由顧客単価 x 収益率 x 購買頻度 x 継続期間 18 社内業務コスト削減は基本 1 つの項にしか効かないが、顧客体験の改善は 3 つに効く。 3 倍効率がいい

rights reserved. Biz フェーズ練習問題生成系 AI でコールセンターをいい感じにしたい By 社長 19 ①顧客体験の改善は? ②利益は ③モデルの改善は? Biz

rights reserved. Biz フェーズ練習問題 ( 回答例 ) 20 ①顧客体験の改善 ②利益 ③モデルの改善 Biz オペレーターにつながるまでの間、音声通話ボットでお客様の状況をヒアリング。ヒアリング内容をまとめたレポートを生成することで体感待ち時間の削減、説明の二度手間を実現。「同じ説明の強要」「長い待ち時間」を解消することで利用を継続いただける。 61% の消費者は一度でも不愉快な経験があると他社に乗り換える (Zendesk 2022) 。上記 2 点は不愉快な経験 Top3 にランクイン。オペレーターが、レポートの誤りをチェック。エラーパターンを分析し、音声認識やレポートの生成モデルを改善。

rights reserved. Biz フェーズのポイント 1. 事例やデータで裏付けをとる。 2. 利益の構成要素 ( 売上 / コスト ) への影響を言語化する。 3. データの蓄積により継続的な成長ができるか確認する。 21 参考 : AI/ML Light Part 機械学習の価値を計算する Biz

rights reserved. あなた自身のユースケースは 3 つのポイントを満たしていますか? 22 Biz

rights reserved. Biz フェーズの支援 : ML Enablement Workshop 生成系 AI のお試し生成系 AI によるサービスの継続的成長参考 : プロダクトの成長をリードする生成系 AI の活用戦略 23 プロダクトマネージャー ( 製品責任者 ) 、開発者、データサイエンティストの組織横断的チームで、 3 つの条件を満たすユースケースの発見と検証を開始する計画を立てる Biz

rights reserved. ML Enablement Workshop のコンテンツはすべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、開催者向けガイドを参照しお客様自身で実施頂くこともできます 24 Biz ワークショップの資料だけでなく海外の著名プロダクトでのデータサイエンス活用事例も紹介。ワークショップの資料には、AWS の知見だけでなく海外先進事例の知見が反映されています。

rights reserved. 「プロダクトを成長させる生成系 AI のユースケースを考えるワークショップ」を開催しました。プロダクト作りにかかわる方 4,000 名超が参加する「プロダクト筋トレ」に ML Enablement Workshop をベースにしたコンテンツを提供。イベント満足度は 4.8 、ワークショップを他の人にお勧めしたい度合いは 4.5 と高い評価。 25 https://note.com/piqcy/n/n7097e8708185

rights reserved. Dev フェーズ

rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 27 Dev

rights reserved. 社内・チーム内で成功体験を積めるよう、誰でも生成系 AI に触れられる環境を作る。さらにチャレンジを奨励する。 29 KLab 様の事例 Dev

rights reserved. AWS で誰でも生成系 AI に触れられる環境を作る方法 ① Amazon SageMaker Canvas で Amazon Bedrock を利用できる。シングルサインオンの設定をすることで、ビジネスユーザーが AWS Console を経由せずアクセスできる。 30 Dev

rights reserved. SageMaker Canvas は生成系 AI 以外の機械学習も扱える 31 Dev

rights reserved. AWS で誰でも生成系 AI に触れられる環境を作る方法 ② 32 bedrock-claude-chat Amzon Bedrock で選択できる基盤モデルの一つ Anthropic Claude を使ったチャット UI を提供するオープンソース。 • IP アドレスによるアクセス制限 • 認証機能 • 会話履歴記録機能付き Dev

rights reserved. Amazon Bedrock の実行履歴は CloudTrail に記録される 33 どのモデルをいつ呼び出したかを把握可能。 Model invocation logging (Preview) を使用すれば入出力も CloudWatch / S3 に記録できる誰がどんなユースケースで使っているかデータをもとに施策を検討 Dev

rights reserved. Dev: 顧客体験を実現するコスト効率よい方法を発見する • チーム・社内で知見をためる。 • 実際のプロダクトで価値を検証する。 • 収益と安全性を担保する。 34 Dev 製品化したことない場合ここでよく詰まる

rights reserved. 実際使ってもらわないと使われるかわからない 35 「もし最初に公開したプロダクトを見て恥ずかしさを覚えなかったなら、それはローンチが遅すぎたということだ。」(2 回目) LinkedIn 創始者 Reid Hoffman 氏

rights reserved. 戦略① : セミプロダクション環境でのリリース Dev Sansan Labs 年間 100 リリースを目指し生成系 AI 等を用いた機能をリードタイム 2 週間でリリース。 Sansan 本体でリリースする前に Lab 環境で価値検証を実施。 Sansan Labs の LLM 活用から考える LLM プロジェクトの要点整理

rights reserved. 戦略② : エンドユーザーに見えない機能からリリース 37 • エンドユーザーに見えない機能の例 • ユーザーの属性カテゴリの推定 ( 推薦などで使用 ) • 検索用のキーワード抽出 • 段階的な機能開放 ▪ 全ユーザーの 10% から機能を開放する等メルカリにおける LLM を用いたプロダクト開発参考 Dev

rights reserved. 収益 1. 扱う入出力のトークン数はどれくらい ? 2. 要求される応答の品質はどれくらい ? 3. 1+2 の前提の上で、コスト効率が良いモデルは ? 安全性 • セキュリティ 39 Dev

rights reserved. 40 トークン数とは ? 基盤モデルは扱えるトークン数の上限が決まっている。 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.00 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 GPT-4-turbo 128k $10 $30 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 Dev

rights reserved. 41 トークン数はどうやって決まる ? モデルとペアになっているトークン分割器により決まる。おおむね出現頻度が高い文字の連なりは一つにまとまる傾向がある。日本語特化のモデルでない場合、日本語自体が珍しいため 1 文字 1 トークン以上の数で分割されることが多い。 Dev

rights reserved. 42 クイズ① : トークン数はどれくらい ? Amazon の「よくある質問」の回答 Dev

rights reserved. 43 クイズ① : トークン数はどれくらい ? (回答) ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算 2102文字 1998 1067文字 1038 “Amazon” は 1 トークンになっているので文字数よりやや少ない Dev

rights reserved. 44 クイズ① : トークン数はどれくらい ? (補足) ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算パソコンの取扱説明書 346 ページ https://pc- dl.panasonic.co.jp/public/s_manual/lets_2023sum mer/cfsr4mk1-kihonguide_r-20230014zad- ja_secured.pdf 66,000文字 59,000 Dev

rights reserved. 45 クイズ① : トークン数はどれくらい ? (補足) Dev https://huggingface.co/spaces/icoxfog417/llm-token-counter Claude と OpenAI 双方のトークン数が確認できるアプリを公開中。

rights reserved. クイズ② : 要求される応答の品質は ? 46 品質を決める基準がまず必要例 : 返答に含まれる確認点の数 • 「PC の電源が入っているか確認してください」 : 1 つ • 「PC の電源、またはディスプレイの電源が ON か確認してください」: 2 つ Dev

rights reserved. クイズ② : 要求される応答の品質は ? 47 例 : Wifi がつながらない問い合わせへの返答を 4 つのモデルで検証入力プロンプト: 次のガイドを参照し、無線 LAN につながらないお客様への最初のアドバイスを140 文字以内で作成してください。ガイド : (PC の Wifi 接続 FAQ を張り付け) Dev

rights reserved. クイズ② : 要求される応答の品質は ? 48 Wi-Fiがオフになっているか、機内モードがオンになっていることを確認してください。また、無線LANアクセスポイントの電源が入っていることも確認してください。さらに、お使いの無線LAN アクセスポイントとの距離が遠くなっている場合は・・・(省略) お使いのデバイスの Wi-Fiがオンになっているか、機内モードがオフになっているかを確認してください。また、無線LANアクセスポイントの電源がオンになっているか、無線アダプタがオンかもチェックしてください。近くにアクセスポイントがなければ接続できません。 A 承知しました。お客様に最初にお尋ねしたいと思いますのは、「機内モードがオンになっているか」です。機内モードがオンの状態ではWi-FiやBluetooth がオフになっていても、接続が不安定になることがあります。お客様の機種で機内モードがオンになっていないか、ご確認いただければ幸いです。次の点をご確認ください。 - Wi-Fiがオンになっているか - アクセスポイントの電源が入っているか - アクセスポイントとの距離が遠すぎないか・・・(中略)・・・ご不明な点がありましたらお問い合わせください。 D C B Dev 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

rights reserved. クイズ② : 要求される応答の品質は ? (回答) 49 お客様の無線LANにつながらない場合、まず機内モードがオフになっているか、Wi-Fiがオンになっているかを確認してください。 "Wi-Fiに接続できない場合、機内モードがオンになっていないか、 Wi-Fiやネットワークアダプターがオンになっていることをご確認ください。また、無線 LANの設定やファイアウォールの設定が正しく行われているかも確認が必要です。" 承知しました。お客様に最初にお尋ねしたいと思いますのは、「機内モードがオンになっているか」です。機内モードがオンの状態では、Wi-FiやBluetooth がオフになっていても、接続が不安定になることがあります。お客様の機種で機内モードがオンになっていないか、ご確認いただければ幸いです。お使いのPCと無線LAN アクセスポイントの距離を近づけ、無線LAN アダプターの検出を再試行してください。無線LANアダプターの電源がオンになっているか、周波数と頻道の設定が正しいか確認してください。 GPT 3.5 ELYZA (OSS) GPT 4.0 Claude-v2 Dev A D C B 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

rights reserved. Anthropic Claude はリーダーボード上、 GPT-4 に次ぐ精度 50 Dev https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard https://yuzuai.jp/benchmark Hugging Face Chatbot Arena Rakuda Ranking

rights reserved. 長文コンテキストで GPT3.5 / GPT4-turbo より強いという報告もあり 51 Dev https://twitter.com/alex_peys/status/1722396553732854122?s=20

rights reserved. 52 先ほどの A, B, C, D, 4 つのモデルの価格差は ? クイズ③ : 最終的な価格は ? Dev

rights reserved. 53 お客様の無線LANにつながらない場合、まず機内モードがオフになっているか、Wi-Fiがオンになっているかを確認してください。 "Wi-Fiに接続できない場合、機内モードがオンになっていないか、 Wi-Fiやネットワークアダプターがオンになっていることをご確認ください。また、無線 LANの設定やファイアウォールの設定が正しく行われているかも確認が必要です。" 承知しました。お客様に最初にお尋ねしたいと思いますのは、「機内モードがオンになっているか」です。機内モードがオンの状態では、Wi-FiやBluetooth がオフになっていても、接続が不安定になることがあります。お客様の機種で機内モードがオンになっていないか、ご確認いただければ幸いです。お使いのPCと無線LAN アクセスポイントの距離を近づけ、無線LAN アダプターの検出を再試行してください。無線LANアダプターの電源がオンになっているか、周波数と頻道の設定が正しいか確認してください。 GPT 3.5 ELYZA (OSS) GPT 4.0 Claude-v2 30倍 (turbo は 14 倍) 16倍使用頻度により変動 ( 後述 ) Dev A D C B クイズ③ : 最終的な価格は ? ( 回答 ) 6 点指摘 2 点指摘 (1点誤り) 5 点指摘 6 点指摘

rights reserved. 54 精度を追求するほどコストがかかる

rights reserved. 55 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.50 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 GPT-4-turbo 128k $10 $30 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 2023 年 10 月 12 日時点の価格 OpenAI: https://openai.com/pricing Anthropic: https://aws.amazon.com/jp/bedrock/pricing Amazon Bedrock で使える Claude の特徴緑色のモデルは AWS で利用可能。 (*) 東京リージョンでは Claude Instant (18k) のみ利用可能。 Claude Instant は、 GPT-3.5 の 2 倍程度だが 100 k まで入り高速。 Claude は GPT-4 に次ぐ精度でより安価 (turbo も安価)。 Dev

rights reserved. オープンソースのモデルの価格は ? 56 • 日本語クイズのデータセット JAQKET に対する精度を比較。 • Fine Tuning した OpenCALM では、 GPT-3.5 で JAQKET の評価データに対し同等の精度が得られた。 • インフラの最適化により GPT 3.5 より 20 倍 ~ 37 倍コスト効率を改善できる。詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する Fine Tuning で同等精度が得られインスタンス費用のほうが安く済むなら十分な選択肢 ※インスタンスを起動し続ける場合、推論回数が低いとインスタンスの固定費が高くつく点には注意。 Dev

rights reserved. セキュリティ : Amazon Bedrock におけるデータの保護 • 顧客のデータは Amazon およびサードパーティーのモデルの学習に使用されない。 • データは常に暗号化される (AES-256 / TLS1.2) • Bedrock への入出力は発生したリージョンに留まり顧客ごとに管理される。 57 Dev

rights reserved. ML フェーズ

rights reserved. 59 生成系 AI を製品から得られる評価 ( データ ) で追加学習することが差別化につながる。価値データ通常の機械学習モデル生成系 AI をそのまま使い続ける場合生成系 AI を追加学習していく場合 ML

rights reserved. Amazon Bedrock でできる Fine Tuning 少量データのみで実施可能特定タスクに対する精度の最大化 Fine-tune PURPOSE DATA NEED ML

rights reserved. Amazon Bedrock での追加学習の課題 • 対応しているモデルが限られる。 ▪ 2023/11/14 時点では Amazon Titan のみ。 • モデルの利用が、トークン単位ではなく時間単位の課金になるため、使用量が少ないと割高になる。 Amazon Bedrock で提供されるハイエンドなモデルはパラメーター数も多いため、転移学習は高くつく可能性がある。 61 ML

rights reserved. Amazon SageMaker : AI/ML の統合開発環境 MLOps 自動化チューニング特定ドメイン用のカスタマイズ監視バイアスの監視特徴量貢献度ドリフト検定準備データのラベル付け人間参加型 AI （human-in-the-loop) の為のフィードバック提供デプロイ最適価格での柔軟なデプロイ 62 ML

rights reserved. Amazon SageMaker JumpStart : より幅広なモデルの選択肢 63 モデル Stable Diffusion XL 1.0 2.1 base 高精細化インペインティングタスクテキスト入力からフォト・リアルな画像生成生成画像の品質改善特長 Stable Diffusion 2.1 ファイン・チューン対応モデル AlexaTM 20B タスク機械翻訳質問回答テキスト要約注釈付与データ生成モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク機械翻訳質問回答テキスト要約モデル Cohere Command XL タスクテキスト生成情報抽出質問回答テキスト要約モデル Jurassic-2 Ultra, Mid 状況に応じた回答テキスト要約言い換え文法エラー訂正タスクテキスト生成長文生成テキスト要約言い換えチャット情報抽出モデル Lyra-Fr 10B, Mini タスクテキスト生成キーワード抽出情報抽出質問回答テキスト要約感情分析テキスト分類モデル Llama 2 7B, 13B, 70B タスク質問回答チャットテキスト要約言い換え感情分析テキスト生成モデル Dolly タスク質問回答チャット言い換え感情分析テキスト生成 400 超のオープンソースや企業独自のモデルを簡単にデプロイ、カスタマイズ Dev

rights reserved. Amazon SageMaker JumpStart で LLM を使う方法 64 Python で推論 / 学習のコードを書く必要がない。ボタンを押すだけで OK 。追加学習には対応しているモデルとしていないモデルがあります。

rights reserved. rinna 社の日本語大規模言語モデルも利用可能に 65 Dev Fine Tuning の対応は現在進めている最中です！

rights reserved. 価値 is 何 ? LTV（Life Time Value：顧客生涯価値）が一つの考え方顧客単価 x 収益率 x 購買頻度 x 継続期間 67

rights reserved. ゴールにたどり着くには、 3 つのフェーズが必要 68 Biz Dev ML 適切なユースケースを選定する。顧客にとって高くても頻繁に長く使いたい用途の発見。顧客体験を実現するコスト効率の良い技術を選定。体験の確実性、また収益・安全性を担保。継続的なモデル改善の仕組みを作る。モデルの継続的な改善で機能を洗練させる。

rights reserved. 今日から始める生成系 AI 活用プロジェクトチャート 69 自社の現状分析 Biz Dev ML Amazon SageMaker Canvas や OSS のサンプルで生成系 AI を使えるセキュアな環境を構築できる。 ML Enablement Workshop で顧客体験改善、利益、継続的改善の条件を満たす用途を特定する。 Amazon Bedrock 、 Amazon SageMaker JumpStart で用途に合うモデルを比較、選択。 Amazon SageMaker による継続的なモデル改善。公開リソース

rights reserved. 70 来年の AWS Summit で生成系 AI のプロダクト機能をぜひ発表ください！

生成系 AI でプロダクトの価値を高めるには

生成系 AI でプロダクトの価値を高めるには

More Decks by Takahiro Kubo

Other Decks in Business

Featured

Transcript