事例から見るプロダクトでの生成 AI 活用のポイント

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 事例から見るプロダクトでの生成 AI 活用のポイント Machine Learning Developer Relations Takahiro Kubo アマゾンウェブサービスジャパン合同会社 G E N E R A T I V E A I O F F I C E H O U R

All rights reserved. 一方で、日本ではデータ利活用が売上増加やコスト削減につながりにくい傾向がある : 約 7 倍差 IPA 「DX 白書 2023」より引用米国企業は 6~7 割がデータ活用による売上増加を確認。日本企業では 1~3 割に留まる。 ※ 5 割は効果を計測していない。米国企業は 5~6 割がコスト削減効果を確認。日本では 3 セグメントが効果を確認するのに留まる。

All rights reserved. 日本のスタートアップ企業の成長速度は米国に比べ 30 分の 1 以下横軸創業年数、縦軸従業員数のグラフ。日本では 10 年以上かけてやっと米国の 1~3 年目の従業員規模に到達している。増加傾向の傾きの差は 29.3 倍。日本のスタートアップはピボットの回数が米国に比べ約 10 倍少ない。米国のスタートアップが 1~3 年で完了させる顧客実証ができていない可能性がある。出典 : 日本のスタートアップ企業の成長速度が米国に比べ30分の1以下という現状にデータサイエンティストは何ができるか ※人口差は 3 倍程度なのでそれを加味してもやはり差が大きい

All rights reserved. テキストから SQL を作成する LLM をパートタイムのエンジニア 2 人 2 ヵ月で構築。データ分析の時間を 40% 効率化。 Pinterest 目指したい技術革新が活用できる企業像 3 週間で画像生成機能を実装 2022 年のリリースから約 3 億枚の画像が生成され、有償含む画像編集機能の利用が増加 Canva 目指したい企業はどう実現しているのか ?

All rights reserved. Customer Experience Traffic Data Data Driven Decision Growth デザイン作成サービス Canva の価値が高まるサイクル 💡作りたいパンフレット等に適したイラストがなければ、テキストで要望を書けばよい 💰画像の生成量が増えると、編集機能 ( 有償 ) を使いたい人も増える 📈 蓄積されたログから需要の高い用途に特化したモデルを作成

All rights reserved. Customer Experience Traffic Data Data Driven Decision Growth 画像共有サービス Pinterest の価値が高まるサイクル 💡分析アイデアをテキストで書けばテーブルやクエリの提案が受けられる 💰短い時間で分析できれば、収益につながる様々な仮説を検証できる。 📈 蓄積されたテキストと実行可否をもとによりモデルの生成を制御できる

All rights reserved. 組織横断でのユースケース発見と検証計画を立案できるワークショップ : ML Enablement Workshop 生成 AI のお試し生成 AI によるプロダクトの継続的成長参考 : プロダクトの成長をリードする生成 AI の活用戦略プロダクトマネージャー ( 製品責任者 ) 、開発者、データサイエンティストの組織横断的チームで、 3 つの条件を満たすユースケースを発見し検証する計画を立てる

お客様プロフィール “
ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 中小企業DXに不可欠なサービスを提供する Big Advance は、機能が豊富であるがゆえに、利用するための時間を確保してもらうという課題があった。パソコンの利用時間が少ない経営者も多い中、適切な情報を推薦するための企業情報入力も十分に行われていなかった。 ML Enablement Workshop を通じプロダクトマネージャー、開発者、カスタマーサクセス、データサイエンティストを一堂に招集。顧客が Big Advance で最初の成功体験を得るまでの過程を分析。ボトルネックのうち生成 AI が有効に働くユースケースを特定。理解編でのビジネスモデル構築、応用編でのユーザーストーリーの構築を通じて需要と実現可能性を確認。開始編で具体的な Todo とスケジュールが明確になり、終了後すぐにアクションを開始。中小企業の収益と労働生産性を改善し全国の地域企業が持続的な成長を果たせるよう、金融機関と連携しビジネスマッチングや補助金申請支援をはじめ多様なサービスをワンストップで提供します。 I N D U S T R Y 中小企業DX支援事業 C O U N T R Y 日本株式会社ココペリデジタルサービスを活用し DX を推進したい中小企業の案内役に生成 AI を活用 ML Enablement Workshopでの顧客体験分析を通じ、 Big Advance の顧客に最もインパクトがある生成 AI の用途を特定しタスクと効果測定 KPI を決められました。株式会社ココペリテクノロジー事業部横山秀行氏 CTO/ジェネラルマネージャー ”

All rights reserved. 生成 AI を活用する先進的企業からの学び Sansan Notion リードタイム 2 週間、年間 100 リリースを目標に LLM を使用した機能を含め様々な機能を実証検証 2023 年の最新版 GPT リリースから数週間でアルファリリース、3 ヶ月で 100 万人以上からフィードバックを得て体験を大幅に改善。その後も 1~2 カ月のペースでリリースと改善を進める。登壇資料→

All rights reserved. AWS の 20 件以上の生成 AI 事例でも大半が 2~3 カ月でリリースエフピコでは、営業担当者が作成する日報から旬のトピックを抽出するために Amazon Bedrock を活用食品関連の包装資材・消耗品の専門商社エフピコでは、一日 580 件もの営業日報が作成される。日報には小売店で仕入れた最新情報などもあり会社経営、商品開発に欠かせない情報である一方解析が困難だった。若手 4 名が AWS の開発支援プログラムを利用し 1 ヵ月で日報作成補助、分析のアプリを開発。会社全体で日報の要約にかかる時間を月 700 時間以上削減できている。 https://www.nikkei.com/article/DGXZQOUC291AB0Z21C23A1000000/

お客様プロフィール “
ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ” 株式会社ロゼッタ： Amazon Bedrock を活用し「オンヤク」サービスのテキスト要約機能をセキュアな環境で早期開発 I N D U S T R Y ISV / SaaS C O U N T R Y J a p a n 株式会社ロゼッタ「我が国を言語的ハンディキャップの呪縛から解放する」という企業ミッションの下、 AI 自動翻訳の開発・運営を行っています。ロゼッタの自動翻訳は国内外 5000 以上の企業・団体で導入されており、医薬、法務、金融、IT 通信、半導体、精密機器など様々な分野でご活用いただいています。 • 会議音声翻訳ツール「オンヤク」の新機能として、翻訳・テキスト化された文章の要約機能を検討開始 • 生成 AI モデルを用いて早期開発を目指したが、長時間会議・多くの文字数要約が求められるため、最適な生成AIモデルの選定が必要 • セキュリティコンプライアンス上、サードパーティー接続や海外へのデータ転送をせず実装を希望 Amazon Bedrock を活用することで最適な生成 AI モデルを強固なセキュリティ環境下で早期に利用開始できました株式会社ロゼッタ取締役奥山高啓 • Amazon Bedrock を活用することで、豊富なモデルラインナップから最適な生成 AI モデルの選定を実現 • Amazon Bedrock はすべてのデータが暗号化され、 VPC 内に閉じた処理を行うため、セキュリティコンプライアンス面の課題もクリア • Amazon Bedrock は API で生成 AI モデルを呼び出せるため、「オンヤク」との連携もスムーズに実装 • 社内セキュリティ要件をクリアするために必要な設計・実装の工数を削減 • API 接続により開発工数を圧縮することができ、検証～ローンチまで 3 か月の早期開発を実現 • Amazon Bedrock はマネージドサービスであるため、ローンチ後のインフラ管理が不要であり運用工数も削減

All rights reserved. 生成 AI のユースケース検証は 1~3 ヵ月の DEV で可能組織横断で特定した高頻度かつハイインパクトなユースケースを、マネージドサービスも活用し 1~3 カ月で検証。 🔨 マネージドサービスを活用した DEV 🔍 組織横断で確度の高いユースケースを発見 Amazon CodeWhisperer Amazon Bedrock Amazon SageMaker

All rights reserved. 想定する利用頻度から効率的なサービスを選択社内 : チーム・部署利用社外 : β 版リリース (~1000 回 / 日) 社外 : 海外展開 (100,000 回 ~/ 日) 社内 : 全社展開社外 : プロダクトへの本格導入 (~10,000 回 / 日) Amazon Q for Business Use Amazon Bedrock Amazon Kendra Amazon SageMaker Canvas Amazon SageMaker JumpStart Amazon CodeWhisperer すぐに利用できるアプリケーション型サービス東京リージョンで使え日本語対応が公式にされている場合国旗をつけています

All rights reserved. + AWS Customer’s Application Perplexity : 生成 AI を組み込んだ対話型の検索エンジン https://aws.amazon.com/jp/solutions/case-studies/perplexity-case-study/ Canva : 生成 AI 機能によるアシストを受けられるデザインツール https://aws.amazon.com/jp/blogs/news/canva-scale-stable-diffusion- image-generation-with-safety-by-amazon-sagemaker-and-amazon- rekognition/

All rights reserved. + AWS Marketplace https://aws.amazon.com/jp/blogs/news/leveraging-pinecone-on-aws- marketplace-as-a-knowledge-base-for-amazon-bedrock/ Pinecone: Serverless 形式で利用可能なベクトルストアを AWS Marketplace から購入株式会社オルツ : 日本企業として初めて AWS Marketplace 上に大規模言語モデルを出品。 https://aws.amazon.com/marketplace/pp/prodview- nw62wpreit442?sr=0-1&ref_=beagle&applicationId=AWSMPContessa

All rights reserved. AWS の「品揃え」 : 作る方にも、使う方にも • Amazon Bedrock で選べる様々な基盤モデル • 既存のアプリケーションやデータと生成 AI を組み合わせるために使える 200 以上の AWS サービス • AWS Marketplace 上の 3,000 件を超える機械学習関連サービスやソリューション、 AWS Data Exchange 上の 3,500 以上の購入可能なデータセット (※2024 年 3 月時点) • AWS 上で構築頂いた生成 AI を組み込んだアプリケーション

All rights reserved. ① プロンプトをチューニングする CyberAgent 様のシステムセキュリティ推進グループでは、社内の質問回答に Amazon Bedrock を活用。回答の精度を上げるため、問い合わせに対する回答を人間が 3 段階で評価。品質が低かった評価を分析し対策を実施、品質を改善。・プロンプトの修正・回答にしたドキュメントの修正引用 : 生成 AI でセキュリティの課題をどこまで改善できるか考える

All rights reserved. ②モデルそのものをチューニングする少量データのみで実施可能特定タスクに対する精度の最大化 Fine-tune ML Amazon Simple Storage Service に蓄積したデータで AWS コンソールから実行可能 ※ 発表時点では Titan / Llama2 / Command が実行可能 Amazon Bedrock で Fine Tuning を実施可能

All rights reserved. Amazon SageMaker JumpStart 400 超のオープンソースや企業独自のモデルをボタン一つでデプロイや学習。 32k コンテキストを持つ CyberAgentLM2 はデプロイ・学習両方対応済み。 rinna 、Stability AI 、 CyberAgent の日本語大規模言語モデルも利用可能に。 OpenAI の Whisper 、 Google の Gemma も利用可能。

All rights reserved. ①のプロンプト改善から②のモデル学習へ移行するタイミングは意外と早い https://speakerdeck.com/icoxfog417/prompt-tuning-kara-fine-tuning-henoyi-xing-shi-qi-tui-ding 7B クラスのモデルを30~200 件のデータで学習してみて、精度が十分で安定性や応答速度を加味し月額 8 万以上の効果が見込めるなら検討時期。 ※2024 年の言語処理学会併設ワークショップで発表

事例から見るプロダクトでの生成 AI 活用のポイント

事例から見るプロダクトでの生成 AI 活用のポイント

More Decks by Takahiro Kubo

Other Decks in Business

Featured

Transcript