Slide 1

Slide 1 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 生成 AI プロダクトを育てる技術 〜データ品質向上による継続的な価値創出の実践〜 Takahiro Kubo Machine Learning Developer Relations Developers Summit 2025

Slide 2

Slide 2 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 自己紹介 2 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Takahiro Kubo) 技術監修 翻訳 AI/ML についての技術的な解説や AWS のサービスの紹介はもちろん、 「機械学習の実プロダクトでの活用」 を進めるためのワークショップや情報 提供、また AWS のサービス改善に 取り組んでいます。 単著 寄稿

Slide 3

Slide 3 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 AWS Generative AI Stack MODELS AND TOOLS TO BUILD GENERATIVE AI APPS Amazon Bedrock AMAZON MODELS | PARTNER MODELS APPLICATIONS TO BOOST PRODUCTIVITY Amazon Q Business INSIGHTS AND AUTOMATION Amazon Q Developer SOFTWARE DEVELOPMENT LIFECYCLE INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS Amazon SageMaker MANAGED INFRASTRUCTURE GPUs AWS Trainium AWS Inferentia HIGH PERFORMANCE COMPUTE

Slide 4

Slide 4 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4 さらに・・・

Slide 5

Slide 5 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Slide 6

Slide 6 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 生成 AI による価値向上を年単位で続けるにはリスクのコントロールも不可欠 • 推論時に使われるデータの品質向上は、リスクコントロールに有効 • 2025 年に開発に携わる私たちの取り組みが、今後 10 年を占う ( かも !? ) 本セッションのメッセージ 6

Slide 7

Slide 7 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 8

Slide 8 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 生成 AI を組み込むとどんな課題を解決できる ?

Slide 9

Slide 9 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9 ①面倒な入力の解決

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 患者からアップロードされた保 険証のデータ化が必要だったが、 毎月数万件のデータを手入力で 修正する作業は効率が悪く、入 力ミスも起きやすかった • 患者の個人情報の取り扱いでは セキュリティ面も重要な要因 • データ読み取りの自動化と セキュリティ管理の両立が課題 • OCR で読み取ったテキストデータ を Amazon Bedrock を利用し構 造化 • AWS 内にデータを閉じた機密性 のあるアーキテクチャを構築 • Amazon Bedrock Prototyping Camp に参加し利用方法とベスト プラクティスを習得 • 毎月数万件の保険証情報の読み取 り・入力工数を 1/3 に削減 • セキュリティ要件を担保しながら 1 人のエンジニアが約 1 ヵ月で本 番リリース 「生活者の不安と、医療者の 負担をなくす」をミッション に、医療支援プラットフォー ム「ファストドクター」を運 営。医療相談・救急往診から 生活習慣病のオンライン診療 サービス、メンタル診療サー ビスなどを提供。 Bedrock の活用により、LLM サービスの開発工数を大幅に 削減でき、プロンプト改善など本質的な作業に専念できま した! ファストドクター株式会社 エンジニアリング部・テックリード 谷口 峻悟 様 ” I N D U S T R Y 情報通信・インターネット (医療テック) C O U N T R Y 日本 ファストドクター株式会社 : Amazon Bedrock により様々なフォーマットの保険証データ化を セキュアに実現、保険証の読み取り・入力工数を 1/3 に削減

Slide 11

Slide 11 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 株式会社PKSHA Communication 「Weave Trust」という企業ミッションの下、デジタ ルとリアルで拡がり続ける「企業」と「顧客」のつな がりの中で、不安や不満を解消しながら、信頼を紡ぐ 「未来のソフトウエア」を社会実装する。 「PKSHA Speech Insight」では、通話後業務効率化、 オペレーターのモニタリングサポート、そして応答品 質向上も行える。テレビ・カタログ通販や EC サイト 運用など、問い合わせ時の顧客満足度向上が求められ る様々な領域で活用可能である。 I N D U S T R Y 情報通信・インターネット C O U N T R Y 日本 業務にフィットした要約ができるようになり、オペレーター の通話後業務の 50% 以上削減が見込めるようになりました。 株式会社PKSHA Communication CS 事業本部 Speech Insight 事業部 Product Management グループ マネージャー早川 育男 様 株式会社PKSHA Communication: Amazon Bedrock によりセキュアに コンタクトセンター通話を要約しオペレーターの業務削減 • コンタクトセンターの業務効率化 ツール「PKSHA Speech Insight」で は更なる業務効率化のため、オペ レーター向けに情報の適切な要約や 抽出が出来る LLM が求められていた • 海外にデータが出る際は追加のセ キュリティチェックが必要だった • 自社モデルを GPU インスタンスで運 用する場合、利用量によらず高額な コストが発生する • Amazon Bedrock の Claude 3 Opus で営業活動を一気通貫に支援 • Amazon Transcribe の文字起こし 結果から議事録を自動生成。 利用者の指示で出力の再整形も可能に • RAG (検索拡張生成) を用い提案商材の検 索結果から類似商材との比較表、提案骨 子を自動生成 • 生成情報に基づく日報の自動生成 • 要約後の文章がよりシンプルかつ業務 にフィットし、オペレーターの通話後 業務の 50% 以上削減が今後見込める ように • 国内リージョン対応のため顧客への追 加のセキュリティチェック工程が削減 され、スムーズな製品導入が行えるよ うに • ユースケースにフィットするものを サーバーレスでクイックに開発し、検 証することができた

Slide 12

Slide 12 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12 ② 難解な出力の解決

Slide 13

Slide 13 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Amazon Bedrock の Claude を使 い、収集した IoT データから得 られる知見をテキストで説明す る機能を実装 • 初心者にも分かりやすいよう、 実際の製造部長の口癖を真似た AI 製造部長というキャッチーな ペルソナを設定し利活用を促進 • 1 人のエンジニアが 1 ヶ月ほど で要件定義から実装までを完了 • 従来、現場監督者が毎朝データ 分析に費やしていた時間を 70% 以上低減 • 当事者がぼんやりと認識してい る生産遅れや設備停止などを AI 製造部長がすばやく検知し全体 に通知することで、原因の特定 と調査時間が半減 i Smart Technologies 株式会社は、 トヨタ生産方式の要素を取り入れた IoT システムの提供とそのコンサル ティングを行っています。データ収 集を手軽にしあらゆる製造・生産現 場のカイゼン活動を加速します。 INDUSTRY 情報通信・インターネット COUNTRY 日本 i Smart Technologies株式会社 COO 松下 隼人 様 IoT データの収集だけでなく、そのデータの見方をユーザー が解釈しやすい自然言語で届けることができるようになり、 製造現場のユーザにアクションを促すことができました。 i Smart Technologies株式会社 : 生産現場の IoT データを生成 AI で解釈することで、データ解析時 間を 70% 削減 “ • IoT データ収集サービスである iXacs は生産現場の様々なデータ 収集を可能にするサービス • 一方、収集したデータの見方が 分からず、カイゼン活動に繋げ られるお客様は少なかった • データ解析のコンサルティング サービスも提供しているが、人 員リソースに限りがあり、全て のお客様に提供できない ”

Slide 14

Slide 14 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 500 万以上のユーザーが利用す る 2 秒家計簿「おカネレコ」 を提供。AI でアドバイスを行 う家計簿アプリは市場に存在せ ず、新しい価値提供する必要が あった • 従来のロジックベースでは、多 様なユーザーの家計状況や支出 パターンを深く理解し、パーソ ナライズされたアドバイスを提 供することが困難だった • おカネレコアプリ側で収入支出 データを集計し、集計データを ベースに生成 AI が家計管理のア ドバイスを提供 • AI アドバイザーのエンジンに Bedrock の Claude 3.5 Sonnet を 採用、 Prompt Flow、Prompt Management で生成処理を構築し、 AWS Lambda と組み合わせ実装 • Bedrock を活用したことで迅速な プロトタイプができ、約 2 か月と いう短期間で本番稼働を実現 • 最新の Claude 3.5 Sonnet を利用 することで、ユーザーに対してよ り的確でパーソナライズされたア ドバイスを提供できた • 導入後の課金売上が前月比で 19% 向上 「ハッピーマネーライフの実現」 を企業理念とする Fintech ベン チャー。主力製品の家計簿アプリ 「おカネレコ」は、簡単・迅速・ 手間なしの入力で日々の出費の見 える化を習慣化。ユーザーの家計 管理をサポートしている。 I N D U S T R Y 情報通信・インターネット C O U N T R Y 日本 スマートアイデア株式会社 代表取締役 江尻 尚平 様 ” 個々のユーザーに合わせパーソナライズされた家計管理アドバイス を提供することが重要と考えていました。AWS の Bedrock を活用 して迅速なプロトタイピングを行い、予想以上に短い開発期間で AI アドバイス機能を実サービスに実装することができました。 スマートアイデア株式会社 : 家計簿アプリ「おカネレコ」に Amazon Bedrock を活用し、 パーソナライズされたアドバイスの提供機能を 2 か月でリリース。 売上の 19% 向上に貢献

Slide 15

Slide 15 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 16

Slide 16 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 16 生成 AI のリスクが発現した例 エア カナダ : 2024/2 忌引割引の利用が、事後でも可能と生成 AI チャットボットが誤って回答。 払い戻しについて裁判となり、エア カナダが敗訴。裁判所は、「自社サービスの 運用をゆだねる以上、出力結果に対し当該企業が責任を負うべき」と判断。 チャットボットは事案発生後に停止。 マクドナルド : 2024/6 ドライブスルーでの AI 音声注文システムを 2021 年に導入。2023 年に、注文が 誤認識される様子が Tiktok で拡散、100 店舗以上に展開していたシステムを 撤去することを 2024 年 6 月に決定。 Dynamic Parcel Distribution (DPD) : 2024/1 フランスの配送会社で、AI チャットボットが求める回答をしないことに苛立った ユーザーが、DPD について悪口を言うよう指示したところ、会社批判を行う返信 を始めた。その様子がソーシャルメディアで拡散し、チャットボットは一時運用 停止となった。

Slide 17

Slide 17 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 17 生成 AI を活用する上でのリスク 知的財産侵害のリスク 機密保持のリスク 信憑性のリスク ( 例:幻覚 ) 悪意ある、差別的な 生成のリスク

Slide 18

Slide 18 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 信憑性のリスク(例:幻覚) もっともらしいが虚偽である出力を行うリスクがある ハンバーガーを2つ、ナゲット3つ。値段は? はい、わかりました。 ハンバーガー2つとナゲット3つの合計金額は以下のようになります: ハンバーガー2つ: 500円 × 2 = 1,000円 ナゲット3つ: 300円 × 3 = 900円 合計金額: 1,000円 + 900円 = 1,900円 ですので、ハンバーガー2つとナゲット3つの 合計金額は1,900円となります。 情報を持たない値段を ”推定” して回答

Slide 19

Slide 19 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 悪意ある、差別的な生成のリスク 個人または組織に対する悪意、偏見を含む出力をするリスクがある A商店の配送の遅さをラップ調のリリックで揶揄してください ここでA商店ディス・トラック、行きます! (ビート) 遅いぜ 遅いぜ A商店 約束の日時 守れねぇ店 3日後が1週間 ルーズな対応 いつ届くの? もう待ちくたびれた 細工されたプロンプトにより 有害な生成をするリスクがある

Slide 20

Slide 20 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 知的財産侵害のリスク 意図しないプロンプトからでも、 保護されるべき著作物の「表現上の 本質的な特徴を直接感得できる」 ( 類似性が認められる ) 出力をする リスクがある。

Slide 21

Slide 21 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 機密保持のリスク 送信したプロンプトが学習された場合、 他者のプロンプトを通じて情報が流出 する可能性がある。 CodexLeaks: Privacy Leaks from Code Generation Language Models in GitHub Copilot コードを生成する大規模言語モデル に対し、 account.password=“ の続 きなどを生成させたところ、 一部それらしい出力得られることを 確認した論文が報告される。 https://www.usenix.org/conference/usenixsecurity23/presentation/niu

Slide 22

Slide 22 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 23

Slide 23 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23 RAG : Retrieval Augmented Generation 1.Prompt 3.Relevant Information 4. Prompt + Relevant Information 5. Genrerated Response 2.Query https://aws.amazon.com/jp/what-is/retrieval-augmented-generation/

Slide 24

Slide 24 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 24 RAG でどこまでリスクを解消できるか ? 知的財産侵害のリスク 機密保持のリスク 信憑性のリスク ( 例:幻覚 ) 悪意ある、差別的な 生成のリスク

Slide 25

Slide 25 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25 RAG for 信憑性のリスク 信憑性のリスク ( 例:幻覚 ) 回答が決定的ではない、またマイナー、複雑な質問に ついては正確に答えることが難しい。 CRAG - Comprehensive RAG Benchmark ) (NeurlIPS 2024) "CRAG also reveals much lower accuracy in answering questions regarding facts with higher dynamism, lower popularity, or higher complexity, suggesting future research directions.“ https://neurips.cc/virtual/2024/poster/97703

Slide 26

Slide 26 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 26 RAG for 悪意ある、差別的な生成のリスク 検索を組み合わせても、悪意ある生成や差別的な生成 を消せるわけではない。 RAG の原著論文で、すでに外部情報の事実性や バイアスの影響を受ける可能性が言及されている。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (NeurIPS 2020) "Wikipedia, or any potential external knowledge source, will probably never be entirely factual and completely devoid of bias.“ 悪意ある、差別的な 生成のリスク https://ai.meta.com/research/publications/retrieval-augmented-generation-for-knowledge-intensive-nlp-tasks/

Slide 27

Slide 27 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 27 RAG for 知的財産侵害のリスク RAG による生成が下記 2 点に該当する場合、著作権 侵害のリスクがある。 ・著作物に表現された思想又は感情を享受する場合 ・著作権者の利益を不当に害することとなる場合 AIと著作権Ⅱ ―解説・「AIと著作権に関する考え方について― (令和 6 年度著作権セミナー) https://www.bunka.go.jp/seisaku/chosakuken/pdf/94097701_02.pdf 知的財産侵害のリスク

Slide 28

Slide 28 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 28 RAG for 機密保持のリスク プロンプトやクエリを細工することで、RAG に利用し ている ( 機微な ) 情報を引き抜くことが出来る : 顧客応対チャットボットが参照している、内部の顧客 応対マニュアルを引き抜くなど Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems (ICLR 2024) https://openreview.net/forum?id=el5wbHYKeS 機密保持のリスク

Slide 29

Slide 29 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 29 どのようにプロダクトをリスクから守るか ?

Slide 30

Slide 30 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 31

Slide 31 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 31 Data Centric Approach RAG で推論に使用するデータの品質を高めることで、リスクを軽減する。 • 信憑性高く、カバレッジが広いデータ • 有害性、バイアスが除去されたデータ • 知的財産権侵害の恐れのないデータ • 機密情報が含まれないデータ とはいえ人間が全部チェックするのも大変。 「チェック」の方に生成 AI を活用できないか ?

Slide 32

Slide 32 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 32 Data のチェックに生成 AI を活用する

Slide 33

Slide 33 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 33 Data のチェックに生成 AI を活用する 1. LLM as a Judge 2. Check Metrics 4. Update Knowlege 3. Update Checked Document

Slide 34

Slide 34 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 34 データの品質が十分なら “生成” は必須ではない

Slide 35

Slide 35 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 35 Data Centric Approach のコンセプト データの品質 モデルの性能 サービスで 維持すべき RAG の応答品質 データの品質 モデルの性能 モデル中心 データ中心

Slide 36

Slide 36 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 36 [ 関心ある方向け] Data Centric の背景 Data Centric は機械学習モデルの性能を高めるときにモデルのアルゴリズムや学習 方法よりも、源泉となるデータの品質を高める考え方。 2021 年に Andrew Ng 先生が提唱され、機械学習の国際学会である NeulIPS では 2021 年から Datasets and Benchmark のワークショップが開催されている。 https://neurips.cc/virtual/2024/events/datasets-benchmarks-2024 ※元々モデルの学習データの品質を指していたが、昨今では推論時のデータ品質も話題となっている。 同ワークショップで RAG の性能において data parse / retrieval がキーであると指摘する論文も。 UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-World Document Analysis

Slide 37

Slide 37 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 37 Data Centric のメリット・デメリット ・オフラインで品質を検証できる ・オンライン推論のコスト、 Quota 抵触リスクの低減 ・バッチ推論によるコストメリット ・最新のデータを反映するのに 時間がかかる ・コンテンツ量が多い場合、 生成・チェックのコストが嵩む Data Centric に 100% 寄せる必要はなく、ユースケース に応じ適用の度合いを検討する

Slide 38

Slide 38 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 39

Slide 39 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ユーザーが投稿するレシピ情報が フリーフォーマットで、表記が統 一されていなかったため UX と SEO 対策の観点で課題があった • 当初、導入済みの LLM を使って 8 万件に及ぶ既存のユーザー投稿 レシピの表記統一を試みたが、コ スト、精度、パフォーマンスのバ ランスに課題があり、他の LLM での利用を検討した • ユーザー投稿レシピを Bedrock の Claude 3 Sonnet で解析して構造化 し、Amazon Aurora MySQL に取り 込むことでレシピ情報の UI/UX の改 善・内部リンク強化を実現できた • バッチ処理として Amazon SQS で 流量制御を行い、Amazon ECS から Bedrock API を複数リージョンで並 列実行することで、限られた期間内 に 8 万件のデータ構造化処理を実現 できた • 表記統一で UX が向上し、ユーザー 投稿レシピページの利用者数が 120% 増加。レシピ情報を構造化し たデータを様々な施策や分析に活用 できるようになった • Bedrock による構造化と同時に自動 レビューを実施。情報が不足してい るレシピをインデックス対象から除 外することで、ユーザーレシピペー ジへの SEO 、また 1 コンテンツあ たりの自然流入効率が 290% 改善 dely株式会社は国内 No.1※のレシピ 動画プラットフォーム「クラシル」、 買い物サポートアプリ「クラシルリ ワード」を運営しています。 ※料理レシピ動画アプリにおける、日本国内 ダウンロード数および平均月間アクティブ ユーザー数が 1 位(iOS/Google Play 合算値) (2020 年 8 月1 日時点) App Annie ダウンロード 数・および国内におけるレシピ動画アプリ順 位:dely社調べ(2024 年 9 月現在) I N D U S T R Y メディア C O U N T R Y 日本 UX 向上や SEO 対策にデータの構造化は欠かせません。その 実現とサービスの進化に Bedrock 、AWS からのプロンプト 調整やアーキテクティングに対する支援が不可欠でした。 dely 株式会社 Backend Engineer 松嶋 瑛奈 様 dely 株式会社 Web growth 豊平 青 様 ” dely株式会社: ユーザーが投稿したフリーフォーマットのテキストを Amazon Bedrock で解析、構造化データの活用による UX の向上で利用者 数が 120% 増加、1 コンテンツあたりの自然流入効率の 290% 改善を達成

Slide 40

Slide 40 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. お 客 様 プ ロ フ ィ ー ル “ ビジネスの課題 ソリューション 導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 適時開示文書を Amazon Bedrock に 連携、生成 AI(Claude) を活用して、 ファイル内の文章からタグを生成し、 すべての開示資料に関連するキー ワードの自動付与を実現 • 生成したタグ情報を AWS Lake Formation で管理することで他シス テムに対する一元的なメタデータの 提供を実現 • 生成された「持続可能性」や 「グッドデザイン」といったタグ で検索性を高め、目的の開示情報 をすぐ探せるようになり、ユーザ ビリティを格段に向上できた • AWS Lake Formation も併せて活用 することで、 Bedrock で生成され たタグ等の情報を JPX のデータカ タログサイト “JPxData Portal” で 簡単に使える仕組みを構築できた JPX 総研は、市場全体の機能強 化および効率化に繋がるマー ケット・サービスの創造を追求 することを目的に、取引所では ない子会社として新たに設立さ れました。主に金融商品市場に 関係するデータ・インデックス サービス及びシステム関連サー ビスを提供しています。 I N D U S T R Y 金融・法人サービス C O U N T R Y 日本 AWS Lake Formation で構築済のデータレイクから Amazon Bedrock (Claude) に適時開示資料を容易に連携し、 関連するキーワードを生成することができました。 Claude は 生成の精度が高く、自動化の仕組みを実現する事ができました。 JPX 総研 IT ビジネス部 課長 箕輪 郁雄 様 ” • 上場会社が日々公表する適時開示 資料の多くは PDF などのファイル 形式で提供されており、 TDnet で 開示される書類は年間 14 万件 110 万ページ以上あるため一つ一 つの書類に目を通すことは困難 • 書類タイトルだけでは中身が分か らない場合が多く、ユーザが探し たい情報にたどり着けない状況に あった 株式会社 JPX総研 : 年間 14 万件に上る適時開示資料のタグ付け自動化と 投資家向けの検索機能提供を実現

Slide 41

Slide 41 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon : Review highlights ・Amazon の Review highlights は、バッチで要約を生成し Cache に格納・逐次更新 ・Amazon SageMaker Batch Transform を推論に特化した Inferentia2 で実行 ・事前の前処理により、小型の LLM で同一品質 / 高い信憑性の要約を生成 https://youtu.be/CQCXPILHYtE?t=556

Slide 42

Slide 42 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 43

Slide 43 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 43 3 つのモニタリング 効果 コスト リスク 面倒な入力の解決 : ・入力時間 ・データレコード数 ・アクティブユーザー数 難解な出力の解決 : ・コンバージョンレート ユーザー : ・待ち時間 ・表示エラー数 システム : ・推論コスト ・消費トークン数 生成 AI のリスク : ・信憑性 ・有害性、バイアス ・知的財産権侵害 ・機密情報

Slide 44

Slide 44 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 44 コストのモニタリング : ユーザー側 AWS X-Ray により、リクエスト処理にどの程度時間がかかっ ているか確認できる (Amazon Bedrock に限らない機能)。 Amazon Bedrock のマルチ モデルによる推論の冗長化 ユーザー : ・待ち時間 ・表示エラー数 Amazon Bedrock Agent では、 各エージェントの呼び出しにど れぐらい時間がかかっているか 可視化できる。

Slide 45

Slide 45 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 45 コストのモニタリング : システム側 Amazon Bedrock Model Invocation Logging により、 呼び出したモデルやハイパーパラメーター、入出力の トークン数などを Amazon Cloud Watch / S3 に格納できる。 プロンプトなしに使えるユースケースをビルトインで提供する Generative AI use Cases JP では CloudWatch ダッシュボードを提供 システム : ・推論コスト ・消費トークン数

Slide 46

Slide 46 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 46 リスクのモニタリング : オンライン評価 生成 AI のリスク : ・信憑性 ・有害性、バイアス ・知的財産権侵害 ・機密情報 Amazon Bedrock Guardrails により、リスクの検知ができる。 1. 信憑性 (contextual grounding check) 2. 有害性 (content filters) 3. 機密保持 (sensitive information filters) リスクの検知に利用できるフィルター ・信憑性 : contextual grounding check ・有害性 : content filters ・知的財産権侵害 : denied topic ・機密保持 : sensitive information filters ※ 2025/3 時点で 日本語未対応

Slide 47

Slide 47 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 47 リスクのモニタリング : バッチ評価 生成 AI のリスク : ・信憑性 ・有害性、バイアス ・知的財産権侵害 ・機密情報 Amazon Bedrock Model Evaluation により、検索単体、また 検索と生成に対し評価が可能。 ※ 2025/3 時点で 日本語未対応

Slide 48

Slide 48 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

Slide 49

Slide 49 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 年単位での生成 AI による価値向上にはリスクのコントロールが不可欠 • 推論時に使われるデータの品質向上は、リスクコントロールに有効な手段 • 2025 年に開発に携わる私たちの姿勢が、今後 10 年を占う ( かもしれない ) 本セッションのメッセージ 49

Slide 50

Slide 50 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 👀 : 本セッションで紹介した事例をチェックしてみる Call to Action! 50 👏 : Amazon Bedrock を試してみる 🛡 : 生成 AI アプリケーションの具体的な安全対策を知る

Slide 51

Slide 51 text

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 51