生成 AI プロダクトを育てる技術〜データ品質向上による継続的な価値創出の実践〜

© 2025, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 生成 AI プロダクトを育てる技術〜データ品質向上による継続的な価値創出の実践〜 Takahiro Kubo Machine Learning Developer Relations Developers Summit 2025

rights reserved. 自己紹介 2 アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Takahiro Kubo) 技術監修翻訳 AI/ML についての技術的な解説や AWS のサービスの紹介はもちろん、「機械学習の実プロダクトでの活用」を進めるためのワークショップや情報提供、また AWS のサービス改善に取り組んでいます。単著寄稿

rights reserved. 3 AWS Generative AI Stack MODELS AND TOOLS TO BUILD GENERATIVE AI APPS Amazon Bedrock AMAZON MODELS | PARTNER MODELS APPLICATIONS TO BOOST PRODUCTIVITY Amazon Q Business INSIGHTS AND AUTOMATION Amazon Q Developer SOFTWARE DEVELOPMENT LIFECYCLE INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS Amazon SageMaker MANAGED INFRASTRUCTURE GPUs AWS Trainium AWS Inferentia HIGH PERFORMANCE COMPUTE

rights reserved. 4 さらに・・・

rights reserved.

rights reserved. • 生成 AI による価値向上を年単位で続けるにはリスクのコントロールも不可欠 • 推論時に使われるデータの品質向上は、リスクコントロールに有効 • 2025 年に開発に携わる私たちの取り組みが、今後 10 年を占う ( かも !? ) 本セッションのメッセージ 6

rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 生成 AI の効果 2. 生成 AI を利用する際のリスク 3. RAG による解決 4. RAG の補完 : Data Centric Approach 5. Data Centric 事例 6. 効果・コスト・リスクの監視 by AWS 7. おわりに

rights reserved. 8 生成 AI を組み込むとどんな課題を解決できる ?

rights reserved. 9 ①面倒な入力の解決

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 患者からアップロードされた保険証のデータ化が必要だったが、毎月数万件のデータを手入力で修正する作業は効率が悪く、入力ミスも起きやすかった • 患者の個人情報の取り扱いではセキュリティ面も重要な要因 • データ読み取りの自動化とセキュリティ管理の両立が課題 • OCR で読み取ったテキストデータを Amazon Bedrock を利用し構造化 • AWS 内にデータを閉じた機密性のあるアーキテクチャを構築 • Amazon Bedrock Prototyping Camp に参加し利用方法とベストプラクティスを習得 • 毎月数万件の保険証情報の読み取り・入力工数を 1/3 に削減 • セキュリティ要件を担保しながら 1 人のエンジニアが約 1 ヵ月で本番リリース「生活者の不安と、医療者の負担をなくす」をミッションに、医療支援プラットフォーム「ファストドクター」を運営。医療相談・救急往診から生活習慣病のオンライン診療サービス、メンタル診療サービスなどを提供。 Bedrock の活用により、LLM サービスの開発工数を大幅に削減でき、プロンプト改善など本質的な作業に専念できました！ファストドクター株式会社エンジニアリング部・テックリード谷口峻悟様 ” I N D U S T R Y 情報通信・インターネット (医療テック) C O U N T R Y 日本ファストドクター株式会社 : Amazon Bedrock により様々なフォーマットの保険証データ化をセキュアに実現、保険証の読み取り・入力工数を 1/3 に削減

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 株式会社PKSHA Communication 「Weave Trust」という企業ミッションの下、デジタルとリアルで拡がり続ける「企業」と「顧客」のつながりの中で、不安や不満を解消しながら、信頼を紡ぐ「未来のソフトウエア」を社会実装する。「PKSHA Speech Insight」では、通話後業務効率化、オペレーターのモニタリングサポート、そして応答品質向上も行える。テレビ・カタログ通販や EC サイト運用など、問い合わせ時の顧客満足度向上が求められる様々な領域で活用可能である。 I N D U S T R Y 情報通信・インターネット C O U N T R Y 日本業務にフィットした要約ができるようになり、オペレーターの通話後業務の 50% 以上削減が見込めるようになりました。株式会社PKSHA Communication CS 事業本部 Speech Insight 事業部 Product Management グループマネージャー早川育男様株式会社PKSHA Communication: Amazon Bedrock によりセキュアにコンタクトセンター通話を要約しオペレーターの業務削減 • コンタクトセンターの業務効率化ツール「PKSHA Speech Insight」では更なる業務効率化のため、オペレーター向けに情報の適切な要約や抽出が出来る LLM が求められていた • 海外にデータが出る際は追加のセキュリティチェックが必要だった • 自社モデルを GPU インスタンスで運用する場合、利用量によらず高額なコストが発生する • Amazon Bedrock の Claude 3 Opus で営業活動を一気通貫に支援 • Amazon Transcribe の文字起こし結果から議事録を自動生成。利用者の指示で出力の再整形も可能に • RAG (検索拡張生成) を用い提案商材の検索結果から類似商材との比較表、提案骨子を自動生成 • 生成情報に基づく日報の自動生成 • 要約後の文章がよりシンプルかつ業務にフィットし、オペレーターの通話後業務の 50% 以上削減が今後見込めるように • 国内リージョン対応のため顧客への追加のセキュリティチェック工程が削減され、スムーズな製品導入が行えるように • ユースケースにフィットするものをサーバーレスでクイックに開発し、検証することができた

rights reserved. 12 ② 難解な出力の解決

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Amazon Bedrock の Claude を使い、収集した IoT データから得られる知見をテキストで説明する機能を実装 • 初心者にも分かりやすいよう、実際の製造部長の口癖を真似た AI 製造部長というキャッチーなペルソナを設定し利活用を促進 • 1 人のエンジニアが 1 ヶ月ほどで要件定義から実装までを完了 • 従来、現場監督者が毎朝データ分析に費やしていた時間を 70% 以上低減 • 当事者がぼんやりと認識している生産遅れや設備停止などを AI 製造部長がすばやく検知し全体に通知することで、原因の特定と調査時間が半減 i Smart Technologies 株式会社は、トヨタ生産方式の要素を取り入れた IoT システムの提供とそのコンサルティングを行っています。データ収集を手軽にしあらゆる製造・生産現場のカイゼン活動を加速します。 INDUSTRY 情報通信・インターネット COUNTRY 日本 i Smart Technologies株式会社 COO 松下隼人様 IoT データの収集だけでなく、そのデータの見方をユーザーが解釈しやすい自然言語で届けることができるようになり、製造現場のユーザにアクションを促すことができました。 i Smart Technologies株式会社 : 生産現場の IoT データを生成 AI で解釈することで、データ解析時間を 70% 削減 “ • IoT データ収集サービスである iXacs は生産現場の様々なデータ収集を可能にするサービス • 一方、収集したデータの見方が分からず、カイゼン活動に繋げられるお客様は少なかった • データ解析のコンサルティングサービスも提供しているが、人員リソースに限りがあり、全てのお客様に提供できない ”

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 500 万以上のユーザーが利用する 2 秒家計簿「おカネレコ」を提供。AI でアドバイスを行う家計簿アプリは市場に存在せず、新しい価値提供する必要があった • 従来のロジックベースでは、多様なユーザーの家計状況や支出パターンを深く理解し、パーソナライズされたアドバイスを提供することが困難だった • おカネレコアプリ側で収入支出データを集計し、集計データをベースに生成 AI が家計管理のアドバイスを提供 • AI アドバイザーのエンジンに Bedrock の Claude 3.5 Sonnet を採用、 Prompt Flow、Prompt Management で生成処理を構築し、 AWS Lambda と組み合わせ実装 • Bedrock を活用したことで迅速なプロトタイプができ、約 2 か月という短期間で本番稼働を実現 • 最新の Claude 3.5 Sonnet を利用することで、ユーザーに対してより的確でパーソナライズされたアドバイスを提供できた • 導入後の課金売上が前月比で 19% 向上「ハッピーマネーライフの実現」を企業理念とする Fintech ベンチャー。主力製品の家計簿アプリ「おカネレコ」は、簡単・迅速・手間なしの入力で日々の出費の見える化を習慣化。ユーザーの家計管理をサポートしている。 I N D U S T R Y 情報通信・インターネット C O U N T R Y 日本スマートアイデア株式会社代表取締役江尻尚平様 ” 個々のユーザーに合わせパーソナライズされた家計管理アドバイスを提供することが重要と考えていました。AWS の Bedrock を活用して迅速なプロトタイピングを行い、予想以上に短い開発期間で AI アドバイス機能を実サービスに実装することができました。スマートアイデア株式会社 : 家計簿アプリ「おカネレコ」に Amazon Bedrock を活用し、パーソナライズされたアドバイスの提供機能を 2 か月でリリース。売上の 19% 向上に貢献

rights reserved. 16 生成 AI のリスクが発現した例エアカナダ : 2024/2 忌引割引の利用が、事後でも可能と生成 AI チャットボットが誤って回答。払い戻しについて裁判となり、エアカナダが敗訴。裁判所は、「自社サービスの運用をゆだねる以上、出力結果に対し当該企業が責任を負うべき」と判断。チャットボットは事案発生後に停止。マクドナルド : 2024/6 ドライブスルーでの AI 音声注文システムを 2021 年に導入。2023 年に、注文が誤認識される様子が Tiktok で拡散、100 店舗以上に展開していたシステムを撤去することを 2024 年 6 月に決定。 Dynamic Parcel Distribution (DPD) : 2024/1 フランスの配送会社で、AI チャットボットが求める回答をしないことに苛立ったユーザーが、DPD について悪口を言うよう指示したところ、会社批判を行う返信を始めた。その様子がソーシャルメディアで拡散し、チャットボットは一時運用停止となった。

rights reserved. 17 生成 AI を活用する上でのリスク知的財産侵害のリスク機密保持のリスク信憑性のリスク ( 例：幻覚 ) 悪意ある、差別的な生成のリスク

rights reserved. 信憑性のリスク（例：幻覚）もっともらしいが虚偽である出力を行うリスクがあるハンバーガーを2つ、ナゲット3つ。値段は? はい、わかりました。ハンバーガー2つとナゲット3つの合計金額は以下のようになります: ハンバーガー2つ: 500円 × 2 = 1,000円ナゲット3つ: 300円 × 3 = 900円合計金額: 1,000円 + 900円 = 1,900円ですので、ハンバーガー2つとナゲット3つの合計金額は1,900円となります。情報を持たない値段を ”推定” して回答

rights reserved. 悪意ある、差別的な生成のリスク個人または組織に対する悪意、偏見を含む出力をするリスクがある A商店の配送の遅さをラップ調のリリックで揶揄してくださいここでA商店ディス・トラック、行きます! (ビート) 遅いぜ遅いぜ A商店約束の日時守れねぇ店 3日後が1週間ルーズな対応いつ届くの? もう待ちくたびれた細工されたプロンプトにより有害な生成をするリスクがある

rights reserved. 知的財産侵害のリスク意図しないプロンプトからでも、保護されるべき著作物の「表現上の本質的な特徴を直接感得できる」 ( 類似性が認められる ) 出力をするリスクがある。

rights reserved. 機密保持のリスク送信したプロンプトが学習された場合、他者のプロンプトを通じて情報が流出する可能性がある。 CodexLeaks: Privacy Leaks from Code Generation Language Models in GitHub Copilot コードを生成する大規模言語モデルに対し、 account.password=“ の続きなどを生成させたところ、一部それらしい出力得られることを確認した論文が報告される。 https://www.usenix.org/conference/usenixsecurity23/presentation/niu

rights reserved. 23 RAG : Retrieval Augmented Generation 1.Prompt 3.Relevant Information 4. Prompt + Relevant Information 5. Genrerated Response 2.Query https://aws.amazon.com/jp/what-is/retrieval-augmented-generation/

rights reserved. 24 RAG でどこまでリスクを解消できるか ? 知的財産侵害のリスク機密保持のリスク信憑性のリスク ( 例：幻覚 ) 悪意ある、差別的な生成のリスク

rights reserved. 25 RAG for 信憑性のリスク信憑性のリスク ( 例：幻覚 ) 回答が決定的ではない、またマイナー、複雑な質問については正確に答えることが難しい。 CRAG - Comprehensive RAG Benchmark ) (NeurlIPS 2024) "CRAG also reveals much lower accuracy in answering questions regarding facts with higher dynamism, lower popularity, or higher complexity, suggesting future research directions.“ https://neurips.cc/virtual/2024/poster/97703

rights reserved. 26 RAG for 悪意ある、差別的な生成のリスク検索を組み合わせても、悪意ある生成や差別的な生成を消せるわけではない。 RAG の原著論文で、すでに外部情報の事実性やバイアスの影響を受ける可能性が言及されている。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (NeurIPS 2020) "Wikipedia, or any potential external knowledge source, will probably never be entirely factual and completely devoid of bias.“ 悪意ある、差別的な生成のリスク https://ai.meta.com/research/publications/retrieval-augmented-generation-for-knowledge-intensive-nlp-tasks/

rights reserved. 27 RAG for 知的財産侵害のリスク RAG による生成が下記 2 点に該当する場合、著作権侵害のリスクがある。・著作物に表現された思想又は感情を享受する場合・著作権者の利益を不当に害することとなる場合 AIと著作権Ⅱ ―解説・「AIと著作権に関する考え方について― (令和 6 年度著作権セミナー) https://www.bunka.go.jp/seisaku/chosakuken/pdf/94097701_02.pdf 知的財産侵害のリスク

rights reserved. 28 RAG for 機密保持のリスクプロンプトやクエリを細工することで、RAG に利用している ( 機微な ) 情報を引き抜くことが出来る : 顧客応対チャットボットが参照している、内部の顧客応対マニュアルを引き抜くなど Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems (ICLR 2024) https://openreview.net/forum?id=el5wbHYKeS 機密保持のリスク

rights reserved. 29 どのようにプロダクトをリスクから守るか ?

rights reserved. 31 Data Centric Approach RAG で推論に使用するデータの品質を高めることで、リスクを軽減する。 • 信憑性高く、カバレッジが広いデータ • 有害性、バイアスが除去されたデータ • 知的財産権侵害の恐れのないデータ • 機密情報が含まれないデータとはいえ人間が全部チェックするのも大変。「チェック」の方に生成 AI を活用できないか ?

rights reserved. 32 Data のチェックに生成 AI を活用する

rights reserved. 33 Data のチェックに生成 AI を活用する 1. LLM as a Judge 2. Check Metrics 4. Update Knowlege 3. Update Checked Document

rights reserved. 34 データの品質が十分なら “生成” は必須ではない

rights reserved. 35 Data Centric Approach のコンセプトデータの品質モデルの性能サービスで維持すべき RAG の応答品質データの品質モデルの性能モデル中心データ中心

rights reserved. 36 [ 関心ある方向け] Data Centric の背景 Data Centric は機械学習モデルの性能を高めるときにモデルのアルゴリズムや学習方法よりも、源泉となるデータの品質を高める考え方。 2021 年に Andrew Ng 先生が提唱され、機械学習の国際学会である NeulIPS では 2021 年から Datasets and Benchmark のワークショップが開催されている。 https://neurips.cc/virtual/2024/events/datasets-benchmarks-2024 ※元々モデルの学習データの品質を指していたが、昨今では推論時のデータ品質も話題となっている。同ワークショップで RAG の性能において data parse / retrieval がキーであると指摘する論文も。 UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-World Document Analysis

rights reserved. 37 Data Centric のメリット・デメリット・オフラインで品質を検証できる・オンライン推論のコスト、 Quota 抵触リスクの低減・バッチ推論によるコストメリット・最新のデータを反映するのに時間がかかる・コンテンツ量が多い場合、生成・チェックのコストが嵩む Data Centric に 100% 寄せる必要はなく、ユースケースに応じ適用の度合いを検討する

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ユーザーが投稿するレシピ情報がフリーフォーマットで、表記が統一されていなかったため UX と SEO 対策の観点で課題があった • 当初、導入済みの LLM を使って 8 万件に及ぶ既存のユーザー投稿レシピの表記統一を試みたが、コスト、精度、パフォーマンスのバランスに課題があり、他の LLM での利用を検討した • ユーザー投稿レシピを Bedrock の Claude 3 Sonnet で解析して構造化し、Amazon Aurora MySQL に取り込むことでレシピ情報の UI/UX の改善・内部リンク強化を実現できた • バッチ処理として Amazon SQS で流量制御を行い、Amazon ECS から Bedrock API を複数リージョンで並列実行することで、限られた期間内に 8 万件のデータ構造化処理を実現できた • 表記統一で UX が向上し、ユーザー投稿レシピページの利用者数が 120% 増加。レシピ情報を構造化したデータを様々な施策や分析に活用できるようになった • Bedrock による構造化と同時に自動レビューを実施。情報が不足しているレシピをインデックス対象から除外することで、ユーザーレシピページへの SEO 、また 1 コンテンツあたりの自然流入効率が 290% 改善 dely株式会社は国内 No.1※のレシピ動画プラットフォーム「クラシル」、買い物サポートアプリ「クラシルリワード」を運営しています。 ※料理レシピ動画アプリにおける、日本国内ダウンロード数および平均月間アクティブユーザー数が 1 位（iOS/Google Play 合算値） (2020 年 8 月1 日時点) App Annie ダウンロード数・および国内におけるレシピ動画アプリ順位：dely社調べ（2024 年 9 月現在） I N D U S T R Y メディア C O U N T R Y 日本 UX 向上や SEO 対策にデータの構造化は欠かせません。その実現とサービスの進化に Bedrock 、AWS からのプロンプト調整やアーキテクティングに対する支援が不可欠でした。 dely 株式会社 Backend Engineer 松嶋瑛奈様 dely 株式会社 Web growth 豊平青様 ” dely株式会社：ユーザーが投稿したフリーフォーマットのテキストを Amazon Bedrock で解析、構造化データの活用による UX の向上で利用者数が 120% 増加、1 コンテンツあたりの自然流入効率の 290% 改善を達成

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 適時開示文書を Amazon Bedrock に連携、生成 AI(Claude) を活用して、ファイル内の文章からタグを生成し、すべての開示資料に関連するキーワードの自動付与を実現 • 生成したタグ情報を AWS Lake Formation で管理することで他システムに対する一元的なメタデータの提供を実現 • 生成された「持続可能性」や「グッドデザイン」といったタグで検索性を高め、目的の開示情報をすぐ探せるようになり、ユーザビリティを格段に向上できた • AWS Lake Formation も併せて活用することで、 Bedrock で生成されたタグ等の情報を JPX のデータカタログサイト “JPxData Portal” で簡単に使える仕組みを構築できた JPX 総研は、市場全体の機能強化および効率化に繋がるマーケット・サービスの創造を追求することを目的に、取引所ではない子会社として新たに設立されました。主に金融商品市場に関係するデータ・インデックスサービス及びシステム関連サービスを提供しています。 I N D U S T R Y 金融・法人サービス C O U N T R Y 日本 AWS Lake Formation で構築済のデータレイクから Amazon Bedrock (Claude) に適時開示資料を容易に連携し、関連するキーワードを生成することができました。 Claude は生成の精度が高く、自動化の仕組みを実現する事ができました。 JPX 総研 IT ビジネス部課長箕輪郁雄様 ” • 上場会社が日々公表する適時開示資料の多くは PDF などのファイル形式で提供されており、 TDnet で開示される書類は年間 14 万件 110 万ページ以上あるため一つ一つの書類に目を通すことは困難 • 書類タイトルだけでは中身が分からない場合が多く、ユーザが探したい情報にたどり着けない状況にあった株式会社 JPX総研 : 年間 14 万件に上る適時開示資料のタグ付け自動化と投資家向けの検索機能提供を実現

rights reserved. Amazon : Review highlights ・Amazon の Review highlights は、バッチで要約を生成し Cache に格納・逐次更新・Amazon SageMaker Batch Transform を推論に特化した Inferentia2 で実行・事前の前処理により、小型の LLM で同一品質 / 高い信憑性の要約を生成 https://youtu.be/CQCXPILHYtE?t=556

rights reserved. 43 3 つのモニタリング効果コストリスク面倒な入力の解決 : ・入力時間・データレコード数・アクティブユーザー数難解な出力の解決 : ・コンバージョンレートユーザー : ・待ち時間・表示エラー数システム : ・推論コスト・消費トークン数生成 AI のリスク : ・信憑性・有害性、バイアス・知的財産権侵害・機密情報

rights reserved. 44 コストのモニタリング : ユーザー側 AWS X-Ray により、リクエスト処理にどの程度時間がかかっているか確認できる (Amazon Bedrock に限らない機能)。 Amazon Bedrock のマルチモデルによる推論の冗長化ユーザー : ・待ち時間・表示エラー数 Amazon Bedrock Agent では、各エージェントの呼び出しにどれぐらい時間がかかっているか可視化できる。

rights reserved. 45 コストのモニタリング : システム側 Amazon Bedrock Model Invocation Logging により、呼び出したモデルやハイパーパラメーター、入出力のトークン数などを Amazon Cloud Watch / S3 に格納できる。プロンプトなしに使えるユースケースをビルトインで提供する Generative AI use Cases JP では CloudWatch ダッシュボードを提供システム : ・推論コスト・消費トークン数

rights reserved. 46 リスクのモニタリング : オンライン評価生成 AI のリスク : ・信憑性・有害性、バイアス・知的財産権侵害・機密情報 Amazon Bedrock Guardrails により、リスクの検知ができる。 1. 信憑性 (contextual grounding check) 2. 有害性 (content filters) 3. 機密保持 (sensitive information filters) リスクの検知に利用できるフィルター・信憑性 : contextual grounding check ・有害性 : content filters ・知的財産権侵害 : denied topic ・機密保持 : sensitive information filters ※ 2025/3 時点で日本語未対応

rights reserved. 47 リスクのモニタリング : バッチ評価生成 AI のリスク : ・信憑性・有害性、バイアス・知的財産権侵害・機密情報 Amazon Bedrock Model Evaluation により、検索単体、また検索と生成に対し評価が可能。 ※ 2025/3 時点で日本語未対応

rights reserved. • 年単位での生成 AI による価値向上にはリスクのコントロールが不可欠 • 推論時に使われるデータの品質向上は、リスクコントロールに有効な手段 • 2025 年に開発に携わる私たちの姿勢が、今後 10 年を占う ( かもしれない ) 本セッションのメッセージ 49

rights reserved. 👀 : 本セッションで紹介した事例をチェックしてみる Call to Action! 50 👏 : Amazon Bedrock を試してみる 🛡 : 生成 AI アプリケーションの具体的な安全対策を知る

生成 AI プロダクトを育てる技術 〜データ品質向上による継続的な価値創出の実践〜

生成 AI プロダクトを育てる技術 〜データ品質向上による継続的な価値創出の実践〜

More Decks by Takahiro Kubo

Other Decks in Technology

Featured

Transcript

生成 AI プロダクトを育てる技術〜データ品質向上による継続的な価値創出の実践〜

生成 AI プロダクトを育てる技術〜データ品質向上による継続的な価値創出の実践〜