RAG？エージェント？何それおいしいの？ 
 今からはじめる生成AI爆速キャッチアップ 
 2024.12.12 KDDIアジャイル開発センター　岸田正吉


2 KDDI Agile Development Center Corporation About Me 
 岸田　正吉
 KDDIアジャイル開発センター（ソフトウェアエンジニアリード）兼
 KDDI DIGITAL GATE （エンジニアリングマネージャー）
 
 OA機器メーカーのソフトウエアエンジニア経験を経て2018年にKDDIに入社。KDDI DIGITAL GATEにて金融、小売、製造、建設など幅広い業界/業種の法人顧客のDX 事業立ち上げやアジャイル内製開発チーム立ち上げに従事。その後、KDDIアジャイ ル開発センター（KAG）設立とともに出向。
 現在は、チームの組織運営、生成AIセミナーを通じた社内外への活用推進、企業へ の導入支援、LLMを用いたプロダクト開発、など生成AI普及のため社内外に向けて活 動中。
 
 KAG課外活動である「音"KAG(\)"部」のイラスト担当でもある。
 @makishy5 https://qiita.com/makishy X(Twitter) : Qiita :

3 KDDI Agile Development Center Corporation はじめに
 本日お話すること
 KDDIアジャイル開発センターのご紹介
 生成AIの基礎的なお話
 RAG、AIエージェントに関する技術的なお話
 KDDIアジャイル開発センターの取り組み事例ご紹介
 
 お話しないこと
 生成AIを使ったビジネスモデル


4 KDDI Agile Development Center Corporation

No content

6 KDDI Agile Development Center Corporation

7 KDDI Agile Development Center Corporation

8 KDDI Agile Development Center Corporation KAGの生成AI開発事例 
 
 


生成AIの概要説明

10 KDDI Agile Development Center Corporation AIとは何？ 
 概要と特長の説明
 「生成AI」の多くはこの中の一種 
 ❏ 大規模言語モデル（LLM） 
 ❏ 拡散モデル（Diffusion Model） 
 Artificial 
 Intelligence 
 【人工知能】 
 Machine 
 Learning 
 【機械学習】 
 Deep 
 Learning 
 【深層学習】 
 人間と同様の知識を実現させようという技術
 設定した特徴量からタスクを実行する技術
 機械がデータから特徴量を学習する技術


11 KDDI Agile Development Center Corporation 生成AI（Generative AI）とは何？ 
 画像、文章、音声、プログラムコード、構造化データなどさまざまな 
 コンテンツを生成することのできるAIのこと。 
 大量のデータを学習した学習モデルが人間が作成するような絵や文章を 
 生成することができる。 
 ●Stable Diffusion (2022年8月〜) イメージを生成 
 ●ChatGPT (2022年11月〜)　テキストを生成 概要と特長の説明 


12 KDDI Agile Development Center Corporation 入力されたテキストから、最も確率の高い次の文字列を推測し、文章を生成する 
 Temperature（多様性を決めるチューニングパラメータ）を高くすると意外性のある文章が生成される 
 確率100％
 LLM
 東京
 日本
 の
 首都
 は
 京都
 Temperatureが高 いと...
 LLMが文章を生成する仕組み 


13 KDDI Agile Development Center Corporation LLMの弱点 
 思考・理解・推論の欠如 LLMは実際には「考える」能力を持っていません。単に確率に基づいて回答を生成しているだけで、本当の意味での理解や推論はできません。 ハルシネーション LLMは時として、自信に満ちた口調で完全に誤った情報を生成することがあります。これは「ハルシネーション」と呼ばれ、ユーザーを誤解させる可能性があります。 出力の品質と一貫性の問題 LLMの出力は非決定論的で、同じ入力に対して異なる回答を生成することがあります。これは一貫性や信頼性を必要とする用途では問題となります。 バイアスと公平性の課題 トレーニングデータに含まれる社会的バイアスを反映し、偏った内容を生成する可能性があります 。 プライバシーとセキュリティの脅威 機密情報の漏洩や、なりすまし、ソーシャルエンジニアリングなどのセキュリティリスクがあります 。 構造化データの扱いの難しさ LLMは非構造化データの処理に長けていますが、表形式などの構造化データの扱いは得意ではありません 。 コンテキストウィンドウの制限 LLMが一度に処理できる情報量には制限があり、長文や複雑な文書の全体を考慮することが難しい場合があります。 


14 KDDI Agile Development Center Corporation 回答精度向上のための手法 
 • プロンプトエンジニアリング
 • RAG（検索拡張生成：Retrieval-Augmented Generation）
 • ファインチューニング


RAG、AIエージェントについて

16 KDDI Agile Development Center Corporation RAG・エージェントの簡単な理解 
 RAG
 タスクができるようにLLMに「業務」に必要な「知識」を与える技術
 
 エージェント 
 タスクができるようにLLMに「業務」に必要な「ツール（道具）」を与える技術


17 KDDI Agile Development Center Corporation RAGの概念説明 
 RAG(検索拡張生成：Retrieval-Augmented Generation)は、LLMと外部情報の検索を 組み合わせることで、LLMの回答精度を向上させる技術です。
 LLMは最新情報や非公開企業内情報など未学習の情報は回答ができません。RAG は、LLMの弱点を補う技術として注目されており、ビジネスシーンで活用されていま す。
 補足：LLMの回答精度向上として「ファインチューニング」という技術もあります。ファインチューニングを行うには学習用の高価 なマシンや大量のデータを必要とするのに対して、プロンプトエンジニアリングやRAGはモデルの再学習不要でコストを抑えら れ、情報の更新も容易であることから業務利用の最初のステップでは、プロンプトエンジニアリングやRAGから取り組むのがよ いでしょう。

18 KDDI Agile Development Center Corporation RAGの仕組み 
 主な処理の流れ
 0. VectorStoreにデータを格納する 
 1. 入力内容に関する情報を外部（Vector Storeなど）から収集する
 2. 収集した情報と入力内容とを組み合わせプ ロンプトを構成し、LLMに問い合わせする 
 3. LLMが回答を生成する
 補足：RAGアーキテクチャではVectorStoreには断片的な情報（例えば文書を 2000文字程度で区切ったデータ）が格納されます。取り込む文書のインデクシ ングや検索性能によって回答精度が大きく変わるため、業務で活用可能な精 度にまで向上させるのは、上記以外のさまざまなテクニックが必要になることも 多いです。

19 KDDI Agile Development Center Corporation RAGの精度向上の工夫 
 RAGの回答品質を高めるためには様々な工夫が必要となります。
 • ファイル読み取りの工夫
 ◦ 図表の多い文書やN-up文書
 • インデクシングの工夫
 ◦ チャンクに含む情報、検索対象の調整
 • 検索クエリの工夫
 ◦ 仮説的な回答をもとに検索、LLM検索クエリを考えさせる
 • 検索後の工夫
 ◦ リランク
 • 生成後の工夫
 ◦ 検索結果が不十分な場合に再検索する
 など


20 KDDI Agile Development Center Corporation RAGの回答精度評価 
 RAGの評価には、LangSmith、Langfuse、Ragasという3つの主要なツールがあります。これらのツールは、RAGパイプラインの性能 を評価し、改善するために使用されます。
 LangSmith LangSmithは、LangChainによって開発された評価プラットフォームです。 主な特徴は以下の通り ● デバッグ、テスト、評価、モニタリング機能を提供 ● 視覚化ツールを使用して評価結果を分かりやすく表示 ● 継続的な評価パイプラインの設定が可能 ● コスト管理とレイテンシー測定機能 SaaSで提供され、セルフホストするためには Enterpriseプランへの加入が必要です。 Langfuse Langfuseは、LangSmithに似た評価プラットフォームです。 ● インタラクティブな機能が豊富で、直感的な操作が可能 ● 多様な言語に対応し、様々な文化背景を持つユーザーに対応 ● フィードバックを迅速に取り入れ、サービス改善が容易 LangfuseはOSSとして提供されており、セルフホスティングが可能。 SaaSでの利用が難しいエンタープライズ案件などで活用しやすい。 Ragas Ragasは、RAGに特化した評価フレームワークです 検索（Retrieval）と生成（Generation）の両方を評価 複数の評価指標を提供（忠実度、関連性、コンテキスト精度など） LLMを活用して評価を行うため、従来の指標の制限に対処 人間による注釈付きデータセットを必要としない Ragasの主な評価指標には以下があります ● 忠実度（Faithfulness）：生成された回答がコンテキストと一致しているか ● コンテキスト精度（ Context Precision）：検索されたコンテキストの SN比 ● コンテキスト再現性（ Context Recall）：回答がコンテキストの情報をどの程度反映し ているか ● 回答の関連性（ Answer Relevancy）：回答が質問に適切であるか Langfuseの画面イメージ

21 KDDI Agile Development Center Corporation AIエージェントの概念説明 
 AIエージェントは、置かれている環境を認識して複雑な目標に対して自律的に稼働す る技術です。
 
 
 AIエージェントはより高度で専門的なタスク を自律的をこなすことで、ユーザーによる指 示や手間を大幅に削減することが期待され ています。


22 KDDI Agile Development Center Corporation AIエージェントの仕組み 
 CoT（思考の連鎖：Chain of Thought）
 
 基本概念
 Chain of Thought（CoT）は、AIに対して複雑な問題を段階的に解決させるプロンプティン グ手法です。主な特徴は以下の通りです 論理的思考プロセスの再現 AIに人間のような論理的な思考プロセスを踏ませ、複雑な問題を小さなステップ に分解して解決します。 ステップバイステップのアプローチ 問題解決を一連の思考ステップに沿って行い、各ステップで与えられた情報を十 分に処理します。 推論の透明性向上 AIの思考過程が明確に説明されるため、回答に至るまでの推論プロセスが透明 になります。 問題解決の精度向上 複雑なタスクにおいて、より正確な結果を導き出すことができます。 幅広い適用可能性 数学の文章問題、常識問題、シンボリック操作など、人間が言語を介して解決で きるさまざまなタスクに適用できます。 Chain of Thoughtは、AIの推論能力を強化し、複雑な問題解決や意思決定タスクにおい て、より効果的な結果を導き出すことを可能にします。 主な流れ 1. ユーザーが質問する 2. LLMがツールを選んで外部 APIから情報取得 3. LLMが「これでユーザーの回答に十分か？」と内省 4. 足りなければ別の APIを叩く

23 KDDI Agile Development Center Corporation AIエージェントの仕組み 
 ReAct
 ReAct（REasoning and ACTing）は、AIエージェントにおける革新的なアプローチで、言語モデル（LLM）を使用して推論と行動を同 時に行う枠組みです。ReActの主な特徴と機能は以下の通りです。
 
 基本概念
 ReActは、AIシステムが複雑なタスクを解決する際に、推論（Reasoning） と行動(Action)を繰り返し行うプロセスを実現します。このアプローチによ り、AIは単なる回答生成装置から、論理的に考え行動するインテリジェント なエージェントへと進化します。 Reasoning工程とAction工程を繰り返し、次に行うタスクを動的かつ段階 的に思考します。 補足：ReActの他に最初に何を行うか計画し、サブタスクを実行することで目的 達成を行うPlanning&Execution（計画と実行）といった手法などもあります。

24 KDDI Agile Development Center Corporation マルチエージェント 
 AIエージェントの活用方法として複数のエージェントが協調して目標達成を行う、マルチエージェントのアプローチが注目されてい ます。
 
 
 https://microsoft.github.io/autogen/0.2/docs/Getting-Started/ エージェントのカスタマイズ マルチエージェント同士の会話 柔軟な会話のパターン 会話可能なエージェント AutoGen：Microsoft、ペンシルベニア州立大学、ワシントン大学が中心になって 開発されるAIエージェントツール

25 KDDI Agile Development Center Corporation ユースケース 
 https://microsoft.github.io/autogen/0.2/docs/Use-Cases/agent_chat AutoGen を使用して構築されたアプリケーションの 6 つの例 数学の問題を解く 検索拡張チャット 意思決定 マルチエージェント コーディング 動的グループチャット 対話型チェス

26 KDDI Agile Development Center Corporation AIエージェントが創り出す未来 
 マルチモーダルにより入力デバイスが多様化
 LLMはエージェントでより専門的かつ高度化（複数の エージェントの協働により目標を達成）
 出力先のデバイスも多様化
 
 
 スマホから離れた魔法のような世界が来るかも？
 


KDDIアジャイル開発センターの 取り組み事例ご紹介

28 KDDI Agile Development Center Corporation KAGの生成AI開発事例 
 
 


29 KDDI Agile Development Center Corporation KAGの生成AI開発事例 


30 KDDI Agile Development Center Corporation デモアプリの紹介 
 IdeaSpark 
 社名やテーマ、ターゲットユーザーを入力、選択するだけで事業企画を量産できる
 コンサルタントやクリエイターなど様々な視点からのアドバイスとブラッシュアップができる


DEMO

32 KDDI Agile Development Center Corporation 本ツールの特徴 
 • モデルはGemini 1.5 Flash
 • 最大100万トークンの長いコンテキストウィンドウを活かし、生成した内容すべてトークンに含め連 鎖的にアイデアを生成
 • 軽量モデル（Flash）利用により高速なアイデア生成を実現
 • 非チャットUIにより、高度なプロンプトの入力やデザインプロセスの理解は不要
 
 
 
 


33 KDDI Agile Development Center Corporation 本ツール導入による効果 
 アイデア創出の高速化 
 • 短時間で膨大な数のアイデアを生成でき、これにより、従来の手作業で行うアイデア出しの時間を大幅に短縮し、より多様な視点を取り入れることが可能なる。
 アウトプットの質向上 
 • 初学者やあまり知見のないメンバーでも高度なフレームワークに即したアイデアを生成できる。また、高速で何度もアイデア生成と仮説検証を行えるため、通常の反 復プロセスよりも速く改善が可能になります。これにより、ユーザーからのフィードバックを迅速に取り入れ、サービスの品質向上に繋がる。
 チームの生産性向上とコラボレーション強化 
 • ツールを使うことで、チーム間の情報共有やアイデアの可視化が簡単になり、複数の部門が効率よく連携できる。生成AIが共通の基盤を提供することで、コミュニケー ションが円滑に進み、認識のズレを減少する。
 • また、営業、開発、マーケティングチームなど、複数部門が協力する際に共通のツールを介してアウトプットを評価することができ、各チームがよりスムーズに協力でき るようになる。
 営業活動や顧客提案の強化 
 • 営業ツールとしての利用: 生成AIをツール化することで、迅速にビジネスプランを提案できるようになり、営業活動での提案の質と速度を大幅に向上させることができ ます。具体的には、顧客ニーズに合わせたビジネスアイデアやサービスデザインを瞬時に生成し、競争力の高い提案が可能になります。


34 KDDI Agile Development Center Corporation さいごに
 技術は日進月歩で進歩しています。
 
 昨日できなかったことが、明日には可能になる時代です。
 アイデアを形にするハードルは劇的に下がり、行動する力が未来を切り拓きます。
 
 生成AI時代の鍵は、まず動き出すこと。
 ものづくりのあり方そのものも変わっていくかもしれません。
 
 「未来を予測する最善の方法は、それを発明すること 」
 
 まずは簡単なところから、やってみましょう。


Be a Change Leader.
 アジャイルに力を与え
 共に成長し続ける社会を創る