(&/&3"5*7&"*5"-, ੜ੒"*ͷύϫʔΛۚ༥ʹ ۚ༥ʷੜ੒"*ͷϢʔεέʔεൃ۷ Women in Data Science 2024 2024年6⽉14⽇ ⽇本アイ・ビー・エム 株式会社 AIエンジニア 村上 未紗

Agenda 1. ࣗݾ঺հ 2. ΩϟϦΞʹ͍ͭͯ 3. ੜ੒AIͱ͸ 4. ۚ༥ۀքʹ͓͚Δੜ੒AI׆༻Ϣʔεέʔε 5. ੜ੒AI׆༻ΛਐΊΔͨΊʹඞཁͳIT։ൃ 6. ·ͱΊ

⽇本アイ・ビー・エム株式会社 テクノロジー事業本部 クライアントエンジニアリング AIエンジニア 村上未紗 現在の仕事内容 ü ⾦融業界のお客様向けに⽣成AIを使ったソリュー ションの提案、PoCの実施 ü お客様の業務課題を⾒つけるワークショップの実施 趣味 ü テニス・ゴルフ・スノーボードなど ⾃⼰紹介

Agenda 1. ⾃⼰紹介 2. キャリアについて 3. ⽣成AIとは 4. ⾦融業界における⽣成AI活⽤ユースケース 5. ⽣成AI活⽤を進めるために必要なIT開発

キャリアについて 電気情報系の学科に⼊学 電磁気のシミュレーションに関する研究 教育系の企業のWebサイト開発や広告運⽤を経験 フィンテックベンチャーに⼊社。 データサイエンティストとして融資承認確率モデル や不動産価格予測モデルなどの開発に従事 ⼤学を卒業後、⽇本IBMのAIエンジニアとして活動 中。 ⼤学 Web開発 フィンテック ベンチャー ⽇本IBM⼊社 インター ン・正社員 で7年ほど

Agenda 1. ⾃⼰紹介 2. キャリアについて 3. ⽣成AIとは 4. ⾦融業界における⽣成AI活⽤ユースケース 5. ⽣成AI活⽤を進めるために必要なIT開発

⽣成AIとは • オリジナルのコンテンツを⽣成することができるAI • ⼤規模なデータを学習した基盤モデルを使い、あらゆるタスク（質疑応答、分類、翻訳、 コード⽣成など）を実⾏することができます。

AIは基盤モデルの時代へ ⽣成AIを可能にする「基盤モデル」の取り組みは2017年頃には始まっており、IBMも研究・ 製品への適⽤を進めてきました。 ΤΩεύʔτγεςϜ ػցֶश ਂ૚ֶश ج൫Ϟσϧ خ͠͞ • ϧʔϧϕʔεͰͷࣗಈԽ • ϩδοΫɾϧʔϧ͕ ਓखͰͳ͘ ɺ σʔλ͔Β࡞ΕΔ • ༧ଌਫ਼౓ͷ޲্ • ਓखʹΑΔಛ௃ྔઃܭ͕ෆཁ • ͭͷ'PVOEBUJPO.PEFMΛ ෳ਺ͷλεΫʹద༻Ͱ͖Δ • ਓखʹΑΔϥϕϧ෇͚͕ େ෯ʹݮΔ νϟϨϯδ • ਓखͰͷϩδοΫɾϧʔϧ࡞Γ • ༧ଌਫ਼౓ ৔߹ʹΑΓ • ϒϥοΫϘοΫε໰୊ • େن໛ܭࢉ • "*ྙཧશൠ • ௒େن໛ܭࢉ ࣌ظ ೥୅ ೥୅ d d d

機械学習の全体像 深層学習は機械学習の⼀種で、多層からなるニューラル・ネットワークのことで、第三次ブー ムを牽引してきました。その中の⼀つの⼿法であるトランスフォーマーをベースとし、基盤モ デルが発展しています。 教師なし学習 機械学習 強化学習 教師あり学習 データ分析 Neural Network ニューラル・ネットワーク K-means Gaussian mixture Market basket analysis Principal component analysis RBM Deep Belief Net Deep Auto encoder Regression MARS Decision trees Naïve Bayes SVM Perceptron Convolutional NN Recurrent NN Transformer Markov decision process Temporal difference Q-learning Sarsa Q-Network Deep Q-Network Agent 基盤モデル (FM: Foundation Model) ⼤規模⾔語モデル (LLM: Large Language Model) = 基礎的な知識を備えたAI (⼤量のデータをもとに、 マスクした情報を予測学習) ＝⼈の⾔葉を対象にした 基盤モデル 深層学習 (Deep Learning) ⽣成AI (ChatGPTなど) その他AI (分類、予測な ど) 微調整 (fine-tuning)

深層学習 (Deep Learning) によって変わったこと 深層学習により、従来必要であった特徴抽出の作業が⼤量のデータから⾃動で⾏われるように なりました。 ルールベース Input 決まったルール Output 従来の機械学習 Input 人の特徴抽出 Output 自動分類 深層学習 Input 自動特徴抽出 Output 自動分類 Cat Neuron or

基盤モデルによる開発の変化 2017年発表のTransformer以降、⼤量データから基礎知識を備えた基盤モデルを構築できる ようになりました。 追加の少量学習データにより、モデル⾃体を更新し、個別のアプリケーションを構築します。 巨⼤データで学習 （100億⽂程度） 少量データで追加学習（１千程度） 基盤モデルによるAI開発 従来の機械学習によるAI開発 基盤 モデル ⽤途毎にモデルを作成 １つの巨⼤な基盤モデルを作成し、 ⽤途別に少量のデータでカスタマイズ *Transformerのもとになった論⽂︓arXiv, Attention Is All You Need, https://arxiv.org/pdf/1706.03762, 2024/6/11

⼤規模モデルの最近の⽅向性 ドメイン特化 業界知識を理解 • 特定業界の専⾨⽤語や表現に精通し、 業界特有の知識や⽅はうを習得 • 業界固有タスクに⾼い性能を発揮する ⼀⽅、汎⽤モデルより⼩規模で軽量 • 業務⽬的を達成しつつ、導⼊コストや 推論コストを抑えられる可能性がある • ೖྗ಺༰ʹԠͯ͡ద੾ʹෳ਺ͷઐ໳ ՈϞδϡʔϧ͔Βબ୒ͯ͠ܭࢉ • େن໛ϞσϧͷܭࢉίετΛ཈͑ͳ ͕Βޮ཰తʹߴ͍ੑೳΛ࣮ݱ • ಉ͡ܭࢉϦιʔεͰΑΓେن໛ͳϞ σϧ΍σʔληοτ͕ѻ͑Δ .P& .JYUVSFPG&YQFSUT ࠞ߹ઐ໳ՈϞσϧ Code特化 ⾦融特化 医療特化 Expert 1 Expert 2 Expert 3 Expert N ・・・ Router Input Output • ⾃分が置かれた状況や条件に適応し ながら、⽬標を達成するために動く システム • LLMをベースにした特別な学習なく ⾼度で適応性の⾼い⾃律エージェン トに期待されている 例) AutoGPT ⾃律エージェント デジタルレイバー 出典︓arXiv, A Survey on Large Language Model based Autonomous Agents, https://arxiv.org/pdf/2308.11432, 2024/6/11 LLMによる⾃律エージェント

マルチモーダルAI テキストのみではなく、画像、⾳声、動画などの異なる情報を⼊出⼒するAI 画像⽣成AI 動画⽣成AI Sora 拡散モデルをベースにした画像⽣成AIが台頭 Prompt ふんわりした⼦猫 Prompt 茶⾊で⻑⽑に変更 2024年2⽉にOpenAIが動画⽣成AI Soraを発表 テキストでの指⽰に対して⾼画質な動画を⽣成 “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.” Prompt

⽣成AIとは サマリー • オリジナルのコンテンツを⽣成することができるAI • 深層学習によって⼤量のデータから特徴量を⾃動抽出して学習すること ができる。 • 従来のAI開発とは違い、ある程度学習された基盤モデルを利⽤すること で、開発効率が向上した。 • 近年ではドメイン特化・⾃律エージェント・MoE、マルチモーダルなど 様々な特徴をもつ⽣成AIが登場している。

Agenda 1. ⾃⼰紹介 2. キャリアについて 3. ⽣成AIとは 4. ⾦融業界における⽣成AI活⽤ユースケース 5. ⽣成AI活⽤を進めるために必要なIT開発

⽣成AI活⽤どれくらい進むと⾒込まれているのか︖ どの業界でも⾼い成⻑性が⾒込まれているが、⽴ち上がりが早いのは⾦融とヘルスケア 出所︓AI TAM research︔Statista︔専⾨家へのインタビュー︔ボストン コンサルティング グループ分析 https://ps.nikkei.com/bcg2309/1.html, 2024/6/11 ⽣成AIの2027年市場規模は1200億ドルへ

⾦融業界における⽣成AI活⽤ケース︓⾦融機関の活⽤割合 世界の⾦融機関のうち、78%が⽣成AIを1つ以上のユースケースにて戦略的に導⼊している。8%は、より 組織的で全社的なアプローチをとっている。 14% No immediate plans 78% tactical approach 8% systematic approach 86%の銀⾏が⽣成AIのユースケースを本番稼働中、または稼働準備中。 14%の銀⾏は当⾯、⽣成AIを取り⼊れる計画がないという回答。 78%の銀⾏は限定的なアプローチを取り、少数のユースケースや領域に取り組んでいる。 領域に⼤きな偏りは⾒られないが、リスクとコンプライアンス、そして顧客エンゲージメン ト領域に取り組む銀⾏が⽐較的多い。 8%は体系的なアプローチを取り、1つまたは複数のユースケースを通じてあらゆる領域 をカバーしている。具体的には、リスクとコンプライアンス、顧客エンゲージメント、 情報技術（IT）、その他のサポート機能である。そのうち60%の銀⾏は主に「その他の 先進国と新興国*」で事業を営む。 出典︓The Global Outlook for Banking and Financial Markets/IBM, 2024 ࠃࡍ௨՟جۚʢ*.'ʣͷఆٛ ʮओཁઌਐࠃͱ&6Ճໍࠃʯ͓Αͼʮͦͷଞͷઌਐࠃͱ৽ڵࠃʯ

⾦融業界における⽣成AI活⽤ケース︓活⽤ユースケース リスク&コンプライアンス、顧客エンゲージメント、IT開発領域への適⽤ユースケース事例が増えてきてい る。質問︓⽣成AIが貴⾏に最⼤の価値をもたらす銀⾏業務に順位をつけてください。 32% 26% 24% 18% 領域 リスク&コンプライアンス Risk and compliance 顧客エンゲージメント Client engagement IT開発 IT development その他サポート領域 Other support areas ユースケース • トランザクション・モニタリング • リスク・モデリング • フォーキャスティング • コンプライアンス・レポーティング • セキュリティー • デジタル・アシスタント (カスタマーサービス) • デジタル・アシスタント (ファイナンシャルアドバイザリー) • バーチャル・カスタマー・サービス • バーチャル・ファイナンシャル・アドバイザー • 開発ライフサイクル • レガシー・モダナイゼーション • テスト・バグ検出 • バーチャル⼈事 • デジタル・アシスタント (⼈事採⽤サービス) • デジタル・アシスタント (マーケティング) • 貸出・ローン • トレードファイナンス • デジタル・アシスタント (購買) • デジタル・アシスタント (ファイナンス・監査) 出典︓The Global Outlook for Banking and Financial Markets/IBM, 2024

4つの業務が「⽣成AIにより最⼤の価値をもたらす」に選択された理由 その他サポート領域 （18%） • オペレーション⾃動化と 従業員⽀援の双⽅に注⼒ することで、最終利益に 対する⼈件費の上昇をリ バランスするとともに、 従業員 1 ⼈当たりのビジ ネス価値を⾼めることが 必要 顧客エンゲージメント （26%) • デバイスの普及・インター ネットバンキングの拡⼤とと もに、顧客との接点がデジタ ルへ • LLM を利⽤したスムーズな デジタル会話は付加価値の⾼ い顧客関係を提供することが できる。 リスク＆コンプライ アンス（32%) • ⾦融ビジネスを⾏うには、 市場や経済の不確実性に 対応する必要がある。 • 実効的なリスク管理は基 本原則であり、着実な収 益は巧みなリスク管理に かかっている。 IT開発（24%） • IT 開発ライフサイクル は、⽣成 AI を直ちに応 ⽤できる領域 • 銀⾏システムのモダナ イゼーションに⽣成AI を活⽤できる 銀⾏ビジネスの変化とテクノロジーの進化により、⽣成AIが価値をもたらす領域と、その理由が明確に なってきたと⾔えます。 出典: The Global Outlook for Banking and Financial Markets/IBM, 2024

⾦融業界における⽣成AI活⽤ケース: 活⽤ユースケース 26% 24% 18% 領域 リスク&コンプライアンス Risk and compliance 顧客エンゲージメント Client engagement IT開発 IT development その他サポート領域 Other support areas ユースケース • トランザクション・モニタリング • リスク・モデリング • フォーキャスティング • コンプライアンス・レポーティング • セキュリティー • デジタル・アシスタント (カスタマーサービス) • デジタル・アシスタント (ファイナンシャルアドバイザリー) • バーチャル・カスタマー・サービス • バーチャル・ファイナンシャル・アドバイザー • 開発ライフサイクル • レガシー・モダナイゼーション • テスト・バグ検出 • バーチャル⼈事 • デジタル・アシスタント (⼈事採⽤サービス) • デジタル・アシスタント (マーケティング) • 貸出・ローン • トレードファイナンス • デジタル・アシスタント (購買) • デジタル・アシスタント (ファイナンス・監査) 出典: The Global Outlook for Banking and Financial Markets/IBM, 2024 32%

Control プロダクトマネジメントは、毎年、す べての顧客アカウントをレビューし、 提供されるサービスの更新または変更 による受託者責任への影響を評価し、 アカウントが管理⼿段の条件に従って 管理されているかどうかを判断します。 その結果は、受託者審査委員会(FRC) の会議で追跡され、議論されます。 Quality Analysis Verifications Control Type 5W Analysis リスク＆コンプライアンス︓コンプライアンス・レポーティング • グローバル⾦融機関の規制・ポリシー管理において、⽣成AIを活⽤するトライアルが始まっています。グ ローバル⾦融機関にとっては各地域での規制変更を確認し、⾃社のポリシー管理 (リスク・コントロール） とのマッピングに負荷がかかっている。この負荷を軽減するテクノロジーとして⽣成AI/⼤規模⾔語モデル を利⽤するというコンセプト。 ⽣成AIを通して対象の ⾏内規定(コントロール) を特定 • リスク管理部⾨ • コンプライアンス部⾨ • 法務部⾨ • 内部監査部⾨ 22 ⽣成AIが規制と コントロールの マッピングを 実施して提⽰ 3 4 1 ⽣成AI/LLMを⽤いて 規制変更ポイントをサマリー Audit, boarddirectors Section Key Words Annual Frequency 重要な受託者活動の年 次監査 Theme Analytical Reviews Control Type Analytical Reviews Product Classification Section Content (a) 国⽴銀⾏は、各暦年に少なく とも⼀度、その信託監査委員 会の指導の下、すべての重要 な信託活動について適切な監 査（内部監査または外部監 査）を⾏うよう⼿配しなけれ ばなりません。ただし、この 節の(b)項に従って継続的な監 査システムを採⽤する場合は その限りではありません。銀 ⾏は、監査の結果（監査の結 果として取られた重要な⾏動 を含む）を取締役会の議事録 に記載しなければなりません。 ⽣成AI/LLMを⽤いて (Obligation) 責務を特定 2 Section OCC* Title 12 Part 9 Regulation Citation 信託業務に関する監査 リスク&コンプライアンス 出典︓IBM海外事例 © 2024 IBM Corporation *OCC規制︓通貨監督庁（OCC:the Office of the Comptroller of the Currency,）が、総資産額が 500 億 ドルを超える銀⾏を主たる対象 とするリスク管理に関す るガイドライン（OCC Guidelines）

⾦融業界における⽣成AI活⽤ケース: 活⽤ユースケース 26% 24% 18% 領域 リスク&コンプライアンス Risk and compliance 顧客エンゲージメント Client engagement IT開発 IT development その他サポート領域 Other support areas ユースケース • トランザクション・モニタリング • リスク・モデリング • フォーキャスティング • コンプライアンス・レポーティング • セキュリティー • デジタル・アシスタント (カスタマーサービス) • デジタル・アシスタント (ファイナンシャルアドバイザリー) • バーチャル・カスタマー・サービス • バーチャル・ファイナンシャル・アドバイザー • 開発ライフサイクル • レガシー・モダナイゼーション • テスト・バグ検出 • バーチャル⼈事 • デジタル・アシスタント (⼈事採⽤サービス) • デジタル・アシスタント (マーケティング) • 貸出・ローン • トレードファイナンス • デジタル・アシスタント (購買) • デジタル・アシスタント (ファイナンス・監査) 出典: The Global Outlook for Banking and Financial Markets/IBM, 2024 32%

顧客エンゲージメント︓グローバル事例の動向 • ⽶国にて、今年顧客向けサービスにおける⽣成AI活⽤が始まっている傾向にある。 （⼀部のネオバンクや地⽅銀⾏など） 顧客エンゲージメント – 残⾼の確認はもとより、Zelleで他の銀⾏にリ アルタイム送⾦する作業もチャットから離れる ことなく⾏うことかできる – 「先⽉の⽔道代」といった⽀出に関する検索や、 「今⽉の⽀出の 内訳」といった個⼈資産管理 機能もチャットだけで⾏うことができる – さらに、銀⾏機能だけでなく、ジョークを⾔わ せることもできる （ハルシネーションがない か⼈⼿でモニタリング） – なお、銀⾏業務とは全く関係のない質問、例え は「電話が発明されたのはいつですか?」と いった質問には「わかりません」となる。 （ガードレール機能を実装） 本格的に顧客接点に⽣成AIを利⽤するための、 体系的で堅固な仕組みが必要とされている。 ग़యɿ΢ΠʔΫϦʔ άϩʔόϧ ϦαʔνʢάϩʔόϧϦαʔνݚڀॴ ʣ2024೥2݄16೔ 2024-07߸

⾦融業界における⽣成AI活⽤ケース: 活⽤ユースケース 26% 24% 18% 領域 リスク&コンプライアンス Risk and compliance 顧客エンゲージメント Client engagement IT開発 IT development その他サポート領域 Other support areas ユースケース • トランザクション・モニタリング • リスク・モデリング • フォーキャスティング • コンプライアンス・レポーティング • セキュリティー • デジタル・アシスタント (カスタマーサービス) • デジタル・アシスタント (ファイナンシャルアドバイザリー) • バーチャル・カスタマー・サービス • バーチャル・ファイナンシャル・アドバイザー • 開発ライフサイクル • レガシー・モダナイゼーション • テスト・バグ検出 • バーチャル⼈事 • デジタル・アシスタント (⼈事採⽤サービス) • デジタル・アシスタント (マーケティング) • 貸出・ローン • トレードファイナンス • デジタル・アシスタント (購買) • デジタル・アシスタント (ファイナンス・監査) 出典: The Global Outlook for Banking and Financial Markets/IBM, 2024 32%

AIを活⽤しITのスピード向上や品質向上を実現する5つのソリューションがあります。 コード⽣成 のための AI AI for Code テスト⾃動化 のための AI AI for Testing IT運⽤⾼度化 のための AI AI for ITOps プロジェクト管理のための AI AI for PMO AI戦略策定と ガバナンス AI Strategy & Governance IT変⾰のためのAIソリューション AI for PMO AIでPMO/プロジェク トマネジメントの作業 を⽀援し、プロジェク ト品質確保に貢献 AI for ITOps ⽣成AIを活⽤しインシ デント管理や原因や解 決策候補の提⽰などIT 運⽤⾼度化を実現 AI for Testing 従来のテスト⾃動化の 仕組みに⽣成AIを組み 込み、更なるテスト効 率化を実現 AI for Code ⽣成AIと様々なテクノ ロジーを融合・最適化 し、コード⽣成を実現 AI Strategy & Governance ITライフサイクルにお ける⽣成AI活⽤の戦略 策定とガバナンス IT開発 26

⾦融業界における⽣成AI活⽤ケース: 活⽤ユースケース 26% 24% 18% 領域 リスク&コンプライアンス Risk and compliance 顧客エンゲージメント Client engagement IT開発 IT development その他サポート領域 Other support areas ユースケース • トランザクション・モニタリング • リスク・モデリング • フォーキャスティング • コンプライアンス・レポーティング • セキュリティー • デジタル・アシスタント (カスタマーサービス) • デジタル・アシスタント (ファイナンシャルアドバイザリー) • バーチャル・カスタマー・サービス • バーチャル・ファイナンシャル・アドバイザー • 開発ライフサイクル • レガシー・モダナイゼーション • テスト・バグ検出 • バーチャル⼈事 • デジタル・アシスタント (⼈事採⽤サービス) • デジタル・アシスタント (マーケティング) • 貸出・ローン • トレードファイナンス • デジタル・アシスタント (購買) • デジタル・アシスタント (ファイナンス・監査) 出典: The Global Outlook for Banking and Financial Markets/IBM, 2024 32%

保険業界におけるデジタル従業員の事例 その他のサポート領域 デジタル従業員は、最新のAI技術を活⽤し、従業員と会話しながら、業務の⽬的に応じて多様なツールか ら最適なものを選択し、従業員の代わりに業務を⾃動的に実⾏します。 •標準的な保険商品や事務⼿続きに加え、個社に特化した情報も⼈に代わって機械学習できる •優れた営業プロセスをモデル化した上でサジェストし、ユーザーの⾏動変容を促すことができる •短期記憶により直前の指⽰を踏まえて、ユーザーの性格など個⼈の特性にあわせたサジェスチョンができ る

⾦融業界における⽣成AI活⽤ユースケース サマリー • ⽣成AI活⽤の⽴ち上がりとしては⾦融・ヘルスケアが先⾏している。 • 特に、リスク&コンプライアンス、顧客エンゲージメント、IT開発領域 への適⽤などのユースケース事例が増えてきている。 • また、その他サポート領域として、デジタルアシスタントのようなユー スケースも登場している。

Agenda 1. ⾃⼰紹介 2. キャリアについて 3. ⽣成AIとは 4. ⾦融業界における⽣成AI活⽤ユースケース 5. ⽣成AI活⽤を進めるために必要なIT開発

従来の開発とAI開発の違い 従来のソフトウェア開発とAI開発には違いがあり、それぞれの特徴を理解した上で開発プロジェクトを進め る必要があります。 従来のソフトウェア開発 AI開発 ⼈間があらかじめ設定したルールに沿う 演繹的アプローチ データから特徴や関連性を学習で⾒つけ出す 帰納的アプローチ ルールに沿って動作し、出⼒や挙動は予測可能 出⼒・挙動は予測不可能で常に同じとは限らない 学習データに起因するリスクもあり

基盤モデル時代のビジネスのためのAI活⽤全体感 データセット 元データ 元データ 元データ データ前処理 分 類 整 理 差 別 表 現 排 除 バ イ ア ス 排 除 冗 ⻑ 削 除 検証済 データセット 学習 学習済モデル ア ル ゴ リ ズ ム 設 定 ア ル ゴ リ ズ ム 実 ⾏ パ ラ メ > タ 更 新 アルゴリズム 学習済パラメータ 結 果 の 精 度 ⽐ 較 推論 学習済モデル アルゴリズム 学習済パラメータ ⼊⼒・指⽰ 出⼒結果 ⼈間 システム AI ⼈間 システム AI 学習フェーズ 実⾏フェーズ 最適化 モニタリング モデル選択 ج൫ϞσϧΛར༻͢Δ৔߹͸جຊతʹඞཁͳ͠

各タスクでの考慮点と主な選択肢 Ϟσϧબ୒ ࠷దԽ • 業務に必要なタスクでの学習度合い • 業務に必要な⽤語・⾔語の学習度合い • モデルサイズ と ⼊⼒⻑制限 • 学習データの出⾃やソースコードのオープン度合い • モデルの処理速度・レンテインシー • データセキュリティ（データ保護規則の適合性） • カスタマイズ性と使い勝⼿ • モデルが扱うべき対象タスクの幅と精度の⾼さ • ドメイン知識や語彙補強の必要性 • パフォーマンスと応答速度 • 必要な⼊⼒がコンテキストサイズに収まるか • トータルコストの最適化 (学習コスト + 推論コスト) • 適切な量のチューニング⽤教師ありデータ準備 • フェーズ/業務/タスクにあった最適化⼿法選択 考慮点 ग़య: youtube, OpenAI - A Survey of Techniques for Maximizing LLM Performance, https://www.youtube.com/watch?v=ahnGLM-RC1Y, (2024/6/11) モデル⾃体への最適化の必要性 外部知識の必要性 RAG Hybrid (RAG + Fine Tuning) Prompt Engineering Fine Tuning 低 ⾼ ⾼ 低

モデルの選択と⽅針 企業内で活⽤する基盤モデルでは、ROIを考慮の上適切なモデルを選択して活⽤する必要があります。 ジェネラリストAI スペシャリストAI コスト (開発・実⾏・チューニング) 汎⽤⽤途に対応 特徴 • 特定の分野の中から答えを出す • 守備範囲は狭いが間違いが少ない • 開発/実⾏コストが低い • ⽐較的安定した応答 活⽤領域 • 差別化すべきビジネス機能の価値 向上 • 企業システムへの埋め込み • ⾼トランザクション 扱うデータの種類 (モダリティ) ブラックボックス度 特徴 • 広範な情報の中から答えを出す • 守備範囲は広いが間違いが多い • 開発/実⾏コストが⾼い • 同じ問いでも応答が異なる 活⽤領域 • ホワイトワーカーの効率化 • アイデア創出 • PoCによるユースケース探索 • 低トランザクション

モデルの学習⼿法 * Parameter Efficient Fine-Tuning(PEFT): 部分的なパラメータだけを効率的にファインチューニングする⼿法(LoRA、Prompt Tuning など) 様々なモデルの学習⽅法があり、データ量やコスト、要件によって最適な⼿法を選択する必要があります。 ϞσϧΛมߋ͠ͳֶ͍श ϞσϧΛมߋ͢Δֶश ϓϩϯϓτɾΤϯδχΞϦϯά ϓϩϯϓτɾνϡʔχϯά ϑΝΠϯɾνϡʔχϯά େن໛ݴޠϞσϧ ϓϩϯϓτ σʔλ σʔλ Ұ࣌తʹֶश େن໛ݴޠϞσϧ ֶश ޮՌ͸Ӭଓత σʔλ ֶशσʔλ ϓϩϯϓτ ֶशͨ͠಺༰ Λ௥Ճ͞Εͨ ϓϩϯϓτ ༩͑Δσʔλͷ਺ʹΑ Γɺ0OFTIPUMFBSOJOH΍ 'FXTIPU-FBSOJOHͱݺ ͹ΕΔɻ େن໛ݴޠϞσϧ ࠶ֶश ޮՌ͸Ӭଓత σʔλ ֶशσʔλ σʔλ

RAG (Retrieval Augmented Generation) 外部の知識ベースから事実を検索して、最新の正確な情報に基づいて⼤規模⾔語モデル（LLM）に回答を⽣成させ ることで、 ユーザーの洞察をLLMの⽣成プロセスに組み込むフレームワーク 質疑応答を利⽤した情報検索のアーキテクチャ図 質問 LLM チャットアプリ 質問 類似検索 [ ] 質問 関連 テキスト ベクターストア 回答 社内ドキュメント [ ] 最新の情報や社内情報などLLM外の知識を補完 ユーザー 意図 外部関連 データ LLM 知識 RAG • 知識を外部の検索機能(ベクトル検索など)に頼ることで、 最新の情報や情報源を意識しながらの⽣成が可能 • LLMの汎⽤性を維持しつつ、 特定のドメインや企業固有の知識を反映した回答ができるようになる プロンプトとして⼊⼒ 最新情報や ドメイン知識 ユーザーの質問 学習時点の ⼤量知識

実装フェーズによる基盤モデルの使い分け ⼩さな⼯数で ユースケースを試⾏錯誤 限られた⼯数で PoC期間に実業務で検証 実業務でのROI最⼤化 ⽬的 モデル 推論コスト ¥¥¥¥¥ ¥¥¥ ¥ チューニング 現状、基盤モデルのスイッチングコストは⾼くなく、フェーズによる使い分けを推奨しています。 データ量 ⼤規模なモデル 中規模なモデル ⼩規模なモデル 可能な限りしない プロンプトチューニング OR ファインチューニング ファインチューニング 少数 数百 数千 1 初期PoC 2 パイロット展開 3 本格展開 (モデル精度の測定⽤) (チューニング⽤) (チューニング⽤)

⽣成AI活⽤を進めるために必要なIT開発 サマリー • ⽣成AIを使ったIT開発は従来のIT開発とは違うアプローチになる • 主にモデル選択・最適化の2つを意識する必要がある。 • ユースケースやコストといった要件に合わせてモデルを選択する。 • また基盤モデルは⼀般的な知識のみ保有しているケースが多いため、専 ⾨的な知識が必要な場合は追加学習（ファインチューニングなど）や RAGといったアーキテクチャで補う必要がある。 • 実装フェーズによってモデル選択・最適化を使い分ける必要がある。

まとめ ⽣成AIの 技術 IT開発の 進め⽅ ⾦融業界の ドメイン知識 ⽣成AIを活⽤した 新たなサービスの創出・本番実装へ • ⽣成AIの技術は凄まじいスピードで進化しており、今⽇の話も現時点のスナップショットにすぎません。 • また、ビジネスへの適⽤を検討する上で、⽣成AIの技術を知るだけではなく、ドメイン知識を理解した 上でIT開発としてどのように進めるかを考慮する必要があります。

40 © 2024 IBM Corporation ありがとうございました。