クラウド活用で生成AIを業務に取り入れる方法 NCDC Online Seminar NCDC株式会社 2024 / 05 / 29

2 茨木 啓太 エンジニアリングマネージャー ( EM ) AWS Certified Solutions Architect – Professional AWS Certified DevOps Engineer – Professional Google Certified Professional - Cloud Architect NCDCにて、システムのインフラ構築からWebサー ビスのバックエンド開発・モバイルアプリ開発まで、 幅広い領域での開発を担当 複数のプロジェクトで、AWSをはじめとしたクラウド を活用したモダンなアプリの設計・開発や、 DevOpsやCI/CDの構築・運用の実績を持つ

NCDCのご紹介

私たちにできること① l デジタルビジネスに必要な要素にフォーカスし、⼀元的に提供しています。 l スモールスタートでの検証から、本開発・継続的な改善までサポートします。 4 ワークショップを中⼼とし た合理的なプロセスで、ビ ジネスモデルの検討からUX デザインまで、迅速に⾏い ます。 関係者が多数いる場合の組 織横断、会社横断のファシ リテーションも得意です。 新規性の⾼いプロジェクト ではMVP（Minimum Viable Product）を⽤いた検証を⾏ うなど、⽬的に応じて段階 的な開発を企画します。 早い段階でモックやプロト タイプを⽤意してユーザの 評価を確認します。 ユーザとのタッチポイントとなる各種デバ イスのフロントエンドデザインから、クラ ウドサービスを駆使したバックエンドの開 発まで。多様なテクノロジーをインテグ レーションします。 l AI / IoT l モバイル・ウェブ アプリ開発 l クラウドインテグレーション l システムアーキテクチャコンサルティング など 企画 検証 開発・運⽤ ユーザ視点を⼤切にした アイデア・企画 モックやプロトタイプ の開発・検証 システム・アプリ開発 継続的な改善

私たちにできること② l 社内に最適な組織がない場合の組織づくりや、⼈材育成、エンジニアによる技術移管。そし てマーケティング等の⽀援まで、幅広くお客様をサポートします。 5 企画 検証 開発・運⽤ ユーザ視点を⼤切にした アイデア・企画 モックやプロトタイプ の開発・検証 システム・アプリ開発 継続的な改善 DX推進やデジタルビジネスの創出時に求められるプロセスを多⾯的にサポート マーケティング ブランディング 実現した新規サービスの認知 拡⼤や販売の⽀援例 DXやデジタルビジネスの創出 を内製化していきたいお客様 への⽀援例 DX戦略⽴案 ⼈材採⽤・育成 スキルトランスファー DX組織構築⽀援 アジャイル導⼊⽀援 内製化チームの構築

6 Business 新規事業⽴ち上げからの伴⾛ 業務改⾰やIT改⾰の⽀援 Design ユーザ視点での設計 Technology 技術による課題解決 Innovation • 新規サービス企画 • PoC⽀援 • デザイン思考 • UX/UIデザイン • モバイル・Web先端技術 • IoT / AI • クラウドインテグレーション

はじめに

はじめに l 本セミナーは、以下のような方向けに話します l 生成AIに関する、基本的な知識を身につけたい方 l 生成AIの業務利用に課題を感じている方 l 「RAG」を構築を考えている方 l 以下のような内容には、本セミナーでは踏み込みません l 生成AIモデルを自分でチューニングしたり作成する方法 l 画像生成AIなど、文字以外を出力する生成AIの活用 8

世界での生成AIの盛り上がり l 4/9〜11にGoogle Cloud Next’24 (in Las Vegas)に行ってきました l Google Cloud全般のイベントですが、今年はほぼ全てが生成AIでした 9

日本の生成AIの活用状況について l PwCの調査によると、日本は他の国よりも生成AIの活用が進んでいる l 一方で、生成AIに対するリスクも強く感じている 10 リスクを抑えつつ、業務に活かしていく事が必要 グラフはPwC「第27回CEO意識調査 生 成AI日本分析版」(2024/03/19)より引用 https://www.pwc.com/jp/ja/knowledge /thoughtleadership/ceo-survey- generative-ai-2024.html

生成AIの分類

生成AIの種類 l 「生成AI」といっても様々な種類がありますが、本セミナーでは主に 「言語モデル」について話します。 l 主な生成AIの種類 l 言語モデル l GPT、Gemini、Claude、など l 画像生成モデル l DALL-E、 Midjourney、など l 動画生成モデル l グラフ生成モデル 12 本セミナーの対象 このページの作成時に生成AI (Claude3 Opus)を使用しています

生成AIをユースケースで分類 l 生成AIを業務で使用する場合のユースケースで分けると 次のような分類が考えられます。 l パブリックな生成AIサービスの利用 l 「生成AIをサービスとして利用」するケース l 例えば、ブラウザでChatGPTとチャットする l プライベートな生成AIの活用 l 「事前学習済みモデルを利用」するケース l 例えば、 AWS上にBedrockを使ってRAGを構築する l 「生成AIモデルを自分で作成」するケース l 例えば、SageMakerを使ってAWS上にAIモデルを作る 13 本セミナーの対象

(参考)AWSブログ「生成 AI をセキュアにする」シリーズ l AWSのブログ記事では、より詳しくの生成AI活用の 分類とセキュリティについて述べられています。 l https://aws.amazon.com/jp/blogs/news/securing- generative-ai-an-introduction-to-the-generative-ai- security-scoping-matrix/ 14

パブリックな生成AIの活用

パブリックな生成AIとは？ l 生成AIをサービスとして利用すること l 例えば、、、 l ブラウザでChatGPTとチャットする l GoogleのGeminiを使って、過去のGmailでのやり取りを確認する 16

よく使われるパブリックな生成AIのサービス l よく使われる生成AIサービス l ChatGPT (OpenAI) l https://chatgpt.com/ l Gemini (Google) l https://gemini.google.com/ l Claude (Anthropic) l https://claude.ai/ 17

パブリックな生成AIのメリット / デメリット • 誰でも気軽に使える • 無料または価格が安い • サービスが自動でアップデートされる • 幅広い分野の学習がされている メリット • 入力したデータをAIプロバイダーに利用されてしまう • ユーザー独自のカスタマイズはできない • 呼び出し回数制限などの制約がある場合もある デメリット 18 このページの作成時に生成AI (Claude3 Opus)を使用しています

パブリックな生成AIとセキュリティ 「入力したデータを利用されてしまう」というデメリットがある 業務観点での単純な回避策は「業務利用の禁止」ですが、、 「誰でも気軽に使える」性質上、単純に禁止しても 社員は勝手に使用する 会社としては、規定を決めてコントロールできる範囲で 社員に利用してもらう必要がある 19 生成AIの業務利用を積極的にしない場合でも、 生成AIの利用規約を定めておかないと、 思わぬ損害が発生する可能性がある

会社として決めるべきこと l 以下のような内容を規約に盛り込むとよい l どの生成AIサービスを使ってもよいか l 各サービスの利用規約を読むこと l 業務情報（特に個人情報）を入力しないこと l 著作権の問題はないかを確認する l 結果に誤りがないかの確認をする l 自社のガイドラインを公開している会社もあるので参考にするのもあり l 例えばGoogleで検索すると探すことができます l 「生成AI 利用 ガイドライン」 l 生成AIに案を出してもらうのもあり l 「自社の社員向けの生成AI利用ガイドラインの案を考えてください」 20 このページの作成時に生成AI(GPT-4o)を使用しています

(参考)生成AIに考えてもらった「生成AI利用ガイドライン」 21 【会社名】生成AI利用ガイドライン（案） 目的 本ガイドラインは、当社における生成AI（Generative AI）の利用に関する基本的なルールを定めることにより、生成AIの適切かつ効果的な活用を促進し、業務効率の向上、創造性の促進、およびリスクの 低減を図ることを目的とします。 適用範囲 本ガイドラインは、当社役員、社員（正社員、契約社員、派遣社員、パートタイマー、アルバイト等を含む）、およびその他関係者（インターン、業務委託先等）が業務において生成AIを利用する場合に適用 されます。 生成AIの定義 本ガイドラインにおける生成AIとは、テキスト、画像、音声、プログラムコード等のデータを生成するAI技術を指します。 基本原則 1.倫理的利用: 生成AIを利用する際は、法令、社会規範、社内規程等を遵守し、倫理的かつ責任ある行動を取ること。 2.情報セキュリティ: 生成AIに機密情報、個人情報、顧客情報等を入力しないこと。また、生成AIの出力結果を適切に管理し、情報漏洩のリスクを低減すること。 3.著作権尊重: 生成AIの出力結果が既存の著作物と類似していないか確認し、著作権侵害とならないよう注意すること。 4.正確性確認: 生成AIの出力結果は必ずしも正確ではないことを認識し、必要に応じて事実確認や裏付けを取ること。 5.継続的学習: 生成AIの技術は日々進化しているため、常に最新の情報に注意し、適切な利用方法を学習すること。 利用における注意点 1.利用目的の明確化: 生成AIを利用する前に、利用目的を明確にし、適切なツールを選択すること。 2.入力データの選定: 生成AIに入力するデータは、信頼性が高く、偏りのないものを選択すること。 3.出力結果の評価: 生成AIの出力結果は、客観的な視点で評価し、必要に応じて修正や改善を行うこと。 4.フィードバック: 生成AIの利用経験や問題点等を共有し、改善に繋げること。 禁止事項 1.違法行為: 生成AIを利用して、違法行為、差別的発言、誹謗中傷等を行うこと。 2.不適切な情報生成: 生成AIを利用して、わいせつ物、暴力的な表現、虚偽情報等を生成すること。 3.無断利用: 生成AIを業務目的以外に利用したり、他者に無断で利用させたりすること。 違反時の対応 本ガイドラインに違反した場合、就業規則等に基づき、懲戒処分等の対象となる場合があります。 ガイドラインの見直し 本ガイドラインは、必要に応じて定期的に見直しを行い、最新の情報に合わせて改訂します。 問い合わせ窓口 本ガイドラインに関する問い合わせは、[問い合わせ窓口部署名]までご連絡ください。 附則 本ガイドラインは、[施行日]から施行します。 免責事項: 本ガイドラインは、生成AI利用に関する一般的な指針を示すものであり、全ての状況に対応するものではありません。利用者は、自身の判断と責任において生成AIを利用するものとします。 参考資料: •一般社団法人日本ディープラーニング協会 (JDLA): 生成AIの利用ガイドライン •総務省: AI利活用ガイドブック このページは生成AI (Gemini 1.5 Pro)の出力をそのまま使用しています

パブリックな生成AIの業務活用例 l 情報収集・整理 l 文献レビュー: 論文やレポートの要約・重要ポイント抽出 l 市場調査: Web上の情報収集、市場トレンド・競合分析 l 文章作成・編集 l プレゼン資料作成: スライド構成・内容提案、作成効率化 l 校正・推敲: 誤字脱字指摘、表現改善、文章の質向上 l アイデア出し・企画立案 l ブレインストーミング: 新商品・サービスのアイデア出し l マーケティング企画: ターゲット層・プロモーション戦略立案 l コンテンツ企画: ブログ記事・SNS投稿のテーマ・構成提案 l その他 l プログラミング: コード生成、デバッグ、ドキュメント作成 l カスタマーサポート: FAQ作成、チャットボット、多言語対応 l 翻訳、データ分析、教育・研修支援など 22 このページは、生成AI (Gemini 1.5 Pro)が案出しをしたものを 生成AI (Claude 3)がまとめることで作成しました

プライベートな生成AIの活用

プライベートな生成AIとクラウドの活用 l 事前学習済みモデルを利用 l クラウド(AWS, Google Cloud, Azure)が提供する隔離された環境で利用 l 事前に学習済みのモデルを使用するので、モデルのカスタマイズは不要 l 容易に導入が可能で、スケーラビリティも高い l 生成AIモデルを自分で作成 l ニーズにあわせて最適化が可能 l 導入のハードルが高い l 導入までに時間とコストがかかる l 高度な専門技術が必要 l 継続的なメンテナンスも必要 24 比較的容易に使える事前学習済みモデル の業務に活用を考える このページの作成時に生成AI(GPT-4o)を使用しています。

各クラウド上でよく使われる生成AIモデル l よく利用される生成AIモデルと、各クラウドのサービス l GPT-4 l Azure ( Azure AI services ) l Gemini 1.5 Pro l Google Cloud ( Vertex AI ) l Claude 3 Opus、 Claude 3 Sonnet、 Claude 3 Haiku l AWS ( Amazon Bedrock ) l Google Cloud ( Vertex AI ) l 使用するモデル自体はパブリックな生成AIと大きな違いはありませんが、 クラウド上の閉じた空間で使用できるためセキュリティ面のメリットがある l 使用するクラウドや生成AIモデルは、自社の他のアプリとの連携や各クラウドの ユースケースから総合的に判断して使用する選定するのが良い l 単純なモデルの知名度や性能よりも、どう使うかを考えるのが重要 25

クラウドで事前学習済みモデルを使うメリット / デメリット • 導入が容易 • データのセキュリティとプライバシーが確保できる • 大規模なデータを学習済みの為、性能が高い • 提供者が継続的に改良・更新をしてくれる • 利用した分だけ課金されるので、コスト効率が良い メリット • モデルのカスタマイズができない • サービスの停止や変更の影響を受ける • 利用量に応じた課金のため、費用が予測困難 デメリット 26 「モデルのカスタマイズなし」でも 独自のデータを扱いたい！ RAG と呼ばれる手法を使う このページの作成時に生成AI(Claude3 Opus)を使用しています。

クラウドを活用したRAGの構築

RAG (Retrieval Augmented Generation /検索拡張生成) とは？ l RAGは、次の2ステップで構成される生成AIを活用したアプリケーション l Retrieval (検索) l 入力された問い合わせに関する情報を「独自のデータ」から検索・取得する l Augmented Generation (拡張生成) l 検索で得られた情報を利用して、生成AIが回答を生成する 28

l RAGの処理をフローにすると下図のようになる RAGの処理フロー 29 1. 独自データを検索する 2. 検索した独自データを使って、 生成AIに答えを考えてもらう

クラウドを活用したRAGの構成の例 l 例えば、AWS上で以下のような構成で、 Slackと連携するRAGを構成することができる 30

RAGで使用するCloudサービスの例 l 前ページのRAGの例で使用したAWSのサービス l アプリケーション l AWS Lambda ( Pythonでコードを書くことが多い ) l 独自のデータを検索 l Amazon Kendra l 生成AI l Amazon Bedrock l AzureやGoogle Cloudでも、同等のサービスを使うことでRAGを構築する ことができます。 31

(参考)複数のクラウドを組み合わせたRAGも考えられる l 下図のように、AWS上のKendraと、Azure上のOpenAIを組み合わせた 構成も可能 32

(参考)RAGアプリの動作サンプル l 以下は、Slackと連携するNCDCの就業規則をソースとしたRAGの例です 33

RAGのアプリケーション構築時の注意点と、今後の発展

注意点1. 検索部分の値段は結構お高い l RAGは独自のデータの「検索」と、「生成AI」を 組み合わせたアプリケーション l 精度を上げるには、生成AIモデルの性能以上に「検索」結果が重要 l しかし、高度なチューニングなしで精度を出せる検索サービスは、 お値段が高い l 例えば、Amazon Kendraは従量課金ではありますが、 1ヶ月使用すれば最低でも 12万円/月 程度は必要になります。(2024/05時点) l (参考) NCDCテスト環境でのRAGアプリの先週1週間のインフラコスト l Kendra (検索) : 約3万円 l Bedrock (生成AI) : 約100円 l Lambda (アプリ本体) : 約3円 l 他のサービスやクラウドも多少の差はありますが、検索部分は高いです 35 価格に見合った価値を得られるかの検討も必要

注意点2. 精度が高いRAGを作ったとしても、使いにくければユーザーは使わない l RAGは現時点では業務に必須なものではなく、便利なツールにすぎない l 精度が高いRAGを作ったとしても、アプリとして使いにくければ ユーザーは使ってくれない l 例えば、業務フローを意識せずに新規にRAGのwebページを作っても、 わざわざアクセスして使ってくれるのは、モノ好きな人しかいない 36 一般的な業務アプリと同様に、 ユースケースの設計やUX / UI が重要

注意点3. 精度向上のためには細かいカスタマイズが必要 l RAG自体はアプリケーションの仕組みは単純ですが、 実際に業務で使えるレベルを目指すなら細かいチューニングが必要 l いわゆる「プロンプトエンジニアリング」が必要 37 ユーザーの入力から、適切な検索結果を得られるように 検索ワードをカスタマイズする AIが最適な回答をしてくれるように 質問文をカスタイマイズする ユーザーにとって分かりやすいように 回答をカスタイマイズする

今後のRAGアプリ : 生成AIエージェントの活用 l エージェントとは？ l 生成AIを用いた自律的に動作するアプリケーション l 与えられたタスクを理解し、自らの知識と判断で、行動する l RAGに対するエージェントの活用 l 「プロンプトエンジニアリング」自体をエージェントに任せることで 構築が容易になり、精度向上も期待できる l エージェントを使ったRAGの構築の例 l AWSの最新機能である 「Agents for Amazon Bedrock」 の活用で構築の省力化も可能 38

生成AI活用に関するその他の注意点

海外リージョン利用の注意点 l 利用したいAIのモデルが海外リージョンの場合は、データの扱いに特に注意が 必要です l 生成AIの最新モデルがリリースされるアメリカでの利用時に、注意すべき法律 を生成AIに聞いてみました l 外為法 l 日本の国家機密や軍事用途に転用可能な技術情報 l 経済産業省の規制リスト（キャッチオール規制）に該当する技術やデータ l 機密情報 l 個人情報保護法 / APPI l 個人情報 l HIPAA l 医療データ l GLBA l 金融データ 40 判断がつかない場合は専門家への確認が必要です。 不安がある場合は、日本国内のリージョンで 提供されるサービスを使うのが無難です。 このページの作成時に生成AI(GPT-4o)を使用しています。

日本国内リージョンで使える生成AIのモデル l 日本のリージョンで使用できる、比較的新しい主要なモデルとしては、 以下があります。 l Google Cloud l Gemini 1.5 Pro l Azure l GPT-4 l AWS l Claude 2 ※ 1世代古いです l 特にGoogleは日本で最新モデルを使えるようにしてくれるので、 国内の縛りがあるなら個人的にはおすすめです。 41

まとめ

本日のまとめ l 生成AIをユースケースで分類すると「パブリックな生成AIサービスの利用」と「プライ ベートな生成AIの活用」に分けられる。 l パブリックな生成AIは手軽に利用できるが、入力データをAIプロバイダーに利用され る可能性がある。 l 生成AIを積極的に活用しない場合でも、会社を守るために生成AIの利用規約を定めたほう がよい。 l プライベートな生成AIの活用方法方法として、クラウドを活用したRAG(Retrieval Augmented Generation)が挙げられる。 l RAGとは、生成AIを活用して独自のデータを検索し回答を生成する手法。 l RAG構築時の注意点として、検索部分のコストが高いこと、UI/UXの重要性、プロンプトエ ンジニアリングの必要性がある。 l 今後のRAGアプリは、生成AIエージェントを活用することで、構築が容易になり、精度向上 も期待できる。 l 海外リージョンを利用するときは、特にセキュリティの注意が必要。 l 生成AIは、業務効率の向上や新たな価値創造に貢献できる可能性があるが、メリッ トとデメリット、セキュリティリスクを理解した上で活用することが重要。 43 このページはGoogle Cloud上の生成AI(Gemini 1.5 Pro)を使用して資料を要約することで作成しました。

最後に 44 l NCDCなら、システムの開発だけでなく、ユーザー視点での企画、プロトタイプの検証、 継続的な改善まで、⼀元的なサポートが可能です。 ワークショップを中⼼とし た合理的なプロセスで、ビ ジネスモデルの検討からUX デザインまで、迅速に⾏い ます。 関係者が多数いる場合の組 織横断、会社横断のファシ リテーションも得意です。 新規性の⾼いプロジェクト ではMVP（Minimum Viable Product）を⽤いた検証を⾏ うなど、⽬的に応じて段階 的な開発を企画します。 早い段階でモックやプロト タイプを⽤意してユーザの 評価を確認します。 ユーザとのタッチポイントとなる各種デバ イスのフロントエンドデザインから、クラ ウドサービスを駆使したバックエンドの開 発まで。多様なテクノロジーをインテグ レーションします。 l AI / IoT l モバイル・ウェブ アプリ開発 l クラウドインテグレーション l システムアーキテクチャコンサルティング など 企画 検証 開発・運⽤ ユーザ視点を⼤切にした アイデア・企画 モックやプロトタイプ の開発・検証 システム・アプリ開発 継続的な改善

No content