「AI-Starter」と「らくらくRAG導入パック」で始める生成AI利活用 / Introducing Generative AI Solutions

2024/06/28「DevelopersIO 2024 福岡」で発表した資料です

解説ブログ記事はこちら
https://dev.classmethod.jp/articles/developersio-2024-fukuoka-generative-ai-aoyagi/

Transcript

1. 「AI-Starter」と 「らくらくRAG導⼊パック」 で始める⽣成AI利活⽤ 2024.6.28 AWS事業本部 コンサルティング部 ⻘柳 英明
2. ⾃⼰紹介 2 青柳 英明 AWS事業本部 コンサルティング部 ソリューションアーキテクト オンプレインフラエンジニア歴： 20年 2019～ クラスメソッド 2019 AWS Samurai (JAWS-UG福岡支部) 2021 APN AWS Top Engineer 2024 Japan AWS All Certifications Engineer
3. ⽣成 AI の基礎知識 3
4. ⽣成 AI とは 従来からある「機械学習」の応⽤の⼀つ (Machine Learning : ML) 従来の機械学習： 画像認識や分析‧予測などに使われることが多かった ⽣成 AI： ⽂章や画像などを作り出すことができる 4
5. ⽣成 AI とは 5 学習 膨大なデータを使って 「学習済みモデル」を構築 推論 Model (LLM) Model (LLM) 「学習済みモデル」を使って 生成を行う 指示・質問 テキスト・画像 一般的に「生成 AI の利用」と言えば こちら (推論) を指す 生成 AI で用いられる学習済みモデルは 「LLM」(大規模言語モデル) と呼ばれる
6. ⽣成 AI の利⽤⽅法 既成のアプリ∕サービスを利⽤する 「ChatGPT」「Microsoft Copilot」「Google Gemini」etc. ◦ ⼿軽に使い始めることができる △ 細かな使い勝⼿を変更できない、痒いところに⼿が届かない API を使ってアプリ∕サービスを作成する ◦ ⾃社の利⽤⽬的‧利⽤場⾯に合わせてカスタマイズできる △ 初期コストがかかる、知識や技術⼒が必要 6
7. API を使ってチャットアプリを作る 7
8. 求められる機能： 会話履歴 8 生成 AI の API は「一問一答」の機能しか持ちません チャットアプリとして便利に使うためには「会話履歴」を扱えることが必須です
9. 求められる機能： RAG ⽣成 AI の学習モデル (LLM) は 「ある時点でインターネット等に公開されている情報」 に基づいて学習を⾏なったものです つまり、最新の情報や⾮公開の情報 (企業の⾃社データなど) を使って 回答を⽣成することはできません 独⾃のデータを使って回答⽣成するための仕組みとして 「RAG」が必要となります 9
10. RAG の処理 10
11. ⽣成 AI のセキュリティ 11
12. ⽣成 AI 利⽤における懸念事項 情報漏洩‧盗聴 ‧ユーザーが⼊⼒したテキスト (質問内容に個⼈情報が含まれていたら…) ‧⽣成 AI が出⼒したテキスト (回答内容に機密情報が含まれていたら…) ‧RAG で使⽤する社内ドキュメント 12 不正アクセス ‧情報漏洩 ‧なりすまし 脆弱性を突いた攻撃 ‧サービス停⽌ ‧不正利⽤
13. セキュリティ対策 暗号化 ‧通信データの暗号化 SSL/TLS による暗号化を必ず⾏う 必要に応じて、最新の「TLS 1.3」の利⽤を強制化する ‧保存データの暗号化 現在主流の「AES256」による暗号化を⾏う 必要に応じて、暗号鍵の管理をクラウドベンダーに任せず⾃社管理する 13
14. セキュリティ対策 アクセス制御‧アクセス管理 ‧適切なアクセス権限の設定 フロントエンド層 (エンドユーザーのログイン認証‧認可) バックエンド層 (過剰なアクセス権限を与えない、アクセス対象の精査) データストア層 (システム管理者‧データ管理者に限定) ‧ログの記録 アプリケーションの動作ログ ログイン履歴∕アクセスログの記録、必要時に精査できるように 14
15. セキュリティ対策 各種セキュリティ機能の利⽤ クラウドサービスに備わっている機能を最⼤限に活⽤する ‧侵⼊検知‧不正な挙動の検知 AWS の場合： Amazon GuardDuty、AWS WAF、など ‧セキュリティホール‧設定不備の検出 AWS の場合： AWS Security Hub、AWS Config、など 15
16. ⽣成 AI の活⽤例 16
17. ⽣成 AI チャット with RAG ユーザーの悩み： ‧社内情報が分散していて、どこを探せばよいかわからない ‧ドキュメントを探して読むより、誰かに聞いた⽅が早い ‧でも、問い合わせてもなかなか回答が返ってこない 問い合わせ窓⼝部⾨ (ヘルプデスク、バックオフィス) の悩み： ‧同じような質問に繰り返し対応している ‧回答するための情報を探すのに時間がかかる ‧担当者によって対応の質にばらつきが⽣じる 17
18. ⽣成 AI チャット with RAG 「社内情報に基づき質問に回答してくれるチャットボット」 ‧⼀次問い合わせ窓⼝としてチャットボットを提供 ユーザーのメリット ‧⾃分のタイミングで質問できて、すぐに回答が返ってくる 問い合わせ窓⼝対応者のメリット ‧チャットボットでは対応できない質問のみ問い合わせが来るため 問い合わせの数‧頻度が削減できる 18
19. ⽣成 AI チャット with RAG 「窓⼝担当者が利⽤する社内情報検索チャットボット」 ‧問い合わせに回答するための社内情報検索を⽀援してくれる ユーザーのメリット ‧問い合わせへの対応時間が短縮されることによる体験向上 問い合わせ窓⼝対応者のメリット ‧対応時間が短縮できるため業務効率化が図れる ‧担当者による対応の品質が平滑化できる 19
20. その他にも様々な活⽤例 ⽣成 AI による要約‧分類 ‧カスタマーサービス業務の改善 お客さまからの問い合わせ内容を分類して、担当者に振り分ける ⽂章作成の⽀援 ‧法務担当者の業務改善 広告キャッチコピー、PR ⽂章などが法規制に抵触していないかチェック 各種法令や規定などを RAG データソースとして与えることで、 チェックに要する⼯数を⼤幅に削減できることが期待 20
21. クラスメソッドの 「⽣成 AI 活⽤⽀援サービス」 21
22. ⽣成 AI チャットを利⽤したい ベンダー純正∕サードパーティ製の⽣成 AI チャット ‧⾃社の利⽤場⾯に応じたカスタマイズが難しい ‧複数の⽣成 AI サービスを使い分けたい場合、 それぞれのサービスを契約することになりコストが割⾼になる 各サービスで UI や使⽤感が統⼀されない API を使って⾃社開発 ‧⽣成 AI やアプリ開発に関する技術⼒‧知識が必要 ‧開発に期間を要してしまい、タイムリーな⽣成 AI 活⽤ができない 22
23. クラスメソッドの⽣成 AI 活⽤⽀援 「⽣成 AI 環境構築サービス」 ‧社内で⽣成 AI を活⽤するための環境をクラスメソッドが構築します ‧共有環境 (SaaS) ではありません！ お客さまがご契約のクラウド基盤に⾃社専⽤の環境を構築します ‧クラスメソッドが開発した「⽣成 AI チャットパッケージ」を⽤いて 迅速に導⼊が可能です 23
24. ２種類のパッケージを提供 24 AI-Starter らくらく RAG 導入パック Web ブラウザから利用できる 多機能な生成 AI チャットアプリ 「Slack」「Microsoft Teams」から 利用できる生成 AI チャット
25. クラスメソッド製パッケージの特徴 複数の LLM の種類に対応 ‧利⽤⽬的に応じて LLM を使い分けたい ‧複数の LLM の出⼒結果を⽐較したい ベンダー各社が提供する⽣成 AI サービスを利⽤する場合 ‧それぞれ契約が必要 ‧それぞれ UI や提供機能が違う クラスメソッド製パッケージ「AI-Starter」 ‧統⼀された UI で、複数の LLM を切り替えて利⽤可能 25 AI-Starter
26. クラスメソッド製パッケージの特徴 プロンプトの再利⽤‧共有が可能な「テンプレート」機能 ‧効果的に⽣成 AI を活⽤するためにはプロンプトの内容が重要 (いわゆるプロンプトエンジニアリング) AI-Starter の「プロンプトテンプレート」機能 ‧クラスメソッドがお勧めするテンプレートをデフォルトで⽤意 ‧作成したテンプレートを登録していつでも呼び出せる ‧社内でテンプレートの共有も可能 26 AI-Starter
27. クラスメソッド製パッケージの特徴 社内情報を安全に活⽤する「RAG」を搭載 AWS のエンタープライズ検索サービス「Amazon Kendra」を採⽤ ‧様々なデータソースと連係可能な「コネクタ」を⽤意 例： Amazon S3、Googleドライブ、Microsoft SharePoint、Salesforce、Zendesk、など ‧様々なドキュメント形式に対応 例： PDF、Microsoft Excel、Microsoft PowerPoint、 Microsoft Word、 プレーンテキスト、CSV、JSON、XML、HTML、Markdown ‧検索サービスを構成するコンポーネントがオールインワンとなっていて、管理が容易 検索エンジン、インデックス格納 DB、データソースのスキャンエンジン、etc. 27 AI-Starter らくらく RAG
28. クラスメソッド製パッケージの特徴 ログイン認証 AI-Starter： ‧業界標準「OpenID Connect」対応の ID プロバイダーに対応 例： Microsoft Entra ID (Azure AD)、Google Workspace、など らくらく RAG 導⼊パック： ‧チャットツール (Slack、Teams) のユーザー認証による安全な利⽤ 28 AI-Starter らくらく RAG
29. クラスメソッド製パッケージの特徴 セキュリティ対策 ‧お客さまがご契約のクラウド基盤に⾃社専⽤の環境を構築 ‧データを保持するストレージやデータベースは、お客さまが管理可能 ‧クラウド基盤が提供する「暗号化」「アクセス管理」の仕組みを最⼤限に利⽤ ‧クラウド基盤が提供する⾼度なセキュリティサービスを適⽤可能 AWS の場合「KMS」「IAM」「AWS WAF」「GuardDuty」「Security Hub」など ‧これらのセキュリティ設定をクラスメソッドが持つノウハウで適切に⾏います 29 AI-Starter らくらく RAG
30. クラスメソッド製パッケージの特徴 マルチプラットフォーム対応 ‧AI-Starter のパッケージは「コンテナ (Docker) 技術」を採⽤しています コンテナ採⽤によるメリット： ‧多様なクラウドプラットフォームに導⼊可能 これまでの対応実績： AWS (App Runner、ECS)、Azure (App Service) など ‧機能追加やセキュリティ更新などアップデートも迅速に対応可能 (定期的にアップデート情報をお知らせします) 30 AI-Starter
31. そのほかの⽣成 AI 活⽤⽀援 31 支援領域 ご提供内容 生成 AI 環境構築サービス 社内で生成 AI を活用するための独自環境構築を行います。 様々なクラウド基盤に構築が可能であり、エンタープレイズレベルのセキュリティ 要件にも対応可能です。 技術コンサルティング 生成 AI を活用するうえでの技術面でのお悩みを解決します。 どのような技術を使うべきかの選定や実装を支援します。 システムインテグレーション 生成 AI を活用した Web サービスやアプリケーション、社内ツールなどの構築 を行います。 事業案の壁打ちからシステム開発、運用まで全領域でご支援が可能です。 活用を推進する教育支援 社内で活用を推進するための教育支援を行います。
32. ⽣成 AI 活⽤⽀援サービスの詳細はこちら 32 詳しいサービス内容 クラスメソッド公式サイトで「生成 AI コンサルティング」を検索 https://classmethod.jp/services/generative-ai/ 会場でご質問・ご相談も受け付けております！