Share
Embed
企業向け生成AIアプリの 開発から得られた知見
Classmethod Odysseyのオンライン登壇資料です
日時:7/11(木) 15:40-16:20
タイトル:企業向け生成AIアプリの開発から得られた知見
TakaakiKakei
July 11, 2024
Transcript
52 slides
-
⾃⼰紹介 筧 剛彰(Takaaki Kakei) • 所属 ◦ AWS事業本部 ◦ サービスグロースチーム
◦ ⽇⽐⾕(東京)オフィス • 役割 ◦ チームリーダー ◦ AI-Starterのサービスオーナー • SNS ◦ X(@TakaakiKakei) 3 -
AIを取り巻く状況 短期間で様々のサービスやLLMが登場し、AIを取り巻く環境は激しく変化している。 4 Souce 2024年6⽉のAIリリース年表 | npaka Souce Document history
for the Amazon Bedrock User Guide -
AI導⼊時の選択肢 いずれの選択肢も⼀⻑⼀短がある。導⼊⽬的、セキュリティ要件、予算、⾃社技術⼒などを総合 的に勘案し、⾃社に最適な選択する。 7 • ⽣成AIプロバイダーのサービス ◦ 代表例は、OpenAIのChatGPT、GoogleのGemini • SaaS
◦ 法⼈向け⽣成AIの導⼊サービスを提供する企業が⼿掛ける • ⾃社開発 ◦ 企業内で⽣成AIシステムを⾃前で開発‧運⽤する選択肢 -
本セッション内容 ⾃社開発を進める上での具体的な課題や、それらを克服するための知⾒を共有します。 8 • ⽣成AIプロバイダーのサービス ◦ 代表例は、OpenAIのChatGPT、GoogleのGemini • SaaS ◦
法⼈向け⽣成AIの導⼊サービスを提供する企業が⼿掛ける • ⾃社開発 ◦ 企業内で⽣成AIシステムを⾃前で開発‧運⽤する選択肢 -
Agenda • ⾃社開発のおける課題と解決策 ◦ Part1:信頼性の確保 ◦ Part2:拡張性の確保 ◦ Part3:運⽤の効率化 •
おまけ ◦ Part4:⾃社ソリューションの紹介 9 -
信頼性の確保が重要な理由 ⾃社開発に関わらず、AI導⼊には経営層からの⽀援が必要不可⽋。経営層が慎重な姿勢の場合、 「信頼性」が要因の可能性が⾼い。 11 Source ⽣成AIで企業が変わる:現状と課題 | IBM 引⽤) ⽣成
AI への投資をためらわせている要因は 何だろう か。⼀⾔で⾔えば、「信頼」である。 5 ⼈中 4 ⼈の経 営層は、⽣成 AI の導⼊の妨 げになっている要因とし て、信頼に関連する 問題が少なくとも 1 つあると考え ている。上 位にはサイバーセキュリティーやプライバ シー、正確性が挙がり、説明可能性や倫理、 バイアス (偏⾒や思い込み)についても懸念 が広がっている。 -
信頼性に関わる上位の問題 Part1では、信頼性に関わる上位の問題の概要と解決策を提⽰する。 12 • サイバーセキュリティ ◦ AIシステムがサイバー攻撃やデータ侵害から保護されるための措置。 • プライバシー ◦
ユーザーの個⼈情報が適切に管理され、プライバシーが尊重されること。 • 正確性 ◦ AIモデルが信頼性の⾼い情報や決定を出⼒すること。 -
信頼性に関わる上位の問題 Part1では、信頼性に関わる上位の問題の概要と解決策を提⽰する。 13 • サイバーセキュリティ ◦ AIシステムがサイバー攻撃やデータ侵害から保護されるための措置。 • プライバシー ◦
ユーザーの個⼈情報が適切に管理され、プライバシーが尊重されること。 • 正確性 ◦ AIモデルが信頼性の⾼い情報や決定を出⼒すること。 -
サイバーセキュリティへの対応 1/2 ⾃社開発初期は社内ネットワーク内で運⽤すると安⼼。Googleの以下のソリューションは、簡単 に認証をかけられるので便利。 14 Source [1] Brand Resource Center
[2] Google Apps Script ソリューション例 • Google CoLaboratory(Colab) ◦ Python ◦ サンドボックスのような環境 • Google App Script(GAS) ◦ JavaScriptベース ◦ 簡単アプリをつくりやすい [1] [2] -
[参考]CoLabの使い⽅ CoLabで、Azure OpenAIのモデルを呼び出す⽅法を紹介 15 参考 Azure OpenAI Service ⼊⾨ |
Takaaki Kakei | Zenn -
サイバーセキュリティへの対応 2/2 インターネット公開する場合は、厳格なアクセス管理を徹底する。以下のソリューションが便 利。あわせて社内有識者や信頼のおける外部パートナーの⼒を借りる。 16 ソリューション例 • 認証 ◦ Auth.js
• WAF ◦ AWS WAF • HTTPS ◦ App Runnerは、デフォルト ドメインがHTTPS -
信頼性に関わる上位の問題 本セッションでは各問題を以下の通り定義する。 ⾃社開発においては、それぞれの問題を解決していく必要がある。 17 • サイバーセキュリティ ◦ AIシステムがサイバー攻撃やデータ侵害から保護されるための措置。 • プライバシー
◦ ユーザーの個⼈情報が適切に管理され、プライバシーが尊重されること。 • 正確性 ◦ AIモデルが信頼性の⾼い情報や決定を出⼒すること。 -
プライバシーへの対応 2/3 利⽤⽣成AIプロバイダーで、⼊⼒情報がどのように監視されるか確認。⾃社ポリシーに沿うか チェックする。 19 • 前提 ◦ ⽣成AIプロバイダーによる監視は、コンプライアンスや法的理由などが挙げられる。 ◦
監視状況は、⽣成AIプロバイダーによってまちまち。 • ⾃社ポリシーに合致するか確認する ◦ ⼊⼒情報が何⽇間保持されるのか ◦ ⼊⼒情報への監視⽅法 ◦ 監視のオプトアウトできるか -
プライバシーへの対応 3/3 利⽤⽣成AIプロバイダーで、⼊⼒情報がどのリージョンに置かれるか確認。⾃社ポリシーに沿うか チェックする。 20 • 前提 ◦ ⽇本リージョン対応状況は、⽣成AIプロバイダーによってまちまち。 •
⾃社ポリシーに合致するか確認する ◦ 企業によっては、⽇本リージョン利⽤ではないと⾏けないケースがある。 -
[参考]主要⽣成AIプロバイダーの状況 ポリシーが更新される場合もあるので公式から最新情報を常に確認すること。 23 • OpenAI ◦ モデルのパフォーマンスを向上させるためにデータがどのように使⽤されるか | OpenAI ヘルプセンター
• Azure OpenAI ◦ Azure インフラストラクチャのセキュリティ ◦ Azure OpenAI Service による保存データの暗号化 ◦ Data, privacy, and security for Azure OpenAI Service • Amazon Bedrock ◦ Amazon Bedrock のセキュリティ ◦ Amazon Bedrock abuse detection ◦ ⽇本におけるプライバシーに関する考慮事項に照らした AWS の利⽤ • Google ◦ Google AI と Vertex AI の違い ◦ Gemini アプリのプライバシー ハブ ◦ Gemini API 追加利⽤規約 ◦ ⽣成 AI とデータ ガバナンス • その他(⾮公式) ◦ ChatGPT APIリリースに伴ってOpenAIのAPIデータ利⽤ポリシーが改定されたので読んでみた ◦ Amazon Bedrockの規約周りの情報を読んでみる ◦ [⽐較表] Azure OpenAIと本家OpenAI APIの⽐較表 ◦ Geminiのキャッチアップ -
信頼性に関わる上位の問題 本セッションでは各問題を以下の通り定義する。 ⾃社開発においては、それぞれの問題を解決していく必要がある。 24 • サイバーセキュリティ ◦ AIシステムがサイバー攻撃やデータ侵害から保護されるための措置。 • プライバシー
◦ ユーザーの個⼈情報が適切に管理され、プライバシーが尊重されること。 • 正確性 ◦ AIモデルが信頼性の⾼い情報や決定を出⼒すること。 -
正確性への対応 1/1 ⽣成AIは、質問に対して必ずしも正しい答えを返すわけではない。ハルシネーション対策をシス テムに組み込む。 25 • 対応 ◦ AIの回答は必ずしも正確とは限らない旨を、シ ステムの画⾯に出したり、周知することで、
ユーザーに誤解を与えないようにする ◦ ⽣成AIと社内データを組み合わせる場合は、回 答の参照元を明⽰させる [1] Geminiアプリ画⾯の注意書き [2] グラウンディングの概要 | Google Cloud -
信頼性の確保 まとめ 26 • サイバーセキュリティ ◦ AIシステムがサイバー攻撃やデータ侵害から保護されるための措置。 ▪ ⾃社開発の初期は社内ネットワークで運⽤ ▪
インターネット公開時は、厳格なアクセス管理を徹底 • プライバシー ◦ ユーザーの個⼈情報が適切に管理され、プライバシーが尊重されること。 ▪ ⼊⼒情報が学習されないか ▪ ⼊⼒情報がどのように監視されるか ▪ ⼊⼒情報がどのリージョンに置かれるか • 正確性 ◦ AIモデルが信頼性の⾼い情報や決定を出⼒すること。 ▪ システム画⾯に出す、周知 ▪ グラウンディング -
拡張性の確保が重要な理由 経営層は、能⼒拡張に期待を寄せているため。 28 Source ⽣成AIで企業が変わる:現状と課題 | IBM 引⽤) > 彼らが特に期待を寄せるのは、コンテンツの質向上や
競争優位性の促進、従業員の専⾨性拡充などだ。総じ て経営層は、AI によるエクスペリエンス(体験)向上 を通じて、能⼒を拡張し、成⻑を促すことを重視してい る。⼀⽅で、コスト削減にはそれほど重きを置いてい ない(図 3 参照)。 -
拡張性に関わる観点 本セッションでは以下の観点に着⽬する。 29 • LLMの観点 ◦ どのLLMを採⽤するか • UIの観点 ◦
どのようなUIで提供するか • 実⽤性の観点 ◦ どのような価値が求められるか -
LLMの観点 どのLLMを利⽤するかで得られる回答が異なる。特定のLLMへのロックインは⾮推奨。⾃社技術⼒ を考慮して適切なサービスやライブラリを採⽤する。 30 • 前提 ◦ 回答品質‧速度‧価格の観点で、最新LLMを使うのが⼀番 ◦ おすすめのLLMは、数ヶ⽉の間隔で変わっていく
◦ ユースケースによっておすすめのLLMも異なる • 各LLMをラップしたサービスやライブラリをうまく使う ◦ Vercel AI SDK ◦ Amazon Bedrock ◦ Cloudflare AI Gateway -
UIの観点 どのUIを採⽤するかで届けられる価値が異なる。⾃社開発⼒と天秤をかけて決める。OSSをうま く活⽤すると開発のハードルを下げることができる。 35 • 主な選択肢 ◦ コミュニケーションツール(Slack,Teamsなど) ◦ Web
UI ◦ Chrome拡張機能 • 信頼のおけるOSSをうまく活⽤して開発するのを推奨 ◦ ChatGPT-in-Slack | seratch ◦ generative-ai-use-cases-jp | aws-samples -
実⽤性の観点 RAG機能や個別アシスタント機能の需要は⾼い。あらかじめ⾒据えて開発する。 38 • RAG機能 ◦ 通常、⽣成AIは学習したデータに含まれている内容以 外に関する質問には回答ができない ◦ ユーザからの質問に回答するために必要な情報が書か
れた⽂章を検索し、その⽂章を⽣成AIへの⼊⼒(プロ ンプト)に付け加えて渡すことで、ユーザが欲しい情 報に関して回答させる • 個別アシスタント機能 ◦ 実運⽤すると業務特化したアシスタントの需要が増え る ◦ アシスタントやBotをスケールできるような仕組みを ⾒据えて開発する Source ChatGPTアプリの画⾯ -
拡張性の確保まとめ 拡張性の確保については、以下の観点にそれぞれ対応していくことが重要。 39 • LLMの観点 ◦ どのLLMを採⽤するか ▪ 特定のLLMへのロックインは⾮推奨。 ▪
⾃社技術⼒を考慮して適切なサービスやライブラリを採⽤する。 • UIの観点 ◦ どのようなUIで提供するか ▪ ⾃社開発⼒を考慮して決める。 ▪ OSSをうまく活⽤する。 • 実⽤性の観点 ◦ どのような価値が求められるか ▪ RAG機能や個別アシスタント機能を⾒据えて開発する。 -
運⽤の効率化に関わる観点 本セッションでは以下の観点に着⽬する。 41 • アーキテクチャの観点 ◦ どのようなアーキテクチャを採⽤するか • 分析‧監視の観点 ◦
何のために何をどのように監視するか • フィードバックの観点 ◦ 利⽤者からのフィードバックをどう得るか -
アーキテクチャの観点 ⽣成AIの動向を追うだけでも⼤変。なるべくマネージドなサービスを活⽤して運⽤負荷を軽減す る。 42 • AWSのサービス例 ◦ ECS Fargate ◦
App Runner ◦ Knowledge Base ◦ DynamoDB ◦ S3 ◦ Secrets Manager Source generative-ai-use-cases-jp | aws-samples -
分析‧監視の観点 ⽬的を明確にして、適切なサービスを選択する。AWSならば、CloudWatch Logsのクエリを保存 するなどして運⽤を効率化。 43 • AWSのサービス例 ◦ CloudWatch Logs
◦ EventBridge ◦ Amazon SNS ◦ AWS Chatbot • 分析項⽬例 ◦ 利⽤者数 ◦ チャット回数 ◦ 利⽤アシスタントランキング -
運⽤の効率化 まとめ 運⽤の効率化に関しては、⾃社開発では以下の観点にそれぞれ対応していくことが重要。 45 • アーキテクチャの観点 ◦ どのようなアーキテクチャを採⽤するか ▪ なるべくマネージドなサービスを活⽤して運⽤負荷を軽減する。
• 分析‧監視の観点 ◦ 何のために何をどのように監視するか ▪ ⽬的を明確にして、適切なサービスを選択する。 ▪ CloudWatch Logsのクエリ保存は便利。 • フィードバックの観点 ◦ 利⽤者からのフィードバックをどう得るか ▪ 利⽤者とコミュニケーションがとりやすい⽅法を採⽤する。