サーバレス基盤で Gemini の性能を引きだすアーキテクトを構築した話

Transcript

1. ｜　© Cloud Ace, Inc サーバレス基盤で Gemini の性能を引きだすアーキテクトを構築した話 議事録生成から次の活用へ
2. ｜　© Cloud Ace, Inc この講演で伝えたいメッセージ • Google Cloud プロダクト間の連携が熱い • Gemini も熱い
3. ｜　© Cloud Ace, Inc 01 | はじめに 02 | Issue の発見 03 | アーキテクチャの解説 04 | リクエスト上限の回避策 05 | 今後の活用 06 | 最後に Agenda
4. ｜　© Cloud Ace, Inc 01 | はじめに
5. ｜　© Cloud Ace, Inc 自己紹介 Kishimoto Kei (岸本 桂) クラウドエース株式会社 SRE部 所属 • Google Cloud の設計支援 • Google Cloud 歴 1 年弱 • Google Cloud 認定資格全冠 Antonnion2024
6. ｜　© Cloud Ace, Inc 02 | Issue の発見
7. ｜　© Cloud Ace, Inc Issue の発見 ※ 画像はサンプルです
8. ｜　© Cloud Ace, Inc Issue の発見 お客様 営業担当 エンジニア 1 回目の会議 2 回目の会議 1 回目の会議にエンジ ニアは参加していない
9. ｜　© Cloud Ace, Inc Issue の発見
10. ｜　© Cloud Ace, Inc Issue の発見 手書きなのかなぁ 書き方に統一感な いなぁ
11. ｜　© Cloud Ace, Inc Issue の発見 営業の同期 OKD に 相談してみよう !!! ←営業の同期 OKD
12. ｜　© Cloud Ace, Inc Issue の発見 お客様技術支援チャネルのメッセージって 手打ち? みんな手打ちだよ。 メッセージ作成するの どれくらいの時間 かかるん？ 早くて 10 分~15 分くらいかな？ 大体そうだね 。 必要な情報て、会議議事録 と企業情報 くらい？ 営業の同期 OKD 私
13. ｜　© Cloud Ace, Inc Issue の発見 お客様技術支援チャネルのメッセージって 手打ち? みんな手打ちだよ。 メッセージ作成するの どれくらいの時間 かかるん？ 早くて 10 分~15 分くらいかな？ 大体そうだね 。 必要な情報て、会議議事録 と企業情報 くらい？ 営業の同期 OKD 私 大体 3 ステップでメッ セージは作成されて いる
14. ｜　© Cloud Ace, Inc Issue の発見 1. お客様との会議 3. エンジニア同行依頼 2. 議事録作成と整理
15. ｜　© Cloud Ace, Inc Issue の発見 これ 生成 AI 使えそう。
16. ｜　© Cloud Ace, Inc 03 | アーキテクチャの解説
17. ｜　© Cloud Ace, Inc アーキテクチャの解説（概要） Gemini 1.5 動画選択 リクエスト リクエスト時
18. ｜　© Cloud Ace, Inc アーキテクチャの解説（概要） レスポンス レスポンス レスポンス時 動画の概要 この動画は 5 分間男 性が釣りをしている動 画です。・・・ Gemini 1.5
19. ｜　© Cloud Ace, Inc Google Cloud で構築してみた
20. ｜　© Cloud Ace, Inc 利用したプロダクト説明 実行環境 • コンテナ化されたアプリケーションをサーバレ スで実行。リクエストに応じて自動スケーリン グ。 オブジェクト ストレージ • 非構造化データを保存するためのストレー ジ。保存できるデータ量は無制限。 Cloud Run Cloud Storage
21. ｜　© Cloud Ace, Inc 利用したプロダクト説明 負荷分散 • ユーザーからのリクエストを複数のバックエン ドに分散することで、アプリケーションに対す るパフォーマンス低下のリスクを低減。 アクセス制御 • アカウントベースでアクセス制御が可能であ り、ここでは Cloud Load Balancing に設定。 Cloud Load Balancing Identity Aware Proxy
22. ｜　© Cloud Ace, Inc アーキテクチャ図 Cloud Run Cloud Load Balancing Cloud Storage Clients Identity-Aware Proxy
23. ｜　© Cloud Ace, Inc アーキテクチャ図 Cloud Run Cloud Load Balancing Cloud Storage Clients Identity-Aware Proxy アカウントで認証 録画とプロンプトを Gemini 1.5 にリクエスト 録画とプロンプトを Gemini 1.5 にリクエスト Cloud Storage に録画を保存 リクエスト時
24. ｜　© Cloud Ace, Inc アーキテクチャ図 Cloud Run Cloud Load Balancing Cloud Storage Clients Identity-Aware Proxy レスポンス表示 Gemini 1.5 からのレスポンス レスポンス時
25. ｜　© Cloud Ace, Inc 04 | リクエスト上限の回避策
26. ｜　© Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ アプリサーバ ❌ リクエスト上限 Cloud Storage 容量が大きい動画をリクエストすることができない （32 MB まで） 課題
27. ｜　© Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ アプリサーバ Cloud Storage 署名付き URL : リクエスト時に限定された権限と 有効期限が設定された URL のこと 解決① ①署名付き URL ②動画アップロード
28. ｜　© Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ アプリサーバ Cloud Storage 署名付き URL : リクエスト時に限定された権限と 有効期限が設定されたURLのこと 解決① ③リクエスト ③リクエスト ④参照
29. ｜　© Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 ブラウザ アプリサーバ Cloud Storage HTTP/2 : Cloud Run では HTTP/2 を使用する場 合、リクエスト上限は無制限 解決② Cloud Run HTTP/2 HTTP/1 Nginx App
30. ｜　© Cloud Ace, Inc リクエスト上限の回避策 署名付き URL HTTP/2 通信 27 分（317 MB）の 動画アップロード速度 約 28 秒 約 27 秒 必要な設定 署名付き URL の処理必要 Cloud Run の設定変更必要
31. ｜　© Cloud Ace, Inc まとめ これまで • 議事録から個人が各フォーマット でプリセールス依頼文を作成 導入すると... • Gemini が会議の録画から決まっ たフォーマット でプリセールス依頼 文を作成 これまで 導入すると ...
32. ｜　© Cloud Ace, Inc 05 | デモンストレーション
33. ｜　© Cloud Ace, Inc アプリケーション イメージ
34. ｜　© Cloud Ace, Inc 動画（1 min）
35. ｜　© Cloud Ace, Inc 05 | 今後の活用
36. ｜　© Cloud Ace, Inc 今後の活用 時刻 出来事 0:10 - 0:15 男性が立ち上がり、周りを見渡しています。 1:05 - 1:12 小さなアタリがあったが、すぐに外れました。 2:30 - 2:34 海面がざわつき、風が強くなる。 3:45 - 3:50 大きな波で船が揺れる。釣り竿が倒れそうにな る。 4:45 - 4:55 大きな魚がかかるが、船が揺れて失敗する。 利用者：動画編集をしている方 利用方法：長時間の動画からイベントのみ動画を切り取らせる Ex 釣りをしている動画
37. ｜　© Cloud Ace, Inc 今後の活用 利用者：ペットホテルの運営会社 利用方法：10 分に 1 回ペットの行動を観察しチャットにて報告 Ex ペットショップの監視カメラ 水は何回飲みましたか？ 
 ペットホテル 10 分間外を眺めています。 
 眠りにつきました。
 既読 16:40 既読 16:30 2 回飲みました。
 既読 16:50 既読 16:45
38. ｜　© Cloud Ace, Inc 今後の活用 利用者：動画からクリエイティブな記事や手順書を作成する方 利用方法：元となる動画から叩き台となる文書の作成 Ex サッカーの試合、製品組み立て動画 チーム A vs チーム B：白熱した 攻防が織りなす 90 分の激闘 9 月 11 日、満員のスタジアムで 行われたリーグ戦第 15 節、チー ム A とチーム B が激突した。両 チームとも今季絶好調であり、こ の試合は優勝争いを占う重要な 一戦となった。 ・ ・ ・
39. ｜　© Cloud Ace, Inc （他モデルとの比較）Gemini の凄さ
40. ｜　© Cloud Ace, Inc GPT-4o GPT-4o mini Gemini 1.5 Pro Gemini 1.5 Flash Claude 3.5 Sonnet 最大入力トークン数 128,000 128,000 2,097,152 1,048,576 200,000 最大出力トークン数 16,384 16,384 8,192 8,192 4,096 マルチモーダル対応 画像 画像 動画・画像・音声 動画・画像・音声 画像 入力費用 (ドル/ 100 万トークン ) 2.5 0.15 1.25 0.01875 3 出力費用 (ドル/ 100 万トークン ) 10 0.6 3.75 0.075 15 利用方法 API キー API キー サービス アカウント サービス アカウント サービス アカウント
41. ｜　© Cloud Ace, Inc 06 | 最後に
42. ｜　© Cloud Ace, Inc まとめ • 動画や音声など生成 AI に与えられる情報が多く なったことで、組み合わせ次第では業務効率やユー ザー体験向上が期待できる • 今回のサーバレス サービスを用いた生成 AI 活用 例を参考に、社内での活用をご検討いただければ 幸いです ※Google Cloud、Gemini、Google Cloud Storage は Google LLC の商標です。 ※GPT-4o は OpenAI OpCo, LLC の商標です。