Upgrade to Pro — share decks privately, control downloads, hide ads and more …

サーバレス基盤で Gemini の性能を引きだすアーキテクトを構築した話

Avatar for Kei Kishimoto Kei Kishimoto
September 25, 2024

サーバレス基盤で Gemini の性能を引きだすアーキテクトを構築した話

Avatar for Kei Kishimoto

Kei Kishimoto

September 25, 2024
Tweet

Other Decks in Technology

Transcript

  1. | © Cloud Ace, Inc 01 | はじめに 02 | Issue

    の発見 03 | アーキテクチャの解説 04 | リクエスト上限の回避策 05 | 今後の活用 06 | 最後に Agenda
  2. | © Cloud Ace, Inc 自己紹介 Kishimoto Kei (岸本 桂) クラウドエース株式会社

    SRE部 所属 • Google Cloud の設計支援 • Google Cloud 歴 1 年弱 • Google Cloud 認定資格全冠 Antonnion2024
  3. | © Cloud Ace, Inc Issue の発見 お客様 営業担当 エンジニア 1

    回目の会議 2 回目の会議 1 回目の会議にエンジ ニアは参加していない
  4. | © Cloud Ace, Inc Issue の発見 お客様技術支援チャネルのメッセージって 手打ち? みんな手打ちだよ。 メッセージ作成するの

    どれくらいの時間 かかるん? 早くて 10 分~15 分くらいかな? 大体そうだね 。 必要な情報て、会議議事録 と企業情報 くらい? 営業の同期 OKD 私
  5. | © Cloud Ace, Inc Issue の発見 お客様技術支援チャネルのメッセージって 手打ち? みんな手打ちだよ。 メッセージ作成するの

    どれくらいの時間 かかるん? 早くて 10 分~15 分くらいかな? 大体そうだね 。 必要な情報て、会議議事録 と企業情報 くらい? 営業の同期 OKD 私 大体 3 ステップでメッ セージは作成されて いる
  6. | © Cloud Ace, Inc 利用したプロダクト説明 実行環境 • コンテナ化されたアプリケーションをサーバレ スで実行。リクエストに応じて自動スケーリン グ。

    オブジェクト ストレージ • 非構造化データを保存するためのストレー ジ。保存できるデータ量は無制限。 Cloud Run Cloud Storage
  7. | © Cloud Ace, Inc 利用したプロダクト説明 負荷分散 • ユーザーからのリクエストを複数のバックエン ドに分散することで、アプリケーションに対す るパフォーマンス低下のリスクを低減。

    アクセス制御 • アカウントベースでアクセス制御が可能であ り、ここでは Cloud Load Balancing に設定。 Cloud Load Balancing Identity Aware Proxy
  8. | © Cloud Ace, Inc アーキテクチャ図 Cloud Run Cloud Load Balancing

    Cloud Storage Clients Identity-Aware Proxy アカウントで認証 録画とプロンプトを Gemini 1.5 にリクエスト 録画とプロンプトを Gemini 1.5 にリクエスト Cloud Storage に録画を保存 リクエスト時
  9. | © Cloud Ace, Inc アーキテクチャ図 Cloud Run Cloud Load Balancing

    Cloud Storage Clients Identity-Aware Proxy レスポンス表示 Gemini 1.5 からのレスポンス レスポンス時
  10. | © Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ

    アプリサーバ ❌ リクエスト上限 Cloud Storage 容量が大きい動画をリクエストすることができない (32 MB まで) 課題
  11. | © Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ

    アプリサーバ Cloud Storage 署名付き URL : リクエスト時に限定された権限と 有効期限が設定された URL のこと 解決① ①署名付き URL ②動画アップロード
  12. | © Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 Cloud Run ブラウザ

    アプリサーバ Cloud Storage 署名付き URL : リクエスト時に限定された権限と 有効期限が設定されたURLのこと 解決① ③リクエスト ③リクエスト ④参照
  13. | © Cloud Ace, Inc リクエスト上限の回避策 Gemini 1.5 ブラウザ アプリサーバ Cloud

    Storage HTTP/2 : Cloud Run では HTTP/2 を使用する場 合、リクエスト上限は無制限 解決② Cloud Run HTTP/2 HTTP/1 Nginx App
  14. | © Cloud Ace, Inc リクエスト上限の回避策 署名付き URL HTTP/2 通信 27

    分(317 MB)の 動画アップロード速度 約 28 秒 約 27 秒 必要な設定 署名付き URL の処理必要 Cloud Run の設定変更必要
  15. | © Cloud Ace, Inc まとめ これまで • 議事録から個人が各フォーマット でプリセールス依頼文を作成 導入すると...

    • Gemini が会議の録画から決まっ たフォーマット でプリセールス依頼 文を作成 これまで 導入すると ...
  16. | © Cloud Ace, Inc 今後の活用 時刻 出来事 0:10 - 0:15

    男性が立ち上がり、周りを見渡しています。 1:05 - 1:12 小さなアタリがあったが、すぐに外れました。 2:30 - 2:34 海面がざわつき、風が強くなる。 3:45 - 3:50 大きな波で船が揺れる。釣り竿が倒れそうにな る。 4:45 - 4:55 大きな魚がかかるが、船が揺れて失敗する。 利用者:動画編集をしている方 利用方法:長時間の動画からイベントのみ動画を切り取らせる Ex 釣りをしている動画
  17. | © Cloud Ace, Inc 今後の活用 利用者:ペットホテルの運営会社 利用方法:10 分に 1 回ペットの行動を観察しチャットにて報告

    Ex ペットショップの監視カメラ 水は何回飲みましたか? 
 ペットホテル 10 分間外を眺めています。 
 眠りにつきました。
 既読 16:40 既読 16:30 2 回飲みました。
 既読 16:50 既読 16:45
  18. | © Cloud Ace, Inc 今後の活用 利用者:動画からクリエイティブな記事や手順書を作成する方 利用方法:元となる動画から叩き台となる文書の作成 Ex サッカーの試合、製品組み立て動画 チーム

    A vs チーム B:白熱した 攻防が織りなす 90 分の激闘 9 月 11 日、満員のスタジアムで 行われたリーグ戦第 15 節、チー ム A とチーム B が激突した。両 チームとも今季絶好調であり、こ の試合は優勝争いを占う重要な 一戦となった。 ・ ・ ・
  19. | © Cloud Ace, Inc GPT-4o GPT-4o mini Gemini 1.5 Pro

    Gemini 1.5 Flash Claude 3.5 Sonnet 最大入力トークン数 128,000 128,000 2,097,152 1,048,576 200,000 最大出力トークン数 16,384 16,384 8,192 8,192 4,096 マルチモーダル対応 画像 画像 動画・画像・音声 動画・画像・音声 画像 入力費用 (ドル/ 100 万トークン ) 2.5 0.15 1.25 0.01875 3 出力費用 (ドル/ 100 万トークン ) 10 0.6 3.75 0.075 15 利用方法 API キー API キー サービス アカウント サービス アカウント サービス アカウント
  20. | © Cloud Ace, Inc まとめ • 動画や音声など生成 AI に与えられる情報が多く なったことで、組み合わせ次第では業務効率やユー

    ザー体験向上が期待できる • 今回のサーバレス サービスを用いた生成 AI 活用 例を参考に、社内での活用をご検討いただければ 幸いです ※Google Cloud、Gemini、Google Cloud Storage は Google LLC の商標です。 ※GPT-4o は OpenAI OpCo, LLC の商標です。