Google Cloud の スペシャリストと学ぶ！ BigQuery & Gemini

Transcript

1. 2025 年 5 月 14 日（水） グーグル・クラウド・ジャパン合同会社 Google Cloud の スペシャリストと学ぶ！ BigQuery & Gemini
2. Data Analytics
3. Customer Engineer Data Analytics Specialist 山田 雄 | Yu Yamada Google Engineers • データ分析専門のカスタマーエンジニア • 15 年以上データ分析基盤の開発・運用に従事 ◦ 組込エンジニア -> webエンジニア -> データエンジニア • 日本最大級のデータエンジニアコミュニティ主催 ◦ datatech-jp • キャンプ・サウナ・スト 6・お酒が大好き 著書 レビュワー
4. Google のミッション Google の使命は、世界中の情報を整理し、 世界中の人がアクセスできて使えるようにすることです。 Our mission is to organise the world’s information and make it universally accessible and useful.
5. Proprietary & Confidential 17 兆円
6. Proprietary & Confidential 17 兆円 日本国内で企業のデータが一年に生んだ価値 出典：ビッグデータが生んだ価値、 GDP換算で年17兆円　内閣府
7. Proprietary + Confidential データ活用とは？ 皆さんにとってのデータ、データ活用を考えてみよう 3 分間、近くの方と話してみましょう • 誰が？ • 何に？ • どんなデータを？ • どうやって？ 活用していますか？ Made by Gemini Prompt; “data analytics discussion around the table”
8. Proprietary & Confidential The Data Value Data Value
9. Proprietary & Confidential The Data Value Data Value より早く より安全に より再現性高く Data を Value に繋げることが重要
10. Proprietary & Confidential データを取り扱う上での課題 変化の激しいビジネス環境で生き残るには、 データに基づいた迅速な意思決定 が不可欠です。 従来の専門家依存のデータ分析 では時間がかかり、 分析できる量や種類が限られるという課題 が存在。
11. データ分析基盤に求められる役割について 構造化データの効率的な分析 データ分析の民主化 生成AIとの連携による 新たな付加価値の創出 時系列 データ分析基盤に求められる役割は時代とともに大きく変化をしています。従来は、顧客情報、売上データ、市場動向など、 様々なデータを収集・分析し、膨大なデータの中から特定の目的に基づいて情報を収集・分析 することで迅速かつ的確な意 思決定を行うための役割が主でした。ただ、最近では、特定のスキルを持ったメンバーだけではなく、全社員がデータを元に 意思決定を行う だけでなく、生成AIの技術を取り込んだ新たな付加価値を産んでいく基盤 としての役割が求められるように なっています。 ・データのサイロ化の解消 ・大量データの処理スピード ・柔軟なスケーラビリティの実現 ・機械学習との統合による ”構造化データ”の将来予測 ・IT部門に頼らない現場主導の業務実現 ・社員の役割に合った 様々なインターフェース の実現（BI等含む） ・ITリテラシーに依らない UI、UXを実現する補 完機能 ・生成AIが必要とする様々なデータとの連携 親和性の実現 ・増え続ける非構造化データの処理 ・単なる分析業務の枠を超えた ”新たな業務 / 付加価値”の創出
12. 構造化データ・非構造化データと AI 構造化データ 非構造化データ (画像、動画、音声、ドキュ メント etc.) 企業の保持するデータ 従来のモデルに 求められていた機能 生成 AI の登場によって 求められるようになった機能 ・モデル選択の柔軟性 ・構造化データ処理を行う機械学習モデ ルの精度 ・自然言語で実施するデータ抽出 / 加工 / 処理 ・生成 AI アプリ開発基盤との連携性 ・データの意味を理解した各種補完機能 （データ整形・加工 etc） 単一モードの処理は一部可能である が、そもそも処理自体ができなかったに 等しい （データ基盤の非構造化データへの未 対応も含む） ・生成 AI アプリ開発基盤との連携性 ・処理可能なデータサイズ（≒一度に処 理可能な token サイズ）
13. Proprietary データ分析に求められる様々な要素を 1 つに Simplifying and unifying data analytics BigQuery a unified platform マルチエンジン　Multi-engine 構造化/非構造化データ対応のストレージ Multi-storage 様々なフォーマットへの対応 　Multi-format 様々な分析用途への対応 　Multi-capability AI/ML/LLM との融合
14. エンド ツー エンドのデータ分析プラットフォーム スケーラブルな データ収集 信頼性のある ストリーム データ パイプライン 先進的な分析 データレイク データ ウェアハウス Pub/Sub Dataflow Dataproc Cloud Storage BigQuery Data Transfer Service Cloud Composer Storage Transfer Service Dataplex（データガバナンス） Cloud Data Fusion 処理 収集 蓄積 データ ウエアハウス 分析 BigQuery storage BigQuery analysis engine 活用 Vertex AI Datastream Sheets
15. エンド ツー エンドのデータ分析プラットフォーム スケーラブルな データ収集 信頼性のある ストリーム データ パイプライン 先進的な分析 データレイク データ ウェアハウス Pub/Sub Dataflow Dataproc Cloud Storage BigQuery Data Transfer Service Cloud Composer Storage Transfer Service Dataplex（データガバナンス） Cloud Data Fusion 処理 収集 蓄積 データ ウエアハウス 分析 BigQuery storage BigQuery analysis engine 活用 Vertex AI Datastream Sheets
16. Confidential & Proprietary 16 BigQuery: 設計思想 • サーバーレス でスケーラビリティと費用対効果が高いクラウド データ ウェアハウス Analysis and insights BigQuery のサーバーレス分析 (管理負荷とチューニングを極小化 ) パフォーマンス チューニング モニタリング 信頼性 デプロイと設定 利用率の向上 分析と洞察 (< 15%) リソース プロビジョニング スケールの 調整 分析と洞察 ≒ 100% 従来のデータウェアハウス (チューニングすれば速いけど …)
17. BigQuery: 設計思想 • サーバーレスでスケーラビリティ と費用対効果が高いクラウド データ ウェアハウス SELECT your_data FROM billions_of_rows WHERE full_disk_scan_required = true; 1 TBを 1 秒でスキャン 17
18. Confidential & Proprietary BigQuery: アーキテクチャ • 主要な構成要素は、データセンター規模のコンピュートクラスタ、ゾーンやリージョンに複製された分散ストレージ、ペタビット 規模のネットワーク・インターコネクト、中間結果をシャッフルする分散インメモリストアです。 • BigQueryの検索は、複数ゾーンの (動的に割当てられた) 多数の計算ノードで並列に実行されます。 • ひとつのSQLは問合せ最適化の処理で、多段階の並列処理に分解され、各処理に必要な並列度を確保します。 計算リソースは、クエリの実行毎に割り当てられるので、使わない時にはコストは発生しません。 SQL:2011 準拠 ペタビット規模ネットワーク BigQuery 高可用性を備えた コンピュート クラスタ (Kubernetesのベースである コンテナ管理機能 “Borg”の 制御) ストリーミング データのロード 無料の バルクロード 複製ありの 分散ストレージ (99.9999999999% 12 nine の耐久性) REST API SDK (Java, Python, Node.js, C#, Go, Ruby, PHP) Web UI, CLI 分散インメモリ シャッフル
19. BigQuery：フルマネージドデータウェアハウスサービス ペタビット規模ネットワーク (Jupiter) BigQuery 数 1000 ノードの 並列計算基盤 （Borg） 数 1000 ノードの 大規模分散ストレージ (99.9999999999% 12 nineの耐久性) （Colossus） 分散インメモリ 処理ハードウェア Google だからこそ実現できた高性能データウェアハウス スケールする ストレージの分離 高速な内部ネットワーク スケールする コンピュートの分離 ストレージの分離 メモリの分離 Capacitor カラムナー Google 管理の マルチテナントなプラットフォーム Dremel クエリエンジン
20. • Google のほとんどのサービスは Borg 上で稼働 • Google 管理のクラスタ : 起動、停止、追加、縮退等の管理なしで運用 • 0 to N に高速にスケール • 障害時も起動しているマシンで処理を再スケジュール • ワーカーは透過的にアップデート • Kubernetes として OSS で公開 • BigQuery はタスクの処理専用に数千 CPU コアを使 用するために Borg クラスタを使用 BigQuery under the hood (Jan 27, 2016) 論文 : Large-scale cluster management at Google with Borg 超大規模なコンピュートリソースを自在に活用 Borg：コンテナによるアプリケーション管理 超大規模なコンピュートリソースを自在に活用 - 『Datacenter as a Computer』
21. • Google File System の後継ストレージ基盤 • Hadoop HDFS として OSS に公開された Google File System の後継ストレージ基盤 • Google File System -> Colossus と 17 年以上に渡る 利用実績と研究開発 • ストレージのスケーラビリティを高め、増え続けるア プリケーションのデータ量の大幅な増加に対応でき るように設計されている • ディスクを搭載した汎用サーバを数万台規模までリ ニアにスケール可能なストレージサービス • Colossus では分散メタデータ モデルが導入され、 データセンターをまたがるよりスケーラブルで可用性 の高いメタデータ サブシステムを提供 • ストレージ Teir により様々なアプリケーションの I/O, 可用性, 耐久性に対応可能 Parallel Data Storage & Data Intensive Scalable Intensive Computing Systems 2017 - Cluster-Level Storage @ Google 図 : Disk サーバーの Utilization (面積 : ディスク容量、色：スピンドルの利用率 赤が利用効率が良いこ とを示している ) Colossus ：独自のストレージシステム https://cloud.google.com/blog/ja/products/storage-data-transfer/a-peek-behind-colossus-googles-file-system スケールするデータセンターレベルの共有ストレージ　 　 Google Cloud のみならず、 Google の様々なサービスで利 用され、ストレージの抽象化を 実現している
22. Proprietary + Confidential X Gbps / machine flat bandwidth Datacenter Jupiter：データセンターネットワーク 高速かつスケールするクラスターネットワーク 2012年より第5世代NWとしてJupiterを導入 • 専用ネットワークハードウェア (40Gbps Port対応チップ) • スケールする Cols ネットワークトポロジー • SDN：Software Define Network による自由な構成変更 • 最大合計 1.3 Pbpsのサーバー間トラフィックを処理 ※2012導入 時 • すべてのサーバー間で均一な通信速度を実現 ◦ コンテナの配置が自由になる ◦ リソース使用量の偏りを軽減 ◦ アプリケーション・スケーラビリティの向上 Cols Network Topoligy - TORスイッチ / アグリゲーションレイヤー / スパインレイヤーの 3層構造 https://research.google/pubs/pub43837/
23. Proprietary & Confidential BigQuery データからAIまで統合プラットフォーム 統一されたエクスペリエ ンス Single product UX New GenAI powered experiences Collaborative workflows BigQuery を中心と したデータ分析の簡 素化と統合 Google Cloud データ統合 統合エンジン Structured / unstructured Iceberg / Delta / Hudi GCS Cross-cloud (AWS, Azure) Unified governance SQL Spark Python Remote functions Business intelligence
24. Proprietary & Confidential BigQuery Studioで、データから AIまでのワークフローを統一 すべてのデータ専門家のための、コラボレーション可能なデータワークスペース Unified experience すべてのワークロードに対応する単一のノートブックワー クスペース - SQL、Spark、Python など チームと個人間のコラボレーションとガバナンスを実現し ます 一元化されたソース管理と変更履歴
25. Proprietary & Confidential Unified data BigQuery は、あらゆる種類のデータとワークロードに対応 すべてのデータのための単一の統合アクセス層: 構造化デー タ、非構造化データ、運用ストリームなど、あらゆるデータが対 象 あらゆるデータ形式とストレージをサポート: S3、Azure Storage、Iceberg、Delta Lake、Hudiなど、多様なストレージ に対応 SQL、オープンソースエンジン、AI/MLのための単一の共有メ タストア: すべてのデータアクセスを一元管理 あらゆるデータに対する大規模なガバナンスの実現: データの 整合性とセキュリティを確保 Semi-structured data Unstructured data Dataplex | Governance at scale BigQuery Managed Storage Multi-Cloud (AWS S3, Azure Storage) Google Cloud Storage Open and structured record interface Structured Data 構造化データ (Data Warehouse Workloads) ストリーミングデータ (Operational Streams) すべてのデータに、単一の統合されたインテリジェントで管理され た安全なアクセスレイヤーを提供 非構造化データ (Data Lake Workloads)
26. Proprietary & Confidential BigQuery Omni によるクロスクラウド分析 Unified data クラウド全体で合理化された分析のための 統合コントロールプレーンを提供 マルチクラウドデータ全体に統合ガバナンス 直近のイノベーション New • Salesforce Data Cloud による双方向 のデータ連携と共有 • クロスクラウドトランスフォーメーション • シームレスなクロスクラウドジョイン • クロスクラウドマテリアライズドビュー US/EU region Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage Tokyo/London region Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage AWS region (Omni) Stateless compute workers Distributed Memory Shuffle Tier AWS Storage Azure region (Omni) Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage BigQuery コントロールパネル (core experience, metadata) BigQuery UI
27. Proprietary & Confidential 統合ガバナンスとインテリジェントなデータ管理 Unified data 分散データ全体をカタログ化 ビジネスコンテキストで強化された自動データ検出とメタ データ収集。データを移動することなく、データを論理的 に統合して整理 中央集権セキュリティとガバナンス New データの承認、保持、分類に関するポリシー管理、監視、 監査を一元的に行います。新しいガバナンス ルールを使 用してデータを自動的に管理 AI を活用したデータ プロファイリングとデー タ品質 データの自動プロファイリング、プロファイリング指標の受 信、データ品質ルールの自動生成。組み込みアクション を有効にしてデータ品質違反を修正 エンドツーエンドデータリネージ データのソースと変換を簡単に理解して、データの信頼 性を構築します
28. Proprietary & Confidential AI でデータを活用
29. Proprietary & Confidential Google Cloud Infrastructure (GPU / TPU / Silicon) Built for AI from ground up Google Cloud はエンドツーエンドのデータと AI を垂直統合 した唯一のクラウド Google は、組織全体でデータと AI のワークフローを最適化するためにゼロから構築 BigQuery Data Vertex AI AI Looker Insights Gemini on Google Cloud
30. Proprietary & Confidential 30 BigQuery ML for GenAI すべてのデータエンジニアがMLエンジニアになれる BigQuery Vertex AI BQML Vector embeddings RAG Google foundation models Google Cloud infrastructure (GPU / TPU / Silicon) Built for AI from ground up SQL LLM execution in BigQuery • 要約 • 感情分析 • 分類 • データエンリッチメント • エンティティ抽出 • 翻訳 Document and Speech AI in BigQuery BigQuery で直接、テキスト ファイルと音声ファイルに 対して安全かつ管理された Doc & Speech AI を実行 企業独自のデータを安全に利用する New
31. Proprietary & Confidential 非構造化データを大規模に分析し回答を得る BigQuery オブジェクト テーブルは、テキスト、画像、音声、動画、ドキュメント、会話に対する SQL サポートを提供します。 Upload your images Create BigQuery dataset and object table Run SQL queries Extract text from images Powerful BigQuery を通じてアクセスできる、音声認識、視覚、翻 訳、テキスト処理における Google の最先端の AI テクノ ロジー Easy オブジェクトテーブルは、画像、音声、ドキュメント、ビデ オなどの非構造化データに SQLのシンプルさとスケール を提供
32. Proprietary & Confidential リアルタイム データと AI の台頭により、 リアルタイム インテリジェンスの必要性が高まっている リアルタイム 可視化 リアルタイム 予測 リアルタイム アクティベーション リアルタイムアプリとイ ンフラモニタリング システムパフォーマン ス最適化 自動的に顧客の問題 を解決するシステム 監査とセキュリティ カスタマーエクスペリ エンスの向上 異常検知 レコメンデーション オーディエンスセグメ ンテーション 解約予測 需要予測 (Demand forecasting) ヴィジョン分析を利用 した予測 顧客の生涯価値 (LTV) 予測 ビジネス成果を促進す るデータ活用 マーケティングオート メーション カスタマー360ビュー の構築と更新 HIPAA コンプライアン ス リバース ETL
33. Proprietary & Confidential ストリーミング データに ML を適用してビジネス上の意思決定を促進 し、ユーザー満足度を向上 Streaming ML for GenAI バッチ機能/予測からストリーミング機能とオンライン予測 リアルタイムMLを可能にするリアルタイム機能処理 不正検出、製品推奨、動的価格設定、IoTヘルスモニタリング、インテリ ジェント監査、セキュリティにおけるリアルタイムの意思決定を強化 BigQuery Dataflow and Cloud Pub/Sub Vertex AI ストリーミングデータをヒストリカルデータで強化する オペレーティングメッセージングとデータベースを統合して予測を アクティブ化 Vertex AI 機能と統合して高度な ML 機能を実現 ユースケースに適したサイズ : GPU ベースのローカル予測と Vertex Online 予測の統合を選択
34. Google Cloud Proprietary & Confidential Gemini in BigQuery Always-on Intelligence spanning the Data & Analytics journey Explore, Discover & Analyze Engineer & Transform Optimize Workloads Secure Data Fundamentals
35. SQL の生成・補完　 / 色々な呼び出し方 35 ①コーディング サポートツールで生成 (前述) ② SQL エディタのコメントで生成 ③ SQL エディタで入力中に自動補完 Preview (灰色部分が補完候補 )
36. Google Cloud Proprietary & Confidential BigQuery data preparation 生成 AI アシストで進化した直感的な画面操作可能なデータ プリパレーション Engineer and transform BigQuery Data Preparation BigQuery でのデータのクレンジング、変換、準備 生成 AI によりコンテキストを認識した変換レコメンデー ションにより、データ開発を加速 合理化された取り込みと変換で時間を節約 自動化されたスキーマ マッチング、ビジネスおよびデータ 品質ルールの識別と検証 生成された SQL パイプラインを BigQuery にデプロイ、 オーケストレーション、モニタリング
37. Data Preparation / 注文データをクレンジング 37
38. Google Cloud Proprietary & Confidential ビジュアルと AI によるデータ検出、モデリング、分析 Explore, discover, analyze BigQuery Data Canvas データ探索と視覚化のための GenAI 中心のエクスペリ エンス インタラクティブかつガイド付きのユーザエクスペリエンス BigQuery Studio に統合 Dataplexカタログでサポートされるセマンティックデータ 検出 自動化された Python ノートブックの生成 データアナリスト向けの組み込みコラボレーション
39. Data Canvas 自然言語も組み合わせながら 視覚的にデータを探索できる Gemini は • データの検索 • SQL の生成 • チャートの生成 を支援する 39
40. Google Cloud Proprietary & Confidential 生成 AI によるセマンティックサーチ Gemini in BigQuery semantic metadata search Explore, discover, analyze データを発見 自然言語クエリを使用してデータアセットを検索 洞察を民主化する 検索構文や修飾語を知る必要性を排除し、より多く のユーザーがデータを利用できるように テクニカルおよびビジネスメタデータ 技術的なメタデータとタグなどのユーザー生成メタ データの両方を検出して活用し、データ資産の検出 を容易に
41. デモ
42. Proprietary 042 Google Cloud Next 自動化されたデータ パイプラインの 作成、キュレーション、最適化。 BigQueryとのシームレスな連携 ➔ データ パイプラインを大幅に加速 ➔ 全てのデータ関連ステークホルダーを支 援 ➔ データ品質とガバナンスを保証 ➔ データエンジニアリング コストを削減 ➔ ビジネス インサイトを即座に解き放つ データエンジニアの工数削減に Data Engineering Agent ロードマップ
43. Proprietary 043 Google Cloud Next データサイエンスのタスクを自動化 する 1st Party エージェント 以下の作業を自動化 : ➔ データ ラングリング : データ フレームの自 動取り込みとクリーニング ➔ データ探索 : ネイティブの視覚化と自動探 索分析 ➔ AIによる予測 : Google Research の TimesFM などの最先端のモデルを含む AI を活用した予測 ➔ モデル評価 : 精度と生産準備状況をより深 く理解するためのモデル評価 Callout Agent session Data Science Agent ロードマップ
44. Proprietary 044 Google Cloud Next データ分析タスクを自動化する 1st Party エージェント 以下の作業を自動化 : ➔ 分析の民主化 : 自然言語ベースのインサイ ト ➔ Custom data agents: 迅速な導入を可能 にするクイックスタートを備えた柔軟な API ➔ Direct connect to BigQuery: BigQuery でデータを直接探索するか、 Looker のセマ ンティック レイヤーと組み合わせる ➔ Python の Code interpreter: 複雑なデータ サイエンス タスク用の Python コードを生成 ビジネスレイヤーの人にもデータ分析を Conversational Analytics Agent Proprietary & Confidential プレビュー
45. Proprietary 045 Google Cloud Next 45 分析目的に特化した API ビジネス インテリジェンス、データ探索、 分析向けにチューニングされた AI サービス 再利用可能でスケーラブルな セマンティック レイヤー 精度の向上と高度なマルチテーブル分析 カスタム エージェントを迅速に開発 クイックスタートを備えた 柔軟な API で迅速な導入を実現 BigQuery へ直接接続可能 BigQuery でデータを直接探索するか、 Looker のセマンティック レイヤと組み合わせる BigQuery Looker Model Conversational Analytics API エンタープライズ横断で Data Agent をカスタマイズ & デプロイ プライベート プレビュー Google Cloudコンソールに入らずに Slackなど普段使い慣れた IFからのデータ分析が可能
46. BigQuery - Pipe syntax 46 • パイプ構文のサポートによって、データ操作を任意の順番で記述できるように • 複雑な SQL を直感的に分かりやすく記述できる • SQLのデバッグも可能 Pipe syntax 従来の構文
47. https://www.vldb.org/pvldb/vol17/p4051-shute.pdf
48. AI/ML 最前線 〜Gemini と拓く、知の探求と活用の新時代〜
49. Proprietary & Confidential Associate Customer Engineer Yi Cheng（伊程） Google Engineer - 東京大学　金子知適研究室出身 - 専攻はゲームにおける AI プログラミング - 2024 年 10 月 グーグル・クラウド・ジャパン合同会社に 入社し現職 - AI/ML を中心とした技術支援に従事 - 趣味はビデオゲームと美術館巡り
50. Proprietary & Confidential 本日のアジェンダ 生成 AI の基礎知識から、Google の最先 端マルチモーダルAI「Gemini」の概要、そ の驚くべき能力、そして私たちの未来にど のような変革をもたらすのかをご紹介しま す。 生成 AI と Gemini あなた自身の情報ソースを最大限に活用 するAIツール「NotebookLM」。その機能 や特徴、そして私自身の業務での活用事 例や、皆さんの学習・研究を加速させる使 い方を具体的に解説します。 NotebookLM AI の力を 100% 引き出すための「問いの 技術」。効果的なプロンプトを作成するため の重要なポイントと、すぐに使える実践的な 例を学びます。 プロンプトエンジニアリング
51. 生成 AI とは・・・？ 生成 AI を意味するソリューションや言葉の定義は人によって異なります。 その言葉の意味やそれを構成するコンポーネントを正しく理解することで効果的なユースケースの選定やそれに 必要となるソリューションを正しく判断することができるようになります。 人工知能に関する技術全般 機械学習システム (生成 AI アプリケーション ) 大規模言語モデル (LLM) マルチモーダル モデル • 生成 AI を活用した新たなビジネス価値の 創出 • 生成 AI の活用による業務効率化 • LLM,DB,サーバーなどを組み合わせたシ ステム • Gemini や ChatGPT など • テキスト(画像)を入力してテキスト(画像) を出力する API や関数 • システムプログラム ビジネスリーダー 一般利用者 エンジニア
52. Proprietary & Confidential 生成 AI 活用による働き方へのインパクト 時間短縮と 質の向上 付加価値の高い 業務にシフト 作業の時間と 質を均質化 出典：内閣官房「 新しい資本主義実現会議 (第17回) 基礎資料」
53. Proprietary & Confidential 生成AIがもたらす潜在的な経済効果、 McKinsey&Companyを元にGoogle で再編集 生成 AI の活用により見込まれる高いビジネスインパクト 生成 AI は従来の AI とは異なり、創造的なコンテンツ作成や新しいデータ分析手法を可能とします。 生成 AI は、企業の競争力を飛躍的に向上する革新的な技術と言えます。 データ分析・従来の機械学習 潜在的経済効果の合計 11.0-17.7 兆ドル 17.1-25.6 兆ドル +35-70%
54. Proprietary & Confidential 参考リンク：Google – Welcome to the Gemini era
55. Gemini は 初期から複数のデータ種類でト レーニングを行う ことにより、会話 をコード、画像、動画、音声、テキ ストの間で、よりシームレスに行う ことが可能に。 ※これまでの伝統的なマルチモーダルの開発は、はテキスト、 コード、画像などを異なる Transfomer をつかってから組み合わ せて実現をしていた
56. Gemini • マルチモーダル 複数のデータ種類で学習を行っており、画像、動画、音声、コード、 テキストと様々なフォーマットを入力としてモデルとやりとりできます。 • 長いコンテキスト（文脈）の理解とキャッシュ 200 万トークンの入力に対応。数時間の動画、数十時間の音声。 • 柔軟なモデルサイズとプライシング 用途に応じたコスト・品質・応答性のバリエーションがあります。 • 安定 可用性に関する SLA を提供しています。 予めスループットを確保する提供形式も。 56
57. Proprietary & Confidential Application Lifecycle Efficiently manage cloud applications Cloud Assist Google プロダクトとの連携 in Security Security Elevate security expertise in BigQuery Data Analytics Fast-track data analysis in Looker Business Intelligence Automate data Insights Code Assist Software Development Accelerate software delivery
58. Google Cloud Proprietary & Confidential NotebookLM は、アップロードしたナレッジ ベースを基 盤として、より迅速に検索、要約、洞察を獲得できるよう に設計された AI リサーチおよびライティング ツールで す。 Sources: + Websites + Slides + Docs + PDFs + Text + YouTube URL + Audio 58 + Microsoft Docx + Microsoft Powerpoint + Microsoft Excel + Sharepoint (via Agentspace) + OneDrive (via Agentspace) + ServiceNow (via Agentspace) + Confluence (via Agentspace) + Jira (via Agentspace) + many other 3P apps (via Agentspace) すべて が使われています
59. Google Cloud ソースをアップロード : ウェブサイト、スライド、 文章、PDF、テキスト、音声、Youtube URL な ど。 ソースとチャット : NotebookLM がソースに基 づいた情報を提供。 音声における要約 やブリーフィング文章、概要 を自動生成してくれます。 How it works:
60. Proprietary & Confidential NotebookLM と、一般的な RAG やチャット型 AI の違い NotebookLM 一般的な RAG 一般的なチャット型 AI 特定の情報源に従って 答える目的特化型 AI ◯ ◯ ✕ 即座に使える ◯ ✕ (一般的には半年〜年単位の開発 やチューニングを伴う、うまくつくらない とハルシネーションが起こる ) ◯ ハルシネーション抑制 ◯ (極めて少ない) △ チューニング次第 △ (LLM の持つ一般知識で補って答 えるため、一般論として誤りでなくとも、 望んでいない答えが出ることがある ) フィットしやすい用途 1) 個々の従業員や部署ごとの 業務の生産性拡大、 2) 次々と追加される情報をカ バーする用途、 3)大量の情報を速やかに キャッチアップする用途 変化が少ない情報に基づく全 社の知識ベース 一般的な知識に基づく壁打ち
61. Proprietary & Confidential 関連資料をまとめて アップロード - 議事録 - ドキュメント - 外部資料 - … 複雑な情報を 即座に把握 !
62. Proprietary & Confidential Audio Overview 音声概要 移動中に聞ける！ AI 生成ポッドキャスト ノート 間違えた問題を メモして復習！
63. Proprietary & Confidential • 情報を検索する • 情報を整理・分析する • 文章を作成する • 文章を校正する • 画像やグラフを作成する • 体裁を整える 生成 AI 時代のスキル • 生成 AI に目的を指示 する • 生成 AI に追加で指示 する • 適切な状態 になるまで指示する 今まで必要だったスキル これらの能 力に差があ る
64. Proprietary & Confidential プロンプトエンジニアリング • LLM は本質的には、大規模なニューラルネットワークで「 次の 単語を予測する 」という処理を行っているだけ ◦ 「次の単語予測」を繰り返すことで、プロンプトに続く応答 テキストを生成 • 生成 AI に期待通りの出力をさせるために、 指示文を設計・改 良する技術を指します。 ◦ プロンプトの書き方で性能が大きく変わるという研究結果 があります。 AI のポテンシャルを最大限に引き出す鍵
65. プロンプトの構成 Instruction Few-shot Example(s) プロンプト Input data Response 回答 LLM 次の文章をポジティブ、ネガティ ブ、中立に分類分けしなさい。 ただし、ポジティブは1、ネガティ ブは 2、中立は 3と出力しなさ い。 例: この本は面白かった。最後まで 引き込まれました。 // 1と出力。 例: この曲の歌詞は意味が全く分 からない。 // 2と出力。 例: この映画は退屈だったけど、最 後のシーンは感動した。 // 3と出 力。 全体的にバランスの取れた作品で、 特に目立つ欠点も長所もありません でした。
66. 生成 AI における良い指示とは 生成 AI における「良い指示」は、 人間と共通する事項 と生成 AI 特有の事項の2つがあります。 プロンプトを作成する際は、 人間の視点で相手に伝わる指示になっているか を意識した上で、さらに、 生成 AI の 性質を踏まえた指示 を出します。 人間と共通する事項 生成 AI 特有の事項 • 学習した指示文に沿う • 地頭の能力を引き出す • 背景情報・必要な知識を全 て説明する • 明確かつ簡潔に書く • 作業のプロセスを分解してス テップに分ける
67. 1. 詳細かつ明確な指示を 出す 会議の議事録を要約して 会議の議事録を 1 つの段落で要約し、そ の後、発言者とそのキーポイントをマーク ダウン形式でリストアップし、最後に提案 されたアクションアイテムを記載してくだ さい Bad Good 2. 役割を与える あなたはクラウドネットワーキング専門の GCP テクニカルサポートエンジニアです … 最も信頼性の高い GCP のロードバラ ンサーは何ですか？ プロンプトの具体例 (1/2) 参考リンク：プロンプト戦略の概要 | Generative AI on Vertex AI | Google Cloud
68. 3. Don’t よりも Do 4. 回答できない場合の代 替案を用意しておく 5. 繰り返し試行し、フィー ドバックする 以下は顧客に映画をおすすめするエージェ ントです。 興味を尋ねるな、個人情報を聞くな ユーザー：私の興味に基づいて映画を推薦し てください。 エージェント： 以下は顧客に映画をおすすめするエー ジェントです。 エージェントは、世界的にトレンドになっ ている映画の中から映画を推薦する責 任を負います。 世界的にトレンドの映画から推薦し、 ユーザーの好みや個人情報は尋ねる のを避けてください 。 もし推薦する映画がない場合は、「申 し訳ありません、本日おすすめできる 映画が見つかりませんでした。」と応 答してください。 ユーザー：私の興味に基づいて映画を 推薦してください。 エージェント： Bad Good プロンプトの具体例 (2/2) 参考リンク：プロンプト戦略の概要 | Generative AI on Vertex AI | Google Cloud
69. Proprietary & Confidential まとめ 新たな可能性 の扉を開く革 新的なテクノロジー 生成 AI と Gemini あなたの知識を最大限に活 かすパーソナル AI アシス タント NotebookLM AI との効果的な対話で、未 来をデザインする力 プロンプトエンジニアリング