Google Cloudで始めるLLM データアナリティクス事業本部 じょんすみす

自己紹介 じょんすみす データアナリティクス事業本部 インテグレーション部 機械学習チーム 特徴 • 機械学習やってるっぽい • PythonよりRの方が好きらしい • Excelだけ全部やれと言われたら出来ないこともない • Hadoop, EMRおじさん アイコン→ 今回の移動経路→

本日話す内容 • 機械学習と生成AIとLLM • Google CloudのLLMでできること • 使い始める Google Cloudで手軽にLLMを使ってみようぜ！というお話

本日話す内容 • 機械学習と生成AIとLLM • Google CloudのLLMでできること • 使い始める Google Cloudで手軽にLLMを使ってみようぜ！というお話

機械学習と生成AIとLLM 本発表における用語は以下のように定義します。 必ずしも一般的にそのまま適用されるものではありませんのでご注意ください。 • 機械学習(教師あり学習) • 与えられたデータの組み合わせ𝐱, 𝑦から𝑦 = 𝑓(𝐱; 𝜃)を求める𝜃を決める • 𝑦が未知の𝐱に対して予測が可能になる • 生成AI • 言語、画像、音声などを問わずそのまま人間が利用するものを出力する • 利用する手法自体が生成モデルであるかとは関係ないものとする • LLM(Large Language Model) • TransformerのDecoder部分を利用してたモデル全般 • 次の単語を予測するように事前学習したもの

Transformerの動きについて 本発表でLLMが指し示すものを明確にするために、対象の範囲を決めておきます。 • 何を学習させるか？ • 何を推論するか？ • どのように利用するか？

何を学習するか？ 学習時はデータとなる文章から次の単語※1を予測する。 Embedding Positional Encoding Masked Multi-Head Attention Add & Norm Feed Forward Add & Norm Linear softmax 𝐱 input 𝑦 N層 𝑦 : 次に来ると予測した単語 𝐱 :これまでの文章を単語に分けたリスト 「吾輩は猫である」という文章があるときに • 𝐱 : 吾輩、𝑦 : は • 𝐱 : 吾輩は、𝑦 : 猫 • 𝐱 : 吾輩は猫、𝑦 : で • 𝐱 : 吾輩は猫で、𝑦 : ある のような情報を学習データさせる※2 ※1 文章の分割という意味でトークンではなく単語で統一 ※2 厳密には文の先頭を示す文字と末尾を示す特殊文字を含む

何を推論するか？ 推論時には途中まで与えたデータから連続して次の単語を予測していく。 1. 次の単語候補とその確率が複数出る※ ※ 実際には予測可能な全単語に対しての確率が算出される

何を推論するか？ 推論時には途中まで与えたデータから連続して次の単語を予測していく。 1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する ※ 実際には予測可能な全単語に対しての確率が算出される

何を推論するか？ 推論時には途中まで与えたデータから連続して次の単語を予測していく。 1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する 3. その中から絞っていく 4. 最終的に全体を通してもっとも自然な文章を選択 ※ 実際には予測可能な全単語に対しての確率が算出される

どのように利用するか？ LLMを動かす場所は大きく分けて2種類あります。 クラウドサービスを利用する 動かすサーバを用意する • APIからリクエストを発行して利用 • モデルの学習などはサービス提供者が実施済み • Web UIなどを提供している場合もある • fine-tuningが可能なものもある • ライブラリとして利用するイメージ • 世にある事前学習モデルを利用 • ゼロから学習させることも可能 • 高性能なハードウェアを用意する必要がある

どのように利用するか？ LLMを動かす場所は大きく分けて2種類あります。 クラウドサービスを利用する 動かすサーバを用意する • APIからリクエストを発行して利用 • モデルの学習などはサービス提供者が実施済み • Web UIなどを提供している場合もある • fine-tuningが可能なものもある • ライブラリとして利用するイメージ • 世にある事前学習モデルを利用 • ゼロから学習させることも可能 • 高性能なハードウェアを用意する必要がある Google CloudのLLMはコチラ 簡単に使い始めることが可能です

本日話す内容 • 機械学習と生成AIとLLM • Google CloudのLLMでできること • 使い始める Google Cloudで手軽にLLMを使ってみようぜ！というお話

PaLM2 : Googleが提供するLLM PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル

連携対象となる各種サービス 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. 説明の都合上簡略化しています アプリケーションは単体のGoogleアカウントなどからも利用可能です ※

連携対象となる各種サービスとPaLM2 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル

Bard 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Bard Bard 自然言語をインターフェースとした対話や各種アプリケーションとの連携が可能な 単体のアプリケーション

Duet AI 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Duet AI 文書作成やコーディングの際において、後続の文書を予測することで 補完する仕組みを提供する Duet AI Bard

Vertex AI Generative AI Studio 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Vertex AI Generative AI Studio Vertex AI内で機械学習の仕組みとしてPaLM2を利用する APIからの呼び出しの実現やfine-tuningの実施といったことが可能 Duet AI Bard

BigQuery 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル BigQueryの関数として利用 BigQuery connectionの仕組みを利用してVertex AIで提供されるモデルを SQL内で関数と利用可能 Duet AI Bard

本日話す内容 • 機械学習と生成AIとLLM • Google CloudのLLMでできること • 使い始める Google Cloudで手軽にLLMを使ってみようぜ！というお話

使い始める デモ : 実際に動かしてみてその動きを確認していこうぜ！ • まずはサクッと試してみよう • キャラクター設定をしてチャットをしてみよう • コード化してColab Enterpriseから利用してみよう • BigQueryから使ってみよう

※ 以降はデモで行った内容のスクリーンショットとなります。

デモ内容 まずはサクッと試してみよう

デモ内容 まずはサクッと試してみよう

デモ内容 キャラクター設定をしてチャットをしてみよう

デモ内容 コード化してColab Enterpriseから利用してみよう

デモ内容 コード化してColab Enterpriseから利用してみよう

デモ内容 コード化してColab Enterpriseから利用してみよう

デモ内容 おまけ: Duet AIによるコード保管 コードを書く際にはDuet AIが候補を出してくれる

デモ内容 BigQueryから使ってみよう

まとめ • LLMは大規模なデータで自然言語の表現を学習することで次の単語を予測できるようにする • Googleが開発したLLMであるPaLM2はGoogle CloudやWorkspaceなどと連携して様々な 場面で利用できる • Vertex AIのコンソール画面などから簡単に試してみることが可能 Google Cloudで手軽にLLMを使ってみようぜ！というお話をしました。

33