Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Cloudで始めるLLM

John Smith
September 28, 2023

Google Cloudで始めるLLM

DevelopersIO 2023 沖縄 オンライン(https://classmethod.connpass.com/event/294845/) の発表資料

John Smith

September 28, 2023
Tweet

More Decks by John Smith

Other Decks in Technology

Transcript

  1. 自己紹介 じょんすみす データアナリティクス事業本部 インテグレーション部 機械学習チーム 特徴 • 機械学習やってるっぽい • PythonよりRの方が好きらしい

    • Excelだけ全部やれと言われたら出来ないこともない • Hadoop, EMRおじさん アイコン→ 今回の移動経路→
  2. 機械学習と生成AIとLLM 本発表における用語は以下のように定義します。 必ずしも一般的にそのまま適用されるものではありませんのでご注意ください。 • 機械学習(教師あり学習) • 与えられたデータの組み合わせ𝐱, 𝑦から𝑦 = 𝑓(𝐱;

    𝜃)を求める𝜃を決める • 𝑦が未知の𝐱に対して予測が可能になる • 生成AI • 言語、画像、音声などを問わずそのまま人間が利用するものを出力する • 利用する手法自体が生成モデルであるかとは関係ないものとする • LLM(Large Language Model) • TransformerのDecoder部分を利用してたモデル全般 • 次の単語を予測するように事前学習したもの
  3. 何を学習するか? 学習時はデータとなる文章から次の単語※1を予測する。 Embedding Positional Encoding Masked Multi-Head Attention Add &

    Norm Feed Forward Add & Norm Linear softmax 𝐱 input 𝑦 N層 𝑦 : 次に来ると予測した単語 𝐱 :これまでの文章を単語に分けたリスト 「吾輩は猫である」という文章があるときに • 𝐱 : 吾輩、𝑦 : は • 𝐱 : 吾輩は、𝑦 : 猫 • 𝐱 : 吾輩は猫、𝑦 : で • 𝐱 : 吾輩は猫で、𝑦 : ある のような情報を学習データさせる※2 ※1 文章の分割という意味でトークンではなく単語で統一 ※2 厳密には文の先頭を示す文字と末尾を示す特殊文字を含む
  4. どのように利用するか? LLMを動かす場所は大きく分けて2種類あります。 クラウドサービスを利用する 動かすサーバを用意する • APIからリクエストを発行して利用 • モデルの学習などはサービス提供者が実施済み • Web

    UIなどを提供している場合もある • fine-tuningが可能なものもある • ライブラリとして利用するイメージ • 世にある事前学習モデルを利用 • ゼロから学習させることも可能 • 高性能なハードウェアを用意する必要がある
  5. どのように利用するか? LLMを動かす場所は大きく分けて2種類あります。 クラウドサービスを利用する 動かすサーバを用意する • APIからリクエストを発行して利用 • モデルの学習などはサービス提供者が実施済み • Web

    UIなどを提供している場合もある • fine-tuningが可能なものもある • ライブラリとして利用するイメージ • 世にある事前学習モデルを利用 • ゼロから学習させることも可能 • 高性能なハードウェアを用意する必要がある Google CloudのLLMはコチラ 簡単に使い始めることが可能です
  6. PaLM2 : Googleが提供するLLM PaLM2 モデルサイズ • Gecko • Otter •

    Bison • Unicorn 用途 • Text • Chat • Code LLMモデル
  7. 連携対象となる各種サービス 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc.

    各種Googleのサービス BigQuery Vertex AI etc. 説明の都合上簡略化しています アプリケーションは単体のGoogleアカウントなどからも利用可能です ※
  8. 連携対象となる各種サービスとPaLM2 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc.

    各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル
  9. Bard 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc.

    各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Bard Bard 自然言語をインターフェースとした対話や各種アプリケーションとの連携が可能な 単体のアプリケーション
  10. Duet AI 組織 Google Cloud Workspace Docs Sheets Slides Gmail

    etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Duet AI 文書作成やコーディングの際において、後続の文書を予測することで 補完する仕組みを提供する Duet AI Bard
  11. Vertex AI Generative AI Studio 組織 Google Cloud Workspace Docs

    Sheets Slides Gmail etc. 各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル Vertex AI Generative AI Studio Vertex AI内で機械学習の仕組みとしてPaLM2を利用する APIからの呼び出しの実現やfine-tuningの実施といったことが可能 Duet AI Bard
  12. BigQuery 組織 Google Cloud Workspace Docs Sheets Slides Gmail etc.

    各種Googleのサービス BigQuery Vertex AI etc. PaLM2 モデルサイズ • Gecko • Otter • Bison • Unicorn 用途 • Text • Chat • Code LLMモデル BigQueryの関数として利用 BigQuery connectionの仕組みを利用してVertex AIで提供されるモデルを SQL内で関数と利用可能 Duet AI Bard
  13. 33