Slide 1

Slide 1 text

AIに対応したBigQuery と 今後のデータ分析について 株式会社ZOZO
 技術本部 MA部 MA施策推進ブロック
 
 杉田 駿介 Copyright © ZOZO, Inc. 1

Slide 2

Slide 2 text

© ZOZO, Inc. 株式会社ZOZO 技術本部 MA部 MA施策推進ブロック 杉田 駿介 仕事:  ・配信施策・プロジェクトでの設計・開発・運用  ・広告フィード連携システムの設計・開発・運用 プライベート:  ・趣味: ゲーム、サウナ、ジム 2

Slide 3

Slide 3 text

© ZOZO, Inc. 3 ● BigQuery関連のAI系の新機能について ○ Gemini in BigQuery ○ Vertex AIとの統合 ● まとめ ● 感想 本日話すこと 引用元:Google Cloud Next '24 参加レポート

Slide 4

Slide 4 text

© ZOZO, Inc. 4 BigQuery関連の AI系の新機能について

Slide 5

Slide 5 text

© ZOZO, Inc. 5 Gemini in BigQuery

Slide 6

Slide 6 text

© ZOZO, Inc. 6 Geminiって? ● マルチモーダル生成AIモデル ○ 画像、動画、テキスト(自然言語)などの幅広い入力をまとめて処理し、様々な出力を提供でき る ● 優れた推論能力を持つ(膨大なデータの中から識別が難しい知識を発見する能力に長けている) ● 高品質なコード生成 ○ PythonやJava、C++、Go などさまざまなプログラミング言語を理解している

Slide 7

Slide 7 text

© ZOZO, Inc. 7 何ができるようになったの? ● 自然言語からのSQL生成 ● Data Preparation ○ 分析データ準備に必要なデータのクレンジング・変換をAIが提案 ● Data Canvas ○ キャンバス上でデータの検索・分析・可視化を実現する

Slide 8

Slide 8 text

© ZOZO, Inc. 8 Data Preparation product_reviews product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23

Slide 9

Slide 9 text

© ZOZO, Inc. 9 Data Preparation product_reviews フォーマットが バラバラ product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23

Slide 10

Slide 10 text

© ZOZO, Inc. 10 Data Preparation product_reviews フォーマットが バラバラ product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23 このフォーマットで統一しますか?

Slide 11

Slide 11 text

© ZOZO, Inc. 11 Data Preparation product_reviews product_name posted_date product_A 2024-03-22T01:45:41 product_B 2024-03-23T00:00:00 ワンクリックで フォーマット統一

Slide 12

Slide 12 text

© ZOZO, Inc. 12 Data Preparation QRからも 見れるよ

Slide 13

Slide 13 text

© ZOZO, Inc. 13 Data Canvas(データの検索) トレンド商品の一覧っ てBigQueryのどこに あったっけ

Slide 14

Slide 14 text

© ZOZO, Inc. 14 Data Canvas(データの検索) トレンド商品の一覧っ てBigQueryのどこに あったっけ 〇〇か、それか□□か...etc

Slide 15

Slide 15 text

© ZOZO, Inc. 15 Data Canvas(データの検索) product_trends

Slide 16

Slide 16 text

© ZOZO, Inc. 16 Data Canvas(データの検索) QRからも 見れるよ

Slide 17

Slide 17 text

© ZOZO, Inc. 17 Data Canvas(データの分析&自然言語からのSQL生成) product_trends 日付 商品カテゴリ 投稿数 前週のトレンドの カテゴリートップ5は?

Slide 18

Slide 18 text

© ZOZO, Inc. 18 Data Canvas(データの分析&自然言語からのSQL生成) product_trends 日付 商品カテゴリ 投稿数 前週のトレンドの カテゴリートップ5は? このクエリで出せますよ

Slide 19

Slide 19 text

© ZOZO, Inc. 19 Data Canvas(データの分析&自然言語からのSQL生成) top_5_trend_categories row category_name mention_count 1 category_A 10000 2 category_B 9500 3 category_C 9000 4 category_D 8900 5 category_E 7800

Slide 20

Slide 20 text

© ZOZO, Inc. 20 Data Canvas(データの分析&自然言語からのSQL生成) QRからも 見れるよ

Slide 21

Slide 21 text

© ZOZO, Inc. 21 Data Canvas(データの可視化) top_5_trend_categories 日付 商品カテゴリ 投稿数 投稿数順で並べた 横棒のグラフを 作成したい

Slide 22

Slide 22 text

© ZOZO, Inc. 22 Data Canvas(データの可視化) top_5_trend_categories 日付 商品カテゴリ 投稿数 投稿数順で並べた 横棒のグラフを 作成したい インサイトも出します

Slide 23

Slide 23 text

© ZOZO, Inc. 23 Data Canvas(データの可視化) ● 〇〇は、前週比から△△%アップしていて、 圧倒的にトレンドが高いカテゴリです

Slide 24

Slide 24 text

© ZOZO, Inc. 24 Data Canvas(データの可視化) QRからも 見れるよ

Slide 25

Slide 25 text

© ZOZO, Inc. 25 Vertex AIとの統合 (BigQuery ML)

Slide 26

Slide 26 text

© ZOZO, Inc. 26 Vertex AIって? ● 機械学習ワークロードを構築するためのツールを統合したプロダクト ○ トレーニング用データの管理 ○ 機械学習モデルのトレーニング ○ 機械学習の開発、運用に役立つ様々なツールが提供される

Slide 27

Slide 27 text

© ZOZO, Inc. 27 何ができるようになったの? ● Remote Inference for LLMs / Cloud AI APIs ○ モデリング関数のマルチモーダル対応化 ■ ML.GENERATE_TEXT ■ ML.PROCESS_DOCUMENT ■ ML.GENERATE_EMBEDDING ● BigQuery vector embeddings, search, and support for LLM frameworks ○ BQ上にあるデータをエンべディングし、ベクトルインデックスを作成、類似検索が可能に

Slide 28

Slide 28 text

© ZOZO, Inc. 28 BigQuery ML(ベクトル検索) トレンドカテゴリに一致 しそうな商品は何か top_5_trend_categories 日付 商品カテゴリ 投稿数

Slide 29

Slide 29 text

© ZOZO, Inc. 29 BigQuery ML(ベクトル検索) top_5_trend_categories 日付 商品カテゴリ 投稿数 このBigQuery MLを使用した このクエリで出せますよ トレンドカテゴリに一致 しそうな商品は何か

Slide 30

Slide 30 text

© ZOZO, Inc. 30 BigQuery ML(ベクトル検索) product_name image product_A product_B

Slide 31

Slide 31 text

© ZOZO, Inc. 31 BigQuery ML(ベクトル検索) QRからも 見れるよ

Slide 32

Slide 32 text

© ZOZO, Inc. 32 BigQuery ML(推論) この先1年間の売上は どうなるのか product_name image product_A product_B

Slide 33

Slide 33 text

© ZOZO, Inc. 33 BigQuery ML(推論) この先1年間の売上は どうなるのか product_name image product_A product_B このBigQuery MLを使用した このクエリで出せますよ

Slide 34

Slide 34 text

© ZOZO, Inc. 34 BigQuery ML(推論) product_name forecast_value product_B 33000000 product_A 15000000

Slide 35

Slide 35 text

© ZOZO, Inc. 35 BigQuery ML(推論) QRからも 見れるよ

Slide 36

Slide 36 text

© ZOZO, Inc. 36 まとめ

Slide 37

Slide 37 text

© ZOZO, Inc. 37 引用元:"What’s next for data analytics in the AI era" at 32:12 データ分析において, 人がSQLを書かず, Geminiとの自然言語での対話だけで完結 ● データのクレンジング ● データの検索 ● データの分析 ● データの可視化 ● データのベクトル検索 ● データの予想

Slide 38

Slide 38 text

© ZOZO, Inc. 38 感想

Slide 39

Slide 39 text

© ZOZO, Inc. 39 感想 ● データ分析や機械学習を全てBigQuery上でできるので、コスト削減が見込める ● クエリやコードの補完機能で、クオリティ向上が見込める ● 今までは専門的な知識が必要だったデータ分析と機械学習が、誰でもできるようにな り、素早くPDCAサイクルなどを回せることが見込める ● 権限管理が重要

Slide 40

Slide 40 text

No content