食べログChatGPTプラグイン導入で見えてきた未来：データサイエンティストの向き合い方

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© Kakaku.com Inc. All Rights Reserved. 2 ⾃⼰紹介森菜都未もりなつみ株式会社カカクコム⾷べログシステム本部技術部データサイエンスチーム 1994年⽣まれ。富⼭⾼等専⾨学校を卒業後、筑波⼤学の情報学群に3 年次編⼊学。機械学習研究室にて、楽しませる囲碁AIの研究を⾏う。同⼤学⼤学院システム情報⼯学研究科に進み、⾃然⾔語処理研究室に移籍。画像キャプション⽣成分野で、囲碁の局⾯に対して解説を付与する研究に従事。国際会議 IFIP ICEC2017にて同研究の論⽂が採択。 The Best Paper Honorable Mention Award受賞。 2019年新卒でソフトバンク株式会社に⼊社。データサイエンティストとしてモバイル事業領域の事業改善施策にプロジェクトリーダとして従事。 2023年2⽉株式会社カカクコム⼊社。現在は、⾷べログの先端領域推進を担当。

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© Kakaku.com Inc. All Rights Reserved. 6 ⾷べログChatGPTプラグインの開発でのデータサイエンスチームの役割 OpenAI社 ChatGPTプラグイン公開⾷べログChatGPTプラグインリリース⾷べログChatGPTプラグイン動作検証・公開申請 ChatGPTプラグイン調査ステークホルダーとの協議：取組み決定各部⾨との調整(法務・セキュリティ・インフラ) お店検索APIの開発 API以外のプラグインに必要な要素の準備 ChatGPTなど⼤規模⾔語モデルの技術的な部分に責任を持つチーム

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© Kakaku.com Inc. All Rights Reserved. 10 データサイエンティストと⼤規模⾔語モデルの関係 GPT（Generative Pre-Trained transformer）、BERT（Bidirectional Encoder Representations from Transformer）などのAttentionベースのニューラル⾔語モデルを理解し、使いこなせるチェック項⽬⾃然⾔語処理スキルカテゴリスキルレベル ★ ★ ★ データサイエンティストに必要なスキルの⼀つ：「GPTなどのモデルを理解し、使いこなせる」引⽤：⼀般社団法⼈データサイエンス協会-データサイエンティストスキルチェックリストデータサイエンティストは⼤規模⾔語モデルを使いこなせる必要がある

Slide 11

Slide 11 text

© Kakaku.com Inc. All Rights Reserved. 11 ⼤規模⾔語モデルの特徴： ChatGPT登場前 ChatGPT登場前の代表的な⼤規模⾔語モデル BERT 2018年にGoogleより公開。事前学習済みの BERTを要約タスクや機械翻訳タスクといったタスクごとにファインチューニングすることでタスクに特化したモデルを利⽤可能。ファインチューニング前提 • ファインチューニング⽤の学習データの準備 • 学習⽤のリソース確保 • ファインチューニングの専⾨知識ファインチューニングに必要なもの特定のタスクごとにパラメータ更新が必要

Slide 12

Slide 12 text

© Kakaku.com Inc. All Rights Reserved. 12 ⼤規模⾔語モデルの特徴： ChatGPT登場後 ChatGPT登場後の代表的な⼤規模⾔語モデル GPT-4 2023年にOpenAIより公開。ChatGPT Plus ユーザとOpenAI API経由での利⽤が可能。In- context learningで特定のタスクごとのファインチューニングを⾏わなくても、それぞれのタスクに適⽤可能。ファインチューニング不要特定のタスクごとのパラメータ更新が不要同じモデルを様々なタスクに適⽤可能

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© Kakaku.com Inc. All Rights Reserved. 18 ⼤規模⾔語モデルを使うべきかの判断機械翻訳要約質問応答⽂章⽣成キーワード抽出エンべディング感情分析⽂章の⾔い換え 1. 解きたい課題のタスクは何かを整理⾷べログの⼝コミ検索の検索精度を改善したいエンべディング、要約、キーワード抽出、感情分析 2. ⼤規模⾔語処理モデルの得意とするタスクかを判断解きたい課題想定されるタスク⼤規模⾔語モデルの得意とするタスク例

Slide 19

Slide 19 text

© Kakaku.com Inc. All Rights Reserved. 19 使うとしたらどの⼤規模⾔語モデルを使うかの判断：⼤規模⾔語モデルの利⽤⽅法分類⼤規模⾔語モデルのプラットフォームを利⽤商⽤利⽤可能なモデルを利⽤完全⾃社開発して利⽤⼤規模⾔語モデルの利⽤⽅法分類 1 2 3 具体的な例 OpenAI API、Azure OpenAI Service、… Dolly 2.0、StableLM、RWKV、OpenCALM、… -

Slide 20

Slide 20 text

© Kakaku.com Inc. All Rights Reserved. 20 例. アプローチとして⼤規模⾔語モデルのプラットフォームを利⽤する場合プラットフォームとしての利⽤の検討 ˞໢ֻ͚෦෼͸ɺ౰ࣾʹͯฤू Ҿ༻ݩɿʮ*544ʴʮσʔλαΠΤϯεྖҬʯ λεΫߏ଄ਤʢத෼ྨʣʯʢಠཱߦ੓๏ਓ৘ใॲཧਪਐػߏʣ IUUQTXXXJQBHPKQKJO[BJTLJMMTUBOEBSEQMVTJUVJJUTTQMVTEBUB@TDJFODFIUNM

Slide 21

Slide 21 text

© Kakaku.com Inc. All Rights Reserved. 21 プラットフォームとしての利⽤の検討プラットフォーム課⾦⽅式コスト(gpt-3.5-turbo) ⼊⼒データの利⽤ Rate limits ・・・ RPM TPM ・・・ Azure OpenAI Service 従量課⾦ $0.002 (1000トークンあたり) ⼆次利⽤なし 300 120,000 ・・・ OpenAI API 従量課⾦ $0.002(1000トークンあたり) ⼆次利⽤なし 3,500 90,000 ・・・要件に合うプラットフォームがあるかを調査して選択 RPM：モデルごとの1分あたりの要求数 TPM：モデルごとの1分あたりのトークン数 Azure OpenAI Serviceの⽅がTPMは多い Rate limitsは引き上げ可能？ → 調査 APIやプラットフォームの仕様の把握など幅広い知識が求められる

Slide 22

Slide 22 text

© Kakaku.com Inc. All Rights Reserved. 22 ⼤規模⾔語モデルを活⽤した案件に必要な業務プロジェクト⽴ち上げアプローチ設計データ収集データ処理評価業務への組み込み改善プロジェクト⽴ち上げアプローチ設計プラットフォームとしての利⽤の検討業務への組み込み改善⼤規模⾔語モデルを活⽤した案件に必要な業務データサイエンティストの業務 AI領域の専⾨知識 APIの接続などの専⾨知識 • データの前処理 • 機械学習 • モデル評価 • etc.

Slide 23

Slide 23 text

© Kakaku.com Inc. All Rights Reserved. 23 ⼤規模⾔語モデルの利⽤に求められるスキル⼤規模⾔語モデルのプラットフォームを利⽤商⽤利⽤可能なモデルを利⽤完全⾃社開発して利⽤専⾨性⾼低⼤規模⾔語モデルの利⽤⽅法分類 • データ収集スキル • ⼤規模⾔語モデル構築のための専⾨知識 • ⼤規模データを扱うスキル • 商⽤利⽤可能な⼤規模⾔語モデルの把握 • ファインチューニングの知識 • プラットフォームとしての利⽤のための知識(APIの接続などの知識) 求められるスキル

Slide 24

Slide 24 text

Slide 25

Slide 25 text