ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

Slide 1

Slide 1 text

ChatGPT Meetup Osaka #1 2023/04/19 Shogo Muranushi @ABEJA 初回なので、 ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

Slide 2

Slide 2 text

村主壮悟（むらぬししょうご） ABEJA, Inc. - CTO室：室長 - リテール領域システム開発G：マネージャ - プラットフォームG：意思決定者的に口出す人 - コーポレートIT（セキュリティ）：意思決定者的に口出す人自己紹介 2

Slide 3

Slide 3 text

会社紹介 3

Slide 4

Slide 4 text

会社紹介 4 2018年11月のGoogleによるBERTの発表をキッカケに本モデル開発にいたり、2022年に大規模GPTモデルとして完成 4年越し

Slide 5

Slide 5 text

会社紹介 5 のちに会社で進めていることの紹介のために、まずは事業紹介デジタルプラットフォーム事業トランスフォーメーション領域企業のDXニーズに対応したプロフェッショナルサービスを提供オペレーション領域 ABEJA Platformを利用して業務推進 2つの領域の連携で顧客のDXを推進運用 DX推進の仕組みづくり

Slide 6

Slide 6 text

会社紹介 6 ABEJA Insight for Retail

Slide 7

Slide 7 text

ChatGPTとは。情報の追い方 7

Slide 8

Slide 8 text

ref: https://note.com/akihisa_shiozaki/n/n4c126c27fd3d ChatGPTとは 8 興味ある人はだいたい知ってるだろうし、細かい説明しても大量過ぎるので「良記事まとめ」と「追ってる情報元」を中心に

Slide 9

Slide 9 text

ref: https://note.com/akihisa_shiozaki/n/n4c126c27fd3d ChatGPTとは ~全体概要~ 9 松尾研究室：AIの進化と日本の戦略

Slide 10

Slide 10 text

ref: https://speakerdeck.com/imai_eruel/chatgpt-imai ChatGPTとは ~技術詳細~ 10 今井翔太（えるエル）さん：ChatGPT 人間のフィードバックから強化学習した対話AI

Slide 11

Slide 11 text

ref: https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru ChatGPTとは ~技術詳細~ 11 畠山大有さん：ChatGPT Impact - その社会的/ビジネス価値を考える -

Slide 12

Slide 12 text

https://comemo.nikkei.com/n/nf3132b57539c ChatGPTとは ~経営者視点~ 12 LayerX 福島さん：LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方

Slide 13

Slide 13 text

https://note.com/npaka/n/n00e5c66b6c18 ChatGPTとは ~良情報源①~ 13 note：npakaさん

Slide 14

Slide 14 text

https://twitter.com/shota7180 ChatGPTとは ~良情報源②~ 14 Twitter：木内翔大さん

Slide 15

Slide 15 text

https://twitter.com/shota7180 ChatGPTとは ~良情報源③~ 15 Twitter：LangChain公式、LlamaIndex公式

Slide 16

Slide 16 text

個人的な使い方（業務での活用例） 16

Slide 17

Slide 17 text

個人的な使い方（業務での活用例） 17 会社の目標管理のとある項目を検証させてみた

Slide 18

Slide 18 text

個人的な使い方（業務での活用例） 18 CTO・CIO・CISO・VPoEでそれぞれの役割を議論させてみた

Slide 19

Slide 19 text

個人的な使い方（業務での活用例） 19 100行のSQL文を読むのが面倒だったので解説させてみた。シンプルな構文にできるか試してみた

Slide 20

Slide 20 text

個人的な使い方（業務での活用例） 20 自社サービスの提供価値を聞いてみた。GPTの活用アイデアを聞いてみた

Slide 21

Slide 21 text

個人的な使い方（業務での活用例） 21 データ活用レベルを5段階で表現させてみた。店舗運営で何のKPIに寄与するのか、重要な指標は何か

Slide 22

Slide 22 text

個人的な使い方（業務での活用例） 22 テストデータを生成させてみた。個人情報も適当に生成してくれる（が有名人の名前も..）

Slide 23

Slide 23 text

個人的な使い方（まとめ） 23 十分使える。そのままでも良いものもあれば、多少足りないものもあるけど60%-70%くらいのものでも後30%手を加えるだけになるし、言語化や構造化もしてくれて十分楽です。専門的なところは自分の方が優れていて、現時点ではどうしても弱い部分があるかもしれませんが、自身の専門外の部分を補完してくれるので、より活躍の幅が広がるのかなと思います。たとえば - エンジニアリングに特化してたけどマネージャをやることになった。何からケアすれば良いかわからない。1on1って何をすれば...？ - 事業運営もしないといけない。何からすれば..？会計知識も..？みたいな時にとりあえず聞いてみて、回答がキッチリ出る場合はそれで良いし、回答が出なくても言語化と構造化されたところから深掘りしていくのもアリと思いました。

Slide 24

Slide 24 text

自社・サービスへの組み込み方 24

Slide 25

Slide 25 text

1. パターン a. Training i. Fine-tune b. Prompt Design i. Embedding / Index 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering 自社・サービスへの組み込み方① 25

Slide 26

Slide 26 text

1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる b. Prompt Design i. Embedding / Index <- 以下のツールを使えば簡単 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単自社・サービスへの組み込み方① 26

Slide 27

Slide 27 text

1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる <- 早く安くだが..（FlexGen、RWKV、 DeepSpeed chat、etc…） b. Prompt Design i. Embedding / Index <- 以下のツールを使えば簡単 <- 技術者の入りとしてオススメ 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単自社・サービスへの組み込み方① 27

Slide 28

Slide 28 text

自社・サービスへの組み込み方② 28 1. LlamaIndex a. LlamaIndex (旧GPT Index)は、LLMと外部データを接続するための中央インターフェースを提供

Slide 29

Slide 29 text

1. LangChain a. 言語モデルを利用したアプリケーションを開発するためのフレームワーク b. APIを介して言語モデルを呼び出すだけでなく i. 言語モデルを他のデータソースに接続する（tools） ii. 言語モデルがその環境と相互作用すること（agent）を可能にする自社・サービスへの組み込み方③ 29 ref: https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru

Slide 30

Slide 30 text

自社・サービスへの組み込み方④ 30

Slide 31

Slide 31 text

ABEJAでの取り組み 31

Slide 32

Slide 32 text

ABEJAでの取り組み① ~ 全社でのChatGPT Plus / APIの補助 ~ 32 御多分にもれず、全社でのChatGPT Plus / APIの補助をしています。 GitHub Copilot X や Microsoft 365 Copilot とかも生産性爆上げしそうなので注目中。

Slide 33

Slide 33 text

ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み① β開発中 ~ 33 AI体験をしてもらうために一旦は生のAPIをそのまま叩き、使い方を見てどのようなプロンプトが合うのか、どういうデータを繋げると効果が高いのかをチャットサービスとして検証するためにサービス組み込み中。会話履歴をFirestore、スレッド管理をCloudSQLへ。LangChainを使えば変わるんだろうなと思いつつ、ひとまず生 APIを使い下周りの実装や工夫ポイントをチームでノウハウためつつ、LangChainの実装が安定するのを正座で待機（足が痺れて先に実装するかもだけど）開発中

Slide 34

Slide 34 text

ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み② β開発予定 ~ 34 店舗での売上におけるPDCAを支援する機能で、PDCA機能というものがある。店舗での施策案をサジェストしたり、振り返りの壁打ち相手としてもChatGPTは有効。チャット以外の用途でのサービスへの組み込み、有効性の検証。目標設定施策登録振り返り MLによる売上や来客者数等の予測 GPTによる施策のサジェスト New 振り返りの壁打ち New

Slide 35

Slide 35 text

ABEJAでの取り組み③ ~ ABEJA Platform での取り組み① β開発予定 ~ 35 精度検証をサクッと行えるように、以下のような Indexing と Serving を行うレイヤーに加えて、入力するデータソースの指定や簡易な検索画面を実装予定。そのまま本番環境のAPIとして利用可能。ただし、LangChainやLlamaIndex等の動向を注視しながら（2週間単位くらいで実装やコンセプトが変わるので）、何をどう抽象化するのが効果的か検証・検討中。ベクターデータベースを国産フルマネージドサービスとして作るのも面白そう。社内で欲しい。あとAutoGPTとかも面白いですよね。

Slide 36

Slide 36 text

ABEJAでの取り組み④ ~ ABEJA LLM Series の取り組み① ~ 36 > 個人情報や企業の機密情報を取り扱う際にデータのハンドリングが可能な環境を構築しており、プライバシー保護および情報漏洩のリスクマネジメントに対応したサービス提供を行なっています。　 => オプトアウトしても、サービスの脆弱性を突かれたりすると漏洩するよね。特徴① 特徴②

Slide 37

Slide 37 text

その他雑談 37

Slide 38

Slide 38 text

近未来的な話 38 現時点でこれらを人手で組み合わせることで、簡単に動画制作ができてしまう。組み合わせ不要で自然言語でコンテンツ制作ができる世界も目の前

Slide 39

Slide 39 text

近未来的な話 39 これGitHub Copilotに実装されたら神機能になる（し、実装されるでしょう）リポジトリを読み込むだけで仕様書（図解付き）も作ってくれるだろうし、コードにコメントも解説もしてくれる。引き継ぎが捗るのでは？テストコードもテストデータも生成してくれるし、コアロジックに集中できる。

Slide 40

Slide 40 text

与太話 40 人格を定義できる。TwitterやSlackとかの個人的発言を全部プロンプトに入れ込めたら「自分」という人格を定義できるのでは...？ Slack上に存在させて、相談があったら自分らしい返信・意思決定をしてもらう。80%程度の精度でも良いので自分らしい返信をしてもらうと仕事しなくても寝てられる..？これはある意味、上司からよく言われる「自分の右腕を育てろ」に対する回答..？