ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

Transcript

1. ChatGPT Meetup Osaka #1 2023/04/19 Shogo Muranushi @ABEJA 初回なので、 ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
2. 村主 壮悟（むらぬし しょうご） ABEJA, Inc. - CTO室：室長 - リテール領域システム開発G：マネージャ - プラットフォームG：意思決定者的に口出す人 - コーポレートIT（セキュリティ）：意思決定者的に口出す人 自己紹介 2
3. 会社紹介 3
4. 会社紹介 4 2018年11月のGoogleによるBERTの発表をキッカケに本モデル開発にいたり、2022年に大規模GPTモデルとして完成 4年越し
5. 会社紹介 5 のちに会社で進めていることの紹介のために、まずは事業紹介 デジタルプラットフォーム事業 トランスフォーメーション領域 企業のDXニーズに対応した プロフェッショナルサービスを提供 オペレーション領域 ABEJA Platformを利用して 業務推進 2つの領域の 連携で 顧客のDXを 推進 運用 DX推進の 仕組みづくり
6. 会社紹介 6 ABEJA Insight for Retail
7. ChatGPTとは。情報の追い方 7
8. ref: https://note.com/akihisa_shiozaki/n/n4c126c27fd3d ChatGPTとは 8 興味ある人はだいたい知ってるだろうし、細かい説明しても大量過ぎるので 「良記事まとめ」と「追ってる情報元」を中心に
9. ref: https://note.com/akihisa_shiozaki/n/n4c126c27fd3d ChatGPTとは ~全体概要~ 9 松尾研究室：AIの進化と日本の戦略
10. ref: https://speakerdeck.com/imai_eruel/chatgpt-imai ChatGPTとは ~技術詳細~ 10 今井翔太（えるエル）さん：ChatGPT 人間のフィードバックから強化学習した対話AI
11. ref: https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru ChatGPTとは ~技術詳細~ 11 畠山 大有さん：ChatGPT Impact - その社会的/ビジネス価値を考える -
12. https://comemo.nikkei.com/n/nf3132b57539c ChatGPTとは ~経営者視点~ 12 LayerX 福島さん：LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方
13. https://note.com/npaka/n/n00e5c66b6c18 ChatGPTとは ~良情報源①~ 13 note：npakaさん
14. https://twitter.com/shota7180 ChatGPTとは ~良情報源②~ 14 Twitter：木内翔大さん
15. https://twitter.com/shota7180 ChatGPTとは ~良情報源③~ 15 Twitter：LangChain公式、LlamaIndex公式
16. 個人的な使い方（業務での活用例） 16
17. 個人的な使い方（業務での活用例） 17 会社の目標管理のとある項目を検証させてみた
18. 個人的な使い方（業務での活用例） 18 CTO・CIO・CISO・VPoEでそれぞれの役割を議論させてみた
19. 個人的な使い方（業務での活用例） 19 100行のSQL文を読むのが面倒だったので解説させてみた。シンプルな構文にできるか試してみた
20. 個人的な使い方（業務での活用例） 20 自社サービスの提供価値を聞いてみた。GPTの活用アイデアを聞いてみた
21. 個人的な使い方（業務での活用例） 21 データ活用レベルを5段階で表現させてみた。店舗運営で何のKPIに寄与するのか、重要な指標は何か
22. 個人的な使い方（業務での活用例） 22 テストデータを生成させてみた。個人情報も適当に生成してくれる（が有名人の名前も..）
23. 個人的な使い方（まとめ） 23 十分使える。 そのままでも良いものもあれば、多少足りないものもあるけど60%-70%くらいのものでも後30%手を加えるだけにな るし、言語化や構造化もしてくれて十分楽です。 専門的なところは自分の方が優れていて、現時点ではどうしても弱い部分があるかもしれませんが、自身の専門外の部 分を補完してくれるので、より活躍の幅が広がるのかなと思います。 たとえば - エンジニアリングに特化してたけどマネージャをやることになった。何からケアすれば良いかわからない。1on1っ て何をすれば...？ - 事業運営もしないといけない。何からすれば..？会計知識も..？ みたいな時にとりあえず聞いてみて、回答がキッチリ出る場合はそれで良いし、回答が出なくても言語化と構造化され たところから深掘りしていくのもアリと思いました。
24. 自社・サービスへの組み込み方 24
25. 1. パターン a. Training i. Fine-tune b. Prompt Design i. Embedding / Index 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering 自社・サービスへの組み込み方① 25
26. 1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる b. Prompt Design i. Embedding / Index <- 以下のツールを使えば簡単 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単 自社・サービスへの組み込み方① 26
27. 1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる <- 早く安くだが..（FlexGen、RWKV、 DeepSpeed chat、etc…） b. Prompt Design i. Embedding / Index <- 以下のツールを使えば簡単 <- 技術者の入りとしてオススメ 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単 自社・サービスへの組み込み方① 27
28. 自社・サービスへの組み込み方② 28 1. LlamaIndex a. LlamaIndex (旧GPT Index)は、LLMと外部データを接続するための中央インターフェースを提供
29. 1. LangChain a. 言語モデルを利用したアプリケーションを開発するためのフレームワーク b. APIを介して言語モデルを呼び出すだけでなく i. 言語モデルを他のデータソースに接続する（tools） ii. 言語モデルがその環境と相互作用すること（agent）を可能にする 自社・サービスへの組み込み方③ 29 ref: https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru
30. 自社・サービスへの組み込み方④ 30
31. ABEJAでの取り組み 31
32. ABEJAでの取り組み① ~ 全社でのChatGPT Plus / APIの補助 ~ 32 御多分にもれず、全社でのChatGPT Plus / APIの補助をしています。 GitHub Copilot X や Microsoft 365 Copilot とかも生産性爆上げしそうなので注目中。
33. ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み① β開発中 ~ 33 AI体験をしてもらうために一旦は生のAPIをそのまま叩き、使い方を見てどのようなプロンプトが合うのか、どういう データを繋げると効果が高いのかをチャットサービスとして検証するためにサービス組み込み中。 会話履歴をFirestore、スレッド管理をCloudSQLへ。LangChainを使えば変わるんだろうなと思いつつ、ひとまず生 APIを使い下周りの実装や工夫ポイントをチームでノウハウためつつ、LangChainの実装が安定するのを正座で待機 （足が痺れて先に実装するかもだけど） 開発中
34. ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み② β開発予定 ~ 34 店舗での売上におけるPDCAを支援する機能で、PDCA機能というものがある。 店舗での施策案をサジェストしたり、振り返りの壁打ち相手としてもChatGPTは有効。 チャット以外の用途でのサービスへの組み込み、有効性の検証。 目標設定 施策登録 振り返り MLによる売上や来客者数等の予測 GPTによる施策のサジェスト New 振り返りの壁打ち New
35. ABEJAでの取り組み③ ~ ABEJA Platform での取り組み① β開発予定 ~ 35 精度検証をサクッと行えるように、以下のような Indexing と Serving を行うレイヤーに加えて、入力するデータソー スの指定や簡易な検索画面を実装予定。そのまま本番環境のAPIとして利用可能。 ただし、LangChainやLlamaIndex等の動向を注視しながら（2週間単位くらいで実装やコンセプトが変わるので）、何 をどう抽象化するのが効果的か検証・検討中。ベクターデータベースを国産フルマネージドサービスとして作るのも面 白そう。社内で欲しい。あとAutoGPTとかも面白いですよね。
36. ABEJAでの取り組み④ ~ ABEJA LLM Series の取り組み① ~ 36 > 個人情報や企業の機密情報を取り扱う際にデータ のハンドリングが可能な環境を構築しており、プラ イバシー保護および情報漏洩のリスクマネジメント に対応したサービス提供を行なっています。　 => オプトアウトしても、サービスの脆弱性を突か れたりすると漏洩するよね。 特徴① 特徴②
37. その他雑談 37
38. 近未来的な話 38 現時点でこれらを人手で組み合わせることで、簡単に動画 制作ができてしまう。 組み合わせ不要で自然言語でコンテンツ制作ができる世界 も目の前
39. 近未来的な話 39 これGitHub Copilotに実装されたら神機能になる（し、実 装されるでしょう） リポジトリを読み込むだけで仕様書（図解付き）も作って くれるだろうし、コードにコメントも解説もしてくれる。 引き継ぎが捗るのでは？ テストコードもテストデータも生成してくれるし、コアロ ジックに集中できる。
40. 与太話 40 人格を定義できる。TwitterやSlackとかの個人的発言を全 部プロンプトに入れ込めたら「自分」という人格を定義で きるのでは...？ Slack上に存在させて、相談があったら自分らしい返信・意 思決定をしてもらう。80%程度の精度でも良いので自分ら しい返信をしてもらうと仕事しなくても寝てられる..？ これはある意味、上司からよく言われる「自分の右腕を育 てろ」に対する回答..？
41. Two weeks topic 41
42. * 本文章は人間によって作成されました 42
43. ご静聴ありがとうございました 43