Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

shogomuranushi
April 19, 2023
1.8k

ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

shogomuranushi

April 19, 2023
Tweet

Transcript

  1. 村主 壮悟(むらぬし しょうご) ABEJA, Inc. - CTO室:室長 - リテール領域システム開発G:マネージャ -

    プラットフォームG:意思決定者的に口出す人 - コーポレートIT(セキュリティ):意思決定者的に口出す人 自己紹介 2
  2. 1. パターン a. Training i. Fine-tune b. Prompt Design i.

    Embedding / Index 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering 自社・サービスへの組み込み方① 25
  3. 1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる b. Prompt

    Design i. Embedding / Index <- 以下のツールを使えば簡単 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単 自社・サービスへの組み込み方① 26
  4. 1. パターン a. Training i. Fine-tune <- めちゃお金と時間かかる <- 早く安くだが..(FlexGen、RWKV、

    DeepSpeed chat、etc…) b. Prompt Design i. Embedding / Index <- 以下のツールを使えば簡単 <- 技術者の入りとしてオススメ 1. LlamaIndex / LangChain、ChatGPT Retrieval Plugin ii. Prompt Engineering <- テンプレ作るだけなので簡単 自社・サービスへの組み込み方① 27
  5. ABEJAでの取り組み① ~ 全社でのChatGPT Plus / APIの補助 ~ 32 御多分にもれず、全社でのChatGPT Plus

    / APIの補助をしています。 GitHub Copilot X や Microsoft 365 Copilot とかも生産性爆上げしそうなので注目中。
  6. ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み① β開発中 ~ 33

    AI体験をしてもらうために一旦は生のAPIをそのまま叩き、使い方を見てどのようなプロンプトが合うのか、どういう データを繋げると効果が高いのかをチャットサービスとして検証するためにサービス組み込み中。 会話履歴をFirestore、スレッド管理をCloudSQLへ。LangChainを使えば変わるんだろうなと思いつつ、ひとまず生 APIを使い下周りの実装や工夫ポイントをチームでノウハウためつつ、LangChainの実装が安定するのを正座で待機 (足が痺れて先に実装するかもだけど) 開発中
  7. ABEJAでの取り組み② ~ ABEJA Insight for Retail での取り組み② β開発予定 ~ 34

    店舗での売上におけるPDCAを支援する機能で、PDCA機能というものがある。 店舗での施策案をサジェストしたり、振り返りの壁打ち相手としてもChatGPTは有効。 チャット以外の用途でのサービスへの組み込み、有効性の検証。 目標設定 施策登録 振り返り MLによる売上や来客者数等の予測 GPTによる施策のサジェスト New 振り返りの壁打ち New
  8. ABEJAでの取り組み③ ~ ABEJA Platform での取り組み① β開発予定 ~ 35 精度検証をサクッと行えるように、以下のような Indexing

    と Serving を行うレイヤーに加えて、入力するデータソー スの指定や簡易な検索画面を実装予定。そのまま本番環境のAPIとして利用可能。 ただし、LangChainやLlamaIndex等の動向を注視しながら(2週間単位くらいで実装やコンセプトが変わるので)、何 をどう抽象化するのが効果的か検証・検討中。ベクターデータベースを国産フルマネージドサービスとして作るのも面 白そう。社内で欲しい。あとAutoGPTとかも面白いですよね。
  9. ABEJAでの取り組み④ ~ ABEJA LLM Series の取り組み① ~ 36 > 個人情報や企業の機密情報を取り扱う際にデータ

    のハンドリングが可能な環境を構築しており、プラ イバシー保護および情報漏洩のリスクマネジメント に対応したサービス提供を行なっています。  => オプトアウトしても、サービスの脆弱性を突か れたりすると漏洩するよね。 特徴① 特徴②