© Link and Motivation Group ChatGPTを活用した 「AI組織改善アドバイザー」開発の裏側と プロダクト実装の工夫 リンクアンドモチベーション リードエンジニア 梅原 穂高

2 © Link and Motivation Group #chatgptinaction 2023/04/05 梅原 穂高 株式会社リンクアンドモチベーション ● 2019年1月〜中途入社 ● プロダクトマネージャー → エンジニア ● Pythonでのアプリケーション開発がメイン ● 社内向けにLLM勉強会を企画中 @ipeblb 自己紹介

3 © Link and Motivation Group #chatgptinaction 2023/04/05 リンクアンドモチベーション 327億円（2022年12月時点） （2022年12月時点） 11社

4 © Link and Motivation Group #chatgptinaction 2023/04/05 モチベーションクラウド 診断 変革 ※ 2022年度 実績 10,060 社 312 万人

5 © Link and Motivation Group #chatgptinaction 2023/04/05 ChatGPT API活用｜「AI組織改善アドバイザー」β版 ● コンサルティング事業で培ったナレッジを元に、改善策を提案 ● 第二弾も鋭意開発中！

6 © Link and Motivation Group #chatgptinaction 2023/04/05 LLMを使った開発で必要なこと

7 © Link and Motivation Group #chatgptinaction 2023/04/05 Unlearn LLMを使った開発で必要なこと

8 © Link and Motivation Group #chatgptinaction 2023/04/05 ● Unlearn = これまでに身につけた思考のクセを取り除く ● GPT普及前 (Before GPT) と普及後 (After GPT) で前提が変わる ○ 「いつかできたらいいな」「できるまでもう少し時間かかるかな」と思っていたことが、 意外と簡単にできるようになった なぜUnlearnが必要か？

9 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn① Before GPT After GPT 構造化データを 前提とした要件 非構造化データ &自然言語処理 を活用する要件

10 © Link and Motivation Group #chatgptinaction 2023/04/05 AI組織改善アドバイザーの構造 基本の仕組みはLangChainのRetrievalQA →プロダクト組み込みが難しい（≒構造化が難しい）と思っていたデータが簡単に活用できる ユーザーの 入力 Vectorstore 自社 ナレッジ LLM 質問文 回答 検索結果 Similarity Search 事前に embedding

11 © Link and Motivation Group #chatgptinaction 2023/04/05 単にドキュメント内の情報を答えるだけでなく、 ドキュメントの情報を活用して Few-shot Learning を行うことができる (≒ドキュメントの結果をもとに推論ができる) データを網羅的に構造化しなくても活用可能に LangChainのretrieval_qa_chainのデフォルトのプロンプト →vectorstoreからの検索結果 →ユーザーの質問 最後の質問に答えるために、以下の文脈 を使用してください。答えがわからない 場合は、「わかりません」とだけ言って、 答えをでっち上げないでください。

12 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn② Before GPT After GPT 明示的な データやロジックの設計 暗黙の前提を言語化して 出力をコントロール

13 © Link and Motivation Group #chatgptinaction 2023/04/05 例えば、ChatGPTとは？を説明させるのも、 「エンジニア以外にわかるように」とつけるだけで回答が結構変わる 「暗黙の前提」を言語化してLLMに渡すことで出力をコントロール

14 © Link and Motivation Group #chatgptinaction 2023/04/05 バリデーションも、ロジックではなく自然言語として渡せる ある程度のプロンプトインジェクション対策もできています

15 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn③ Before GPT After GPT テストケースを作成して 網羅的にテスト 自然言語データに基づく ランダムテスト

16 © Link and Motivation Group #chatgptinaction 2023/04/05 網羅的なテストケースを作成することは困難なので メンバーみんなで色々な質問を想定して、ひたすらテストする 実際に行ったテスト ※過激すぎて一部しか載せられませんでした バリデーションが効いているかチェックするため、 不適切と思われる質問をみんなで考えまくった

17 © Link and Motivation Group #chatgptinaction 2023/04/05 それすらGPTに作らせればよかった

18 © Link and Motivation Group #chatgptinaction 2023/04/05 今後の展望 ● 今まで「プロダクトでやるのは難しい」と思っていたことを全部見直す ○ 明日起きたらできることが増えているかもしれない ● データの溜め方も見直す ○ 会議やアポの録画データなども、溜めていけば活用できる資産になる

19 © Link and Motivation Group #chatgptinaction 2023/04/05 ● 朝起きたら新しいことができるようになっている（かもしれない）世界 ● これまでの非常識が明日の常識になるかもしれない ● Unlearnしながら新しいベストプラクティスを皆で探しましょう まとめ Unlearn

20 © Link and Motivation Group #chatgptinaction 2023/04/05 さいごにお知らせ 4月11日(火) 18:30〜21:00 @オンライン 「ChatGPTでアポ革命！顧客対応の最適化とCSの未来」 このあとURLをツイートします！ #chatgptinaction 4/11 4/18 Chat GPT ×カスタマーサクセス Chat GPT ×エンジニア組織づくり