ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫/ChatGPT IN ACTION LT Link and Motivation

【ChatGPT IN ACTION 実践で使う大規模言語モデル】
リンクアンドモチベーション登壇資料（2023/04/05）

『ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫』

#chatgptinaction #リンクアンドモチベーション #リンモチ
=============================================
【イベント情報】
■イベントページ
　https://rector.connpass.com/event/278495/
■YouTube
　https://www.youtube.com/watch?v=wJ0b776RHhM

【株式会社リンクアンドモチベーション】
■お問い合わせ
　engineer_pr@lmi.ne.jp
■Entrancebook
　https://note.com/lmi/n/n179505e048f4
■テックブログ
　https://link-and-motivation.hatenablog.com/
■登壇者 梅原Twitter
　https://twitter.com/ipeblb
=============================================

Transcript

1. © Link and Motivation Group ChatGPTを活用した 「AI組織改善アドバイザー」開発の裏側と プロダクト実装の工夫 リンクアンドモチベーション リードエンジニア 梅原 穂高
2. 2 © Link and Motivation Group #chatgptinaction 2023/04/05 梅原 穂高 株式会社リンクアンドモチベーション • 2019年1月〜中途入社 • プロダクトマネージャー → エンジニア • Pythonでのアプリケーション開発がメイン • 社内向けにLLM勉強会を企画中 @ipeblb 自己紹介
3. 3 © Link and Motivation Group #chatgptinaction 2023/04/05 リンクアンドモチベーション 327億円（2022年12月時点） （2022年12月時点） 11社
4. 4 © Link and Motivation Group #chatgptinaction 2023/04/05 モチベーションクラウド 診断 変革 ※ 2022年度 実績 10,060 社 312 万人
5. 5 © Link and Motivation Group #chatgptinaction 2023/04/05 ChatGPT API活用｜「AI組織改善アドバイザー」β版 • コンサルティング事業で培ったナレッジを元に、改善策を提案 • 第二弾も鋭意開発中！
6. 6 © Link and Motivation Group #chatgptinaction 2023/04/05 LLMを使った開発で必要なこと
7. 7 © Link and Motivation Group #chatgptinaction 2023/04/05 Unlearn LLMを使った開発で必要なこと
8. 8 © Link and Motivation Group #chatgptinaction 2023/04/05 • Unlearn = これまでに身につけた思考のクセを取り除く • GPT普及前 (Before GPT) と普及後 (After GPT) で前提が変わる ◦ 「いつかできたらいいな」「できるまでもう少し時間かかるかな」と思っていたことが、 意外と簡単にできるようになった なぜUnlearnが必要か？
9. 9 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn① Before GPT After GPT 構造化データを 前提とした要件 非構造化データ &自然言語処理 を活用する要件
10. 10 © Link and Motivation Group #chatgptinaction 2023/04/05 AI組織改善アドバイザーの構造 基本の仕組みはLangChainのRetrievalQA →プロダクト組み込みが難しい（≒構造化が難しい）と思っていたデータが簡単に活用できる ユーザーの 入力 Vectorstore 自社 ナレッジ LLM 質問文 回答 検索結果 Similarity Search 事前に embedding
11. 11 © Link and Motivation Group #chatgptinaction 2023/04/05 単にドキュメント内の情報を答えるだけでなく、 ドキュメントの情報を活用して Few-shot Learning を行うことができる (≒ドキュメントの結果をもとに推論ができる) データを網羅的に構造化しなくても活用可能に LangChainのretrieval_qa_chainのデフォルトのプロンプト →vectorstoreからの検索結果 →ユーザーの質問 最後の質問に答えるために、以下の文脈 を使用してください。答えがわからない 場合は、「わかりません」とだけ言って、 答えをでっち上げないでください。
12. 12 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn② Before GPT After GPT 明示的な データやロジックの設計 暗黙の前提を言語化して 出力をコントロール
13. 13 © Link and Motivation Group #chatgptinaction 2023/04/05 例えば、ChatGPTとは？を説明させるのも、 「エンジニア以外にわかるように」とつけるだけで回答が結構変わる 「暗黙の前提」を言語化してLLMに渡すことで出力をコントロール
14. 14 © Link and Motivation Group #chatgptinaction 2023/04/05 バリデーションも、ロジックではなく自然言語として渡せる ある程度のプロンプトインジェクション対策もできています
15. 15 © Link and Motivation Group #chatgptinaction 2023/04/05 After GPTのUnlearn③ Before GPT After GPT テストケースを作成して 網羅的にテスト 自然言語データに基づく ランダムテスト
16. 16 © Link and Motivation Group #chatgptinaction 2023/04/05 網羅的なテストケースを作成することは困難なので メンバーみんなで色々な質問を想定して、ひたすらテストする 実際に行ったテスト ※過激すぎて一部しか載せられませんでした バリデーションが効いているかチェックするため、 不適切と思われる質問をみんなで考えまくった
17. 17 © Link and Motivation Group #chatgptinaction 2023/04/05 それすらGPTに作らせればよかった
18. 18 © Link and Motivation Group #chatgptinaction 2023/04/05 今後の展望 • 今まで「プロダクトでやるのは難しい」と思っていたことを全部見直す ◦ 明日起きたらできることが増えているかもしれない • データの溜め方も見直す ◦ 会議やアポの録画データなども、溜めていけば活用できる資産になる
19. 19 © Link and Motivation Group #chatgptinaction 2023/04/05 • 朝起きたら新しいことができるようになっている（かもしれない）世界 • これまでの非常識が明日の常識になるかもしれない • Unlearnしながら新しいベストプラクティスを皆で探しましょう まとめ Unlearn
20. 20 © Link and Motivation Group #chatgptinaction 2023/04/05 さいごにお知らせ 4月11日(火) 18:30〜21:00 @オンライン 「ChatGPTでアポ革命！顧客対応の最適化とCSの未来」 このあとURLをツイートします！ #chatgptinaction 4/11 4/18 Chat GPT ×カスタマーサクセス Chat GPT ×エンジニア組織づくり