LLMアプリケーション_リリース後の苦労とGROW.pdf

Transcript

1. 2024/04/24 株式会社カラダノート　堀内 栄一 1 LLMアプリケーション リリース後の苦労とGROW
2. 自己紹介 2 名前 堀内 栄一 出身地 和歌山県のとても山奥 役割 ・2020年7月にカラダノートに入社 ・執行役員プロダクト本部長 ・2児の父 SNS ・X: https://twitter.com/horiuchie1 ・GitHub: https://github.com/horiuchie ・Facebook:https://www.facebook.com/eiichi.horiuchi.1 得意分野 アーキテクト、モデリング、宣言的/関数型、データ分析、Vim、泥臭 さ、プロダクトマーケティング、...etc
3. 会社概要 3 会社名 株式会社カラダノート（KARADANOTE INC.） 所在地 〒108-0023　東京都港区芝浦3-8-10　MA芝浦ビル6階 代表 佐藤　竜也 設立 2008年12月24日 メンバー 58名（2023年10月末時点）正社員・アルバイト含む 事業 ファミリーデータプラットフォーム事業 妊娠出産育児に関する、メディアの企画運営/アプリの企画開発 服薬、健康管理に関する、アプリの企画開発
4. ビジネスモデル 4
5. アジェンダ 5 • AI活用例の紹介 ◦ toC ◦ toB • 苦労（面白み） ◦ Tech ◦ Biz • GROW（展望） ◦ 作戦 ◦ 改善 ◦ 課題 ↓ Claude3の評価
6. ご認識くださいませ 6 • 本発表で紹介する内容は、あくまでも技術的な可能性を示すものであり、当 社が実際に開発・提供を予定しているものではありません。 • 本発表で紹介する内容は、当社の公式見解ではなく登壇者個人の見解である ことをご了承ください。 • 本発表の内容に基づいて当社への投資判断を行うことはお控えください。
7. AI関連のリリースのご紹介 7
8. toC：かぞくコンシェルジュAI 8 　「かぞくコンシェルジュAI」β版は、当社の妊娠・育児支援アプリシ リーズを通じて蓄積された1,000万以上のママの声※3 より質問・ 回答を用いて、家族の不安や悩みに寄り添うサービスです。雑談・ 相談・体験談の3つのAIを用意し、24時間いつでも気軽に相談が可 能です。
 
 ＜かぞくコンシェルジュAI β版の特徴＞
 ◼雑談チャット
 誰かに励ましてほしい時や日常の思考や感情を吐き出したい時 に、対話することができます。
 （活用シーン）出産に対しての不安な気持ちを誰かに聞いて欲しい 場合、「出産が不安」とメッセージを送信 ◼相談チャット
 助産師やファイナンシャルプランナーの監修を受けた情報やアドバイスを活用して、陣痛から出産に関する不安や悩みを相談することができます。
 （活用シーン）前駆陣痛なのかの判断に困っている場合、「前駆陣痛と陣痛の違いを教えて」とメッセージを送信
 
 ◼体験談チャット
 これまでのアプリ、メルマガ等の自社メディアから集まった全国の先輩ママの体験談を活用し、妊娠から陣痛、出産に関する不安や悩みについて、実際 のエピソードを知ることができます。
 （活用シーン）無痛分娩に不安がある場合、「無痛分娩について教えて」とメッセージを送信 2024/01/17
9. toB：テレマーケティングAIアシスタント 9 開発背景
 当社は約200万世帯のデータ※1 を基点にしたファミリー データプラットフォーム事業を展開しています。人生のライ フイベントに応じて必要となる商材提案を行い、現在は住 宅・保険領域を強化しております。 
 当社の住宅・保険領域の個人向けサービスは、面談アポ イント取得・面談実施・契約までオンライン完結型です。当 社は個人のお客様との面談アポイント数を強化することを 目的とし、トップセールスの営業技術を学習した「AIアシス タント」の開発に至りました。
 
 ＜期待される効果＞
 ・ナレッジ共有による高い営業スキルを標準化
 「AIアシスタント」に顧客の反応を投稿すると、トップセールスが利用するフレーズや表現を用いた成果の高い返答内容が生成されます。個々人が保有 する技術や知識の属人化を防ぎ営業力の底上げにつながります。
 ・セールス人材のスキルアップとして活用
 顧客応対の精度を高めるロールプレイングにAIアシスタントを利用するなど育成支援ツールの活用が期待できます。
 ・新人の育成スピードを向上
 技術の共有だけでなくNG表現などトラブル防止につながる知識の共有も可能なため、新人の育成スピード向上が期待されます。
 
 ※1：2023年4月末時点のファミリーデータベース数
 2024/04/18
10. 苦労（面白み） 10
11. 技術的なアップデートが早い 11 開発期間中にかわるし、リリースしてからもすぐかわる • gpt-3.5-0614、gpt-3.5-1106、gpt-3.5-0125 ◦ モデルの”クセ”も変わる • function callingの挙動、json_modeの追加 • LangChainが1月の頭にv0.1になった ◦ パッケージの大幅な整理、LCEL • Embedding用のフレームワーク/サービス • プロンプト管理のフレームワーク/サービス • エンジニア以外の人に検証してもらうためのインターフェース ◦ ステージング用のアプリ、Slack Bolt、...etc
12. ドメインエキスパートになる・近づく（その1） 12 • スタート：開発者がドメインエキスパートになる • 改善　　：エキスパートレベルを上げる 例えばチャットのやりとりでもっとユーザーに共感するために・・・ • 雑談の一流、二流、三流 • 治療院で「次はいつ来ればいいですか？」と聞かれるようになる問診: 患者に納得して通院してもらうための必須 スキル • 「聞く力」こそが最強の武器である • はじめての医療接遇　患者のための心のこもったおもてなし • 妊娠期間のすべて「妊娠毎日生活」: 毎週のカラダとココロに伴走。妊婦さんと胎児の心身変化と成長に寄り添う ハンドブック • 頭のいい人が話す前に考えていること ステップバック質問もある程度活用できる
13. ドメインエキスパートになる・近づく（その2） 13 1. 要約を構造的にまとめる 2. それをInstructionにする 3. 単体のGPTsにして試す 4. プロンプトを改善する → サンプル：雑談するGPTs この時点で質や見通しがわかる ←要約.md GPTsの Instruction→
14. ドメインエキスパートになる・近づく（その3） 14 テレマーケティングAIの開発や改善でも同様に実施 1. エンジニアがまず知識を身につける（営業の知識を学んだ） 2. その上で現場のトップセールスマンにヒアリングする そうすると・・・ • ヒアリング時点で高い解像度で質問ができる • ヒアリング結果を構造化して把握できる 要するに・・・ トップセールスマンの頭の中にあるノウハウを完全に言語化 → ここからはプロンプトエンジニアリング
15. ドメインエキスパートになる・近づく（その4） 15 （参考）トップセールスマンのデスク
16. GROW(展望) 16
17. やらないことの統一 17 やらないことは組織内で統一する、その前提のロードマップにする ・歴史を鑑みてビッグテックがやってくれそうなこと ・LLMのスタートアップがやってくれそうなこと ・オリジナルのモデルを作る 汎用的なモデルの精度や応答速度が向上する前提で コアコンピタンスを見定める ↓ ボトルネックが解消したときにすぐに乗れるように！
18. 線引するためインプット 18 手を動かす・ドキュメントを読む ・モデル、フレームワーク、プロンプト、マルチモーダル、インフラ、…etc ・レッツ写経 分類する：Difficulty and Complexity Matrix ・ここまでは簡単、ここからは難しい（Easy vs Hard） ・ここまでは単純、ここからは複雑（Simple vs Complex） “やらない線引”のために”やる”
19. マルチエージェントを活用する（その１） 19 ← サインアップ時のオンボーディングについて 小さなタスクに分解する • 会話からニックネームを抽出する • 次にどんな会話をするべきか判断する • その会話を続けるべきか判断する …etc どんなにLLMが賢くなってもマルチエージェント は無駄にならないと考えています
20. マルチエージェントを活用する（その２） 20
21. 裏側でもっと活用したい 21 表側にAI：ユーザーが生成AIとチャットする、要約する • ChatGPT、Copilot、...etc のようなチャット形式のインターフェース • PoCでこういう取り組みが多かった印象 裏側にAI：ユーザーの見えないところで生成AIが活躍する • e.g. アンケートをその場で作る、配信者に批判的なコメントを隠す、のような • 活用余地がもっとありそう、エンドユーザーにとってAIかどうかは関係ない リスク・ハードルがあってできなかったことが裏側AIで解決できるのでは？
22. （ありがたいけど）選択肢が急激に増えすぎる 22 • LLM • Claude、Command R+、Llama3、Gemini ◦ コスト ◦ API仕様 ◦ 日本語対応 ◦ 効果的なプロンプト ◦ マネージドサービス ▪ AWS、Azure、GCP • 生成UI ◦ Vercel、Create
23. メンテナンスやキャッチアップの工数確保 23 • 自分の身の回りのあらゆるタスクやノウハウを言語化する • マーケティングの壁打ち・レビュー役 • 設計の壁打ち・レビュー役 • チケットの起票のサポート • テストコード • 仕様の確認や問い合わせの返信 • …etc • その上で人材採用 ◦ ↑の言語化が活きる（委譲できる） • プロンプトの書き方やLLMのクセをレクチャーする ◦ みんなSQL書けるようになりましょう、に似ている
24. 余談 24
25. 去年の今頃からBingにしたらポイントめっちゃ貯まりました 25
26. ご清聴ありがとうございました 26 本日の発表について X、Facebookからお気軽にDMくださいませ