AI活用したくてもできなかった 不動産SaaSの今とこれから 2024/09/10 株式会社ニーリー　三宅　克英 スタートアップがAI技術で挑む！巨大産業の課題解決〜不動産tech Product Night〜#2

2 自己紹介 三宅 克英(Katsuhide Miyake) 株式会社ニーリー　執行役員 CTO / Enterprise AccountmangentG GM 2007年に金融機関向けシステム開発会社シンプレクス・テクノロジー （現シンプレクス株式会社）に入社。 証券会社／FX会社向けのFXシステムやメガバンク向けのディーリング システムやリスク管理システムの開発やPMを担当。 2017年にニーリーに2人目で参画。 月極駐車場管理SaaS「Park Direct」事業のCTOとして プロダクト組織を統括しつつ、toB/toCのカスタマーサクセス →BizOps→マーケティングの責任者を兼任。 最近はエンタープライズ カスタマーサクセスに挑戦中。 @katzhide

3 プロダクト概要 | Park Direct

なぜAI活用したくてもできなかったのか そこから、どうして/どうやってはじめたのか 4 1 ２ 3 目次 Park Direct事業における活用事例の紹介 学びと工夫とこれから

なぜAI活用したくてもできなかったのか そこから、どうして/どうやってはじめたのか 5 1 ２ 3 目次 Park Direct事業における活用事例の紹介 学びと工夫とこれから

6 ● 理由１）やれば事業が伸びるというわかりやすい開発アイテムが盛り沢山 ○ ビジネスサイドのためにも早く開発したい ○ プロダクトサイドとしてもやれば効果があると確信できている ● 理由２）ハルシネーションが気になる、効果が出るのか自信が持てなかった ○ 例：toC向けChat Bot ■ Botが対応するので電話の問い合わせは減って、業務効率が上がる（👍） ■ 気軽に問い合わせができるようになるので、問い合わせの総数が増える？ もし、Botで完結まで対応できなかったら逆に業務効率が下がる（👎） ■ サービスの特性上（契約、決済がある）、 誤回答によりトラブルが増えるリスクがある（👎） 普通にプロダクト開発をする方が事業が伸びると思っていた なぜAI活用したくてもできなかったのか？

7 やらないことの怖さが上回った どうしてはじめたのか？ ● 機会損失が起きていないか不安だった ○ AI活用していたからこそ気付けた課題やアイデアを見逃していないか ○ AI活用していればもっと簡単にグロースできたのでは？ ■ 例：CSからの問い合わせ対応の削減・効率化の機能開発をするより Chat Bot入れた方が早くて効果が高いのでは？ ● 何事もやってみないとわからないことが多い ● でも、いつかは必ずAI活用しないといけないタイミングが来る！ ● 昨今の進化のスピードと事例の多さに、もう不味いなと感じた ● 業務ボリュームや従業員数も増えて得られる効果が大きくなりやすくなったのも後押し ○ SREチームからの働きかけもに後押しに

8 ドメイン知識獲得における生成AI活用 何からはじめたのか？

9 事業課題との相性がいい領域を探索 ● 大事なのは、事業貢献度合い（やれば事業がちゃんと伸びるのか） ○ 事業課題をベースに考える ● 活用事例を収集し、生成AIが課題解決しやすい領域の軸を検討 ○ 専門性・知的集約性が高い ○ 反復性・頻度が高い ○ 属人性が高い ○ また、活用における課題としてよくみるのはハルシネーションだった ● 反復性・頻度 ✖ 誤回答の許容度 ✖ 事業課題の大きさ でAI活用できそうな領域を検討 ○ 誤回答の許容度が高いとは？ ■ 現状、正解を確実にアウトプットできていない領域 ■ 影響範囲が社内に限定される ■ 訂正が可能 ■ 補助として利用し、ヒトが確認、補正するプロセスがある どうやって決めたのか？

10 反復性・許容度が高く、事業効果も大きい、ドメイン知識獲得を対象に AI活用ができそうな領域の検討と結果 反復性が高い 誤回答の 許容度が低い ドメイン知識 獲得 文字の スキャン 図・画像の スキャン カスタマー サポート対応 賃料データ 分析・最適化 記事 コンテンツ 作成 ※開発領域での活用は含まず ドメイン知識獲得は プロダクト組織だけではなく、 全組織での重要課題。 組織/人数が急成長中の今、 効果が大きい。

なぜAI活用したくてもできなかったのか そこから、どうして/どうやってはじめたのか 11 1 ２ 3 目次 Park Direct事業における活用事例の紹介 学びと工夫とこれから

Confluence（知識蓄積）＋Slack（Chat Bot）＋ Amazon Bedrockで構築 12 ドメイン知識獲得におけるAI活用事例 - システム構成

13 FAQ Chat Botの事例 一般的な知識だけではなく、固有の知識にも回答。 固有の計算ロジックにも対応、ただしプロンプトやドキュメントが曖昧だと誤回答になる。 ドメイン知識獲得におけるAI活用事例 ① 一般的な日割りロジック 事業固有の知識 事業固有の計算ロジック OK OK OK 注意が必要

14 勉強会動画を要約してドメイン知識へと追加 ● プロダクトや営業トークなど多数の勉強会を実施してドメイン知識を広めていた ● 録画した動画をAIで要約させて、その記事をConfluenceに保存して、新たな知識として活用 ドメイン知識獲得におけるAI活用事例 ② [prompt] 読み込んだ文章は●●●についての勉強会 の動画を文字起こししたものです。 話された内容を10個以上にポイントにま とめてください。また、各ポイントの詳細 も教えて下さい。

15 ドメイン知識からテスト問題を生成 ● Google Formを利用したドメイン知識の理 解度チェックテストを実施していた ● その問題もAIを活用して作成 ドメイン知識獲得におけるAI活用事例 ③ [prompt] ●●●についての選択クイズを3問作ってください。 選択肢は4択にしてください。 Q. クイズ ・選択肢１ ・選択肢２ ・選択肢３ ・選択肢４ A. 答え

なぜAI活用したくてもできなかったのか そこから、どうして/どうやってはじめたのか 16 1 ２ 3 目次 Park Direct事業における活用事例の紹介 学びと工夫とこれから

17 課題はあるものの、やってよかった！ やってみてどうだっか？ 遷移図をわかりやすくチューニングしても 正確な回答は得られなかった 😣 課題あり

18 AIのために特別な何かは必要なく、 ドキュメンテーションの”当たり前”が大事だった やってみての気づき・学び 肝となるデータをいかに蓄積するか、知識集積のためのプロセス設計が重要

19 ドキュメンテーションプロセスの３つの工夫 （実は開発プロセス改善の文脈でやっていた活動と一緒になった） 工夫していること・しようとしていること

20 メンテ・追加のFBサイクルを回す仕掛け 工夫の１つの事例を紹介 利用者がChatBotとの会話を3段階で評価することでFBサイクルを回していく ・😁：満足、😑：改善の余地あり、😣：NG 会話履歴と評価結果を分析することで優先度の高いドメイン領域を把握 ・質問頻度の高いドメイン領域 ・回答精度の低いドメイン領域 効果的なメンテナンスにつなげていく！

21 得られた学びを活かして活用範囲を広げていく！ そのチャレンジがさらに活用範囲を広げることに繋がるはず！！ これから 反復性が高い 誤回答の 許容度が低い ドメイン知識 獲得 文字の スキャン 図・画像の スキャン カスタマー サポート対応 賃料データ 分析・最適化 記事 コンテンツ 作成 ※開発領域での活用は含まず 2 toB, toCのサービス展開をして いるので、事業効果は大きい。 CRMデータを全て学習するので はなく、学習データを厳選・用 意し、使い所を限定した上で Tryしてみる。 1 xOpsの領域に Tryしていきたい。

22

ニーリーがわかるコンテンツ 23 Recruit | 採用関連資料

© Nealle Inc. All rights reserved. 24 Thank you