PM室所属データサイエンティストの 業務改善取り組みについて 〜”Team+使い方Bot”のご紹介〜

Transcript

1. © Findy Inc. 2025.03.21 PM室所属データサイエンティストの 業務改善取り組みについて 〜”Team+使い⽅Bot”のご紹介〜 1 Confidential Shota Sasano
2. © Findy Inc. ⾃⼰紹介 2
3. © Findy Inc. 3 ⾃⼰紹介 • 笹野 翔太 (Sasano Shota) • ファインディ株式会社 / データサイエンティスト ◦ 企画‧要件定義 ◦ 既存MLモデルのアップデート ◦ 新規機能開発 ◦ ⼀部機能の本番デプロイ ◦ etc • サッカー観戦⚽ ◦ 推しチームは無いです、純粋に競技として🔥
4. © Findy Inc. 会社紹介 4
5. 挑戦するエンジニアの プラットフォームをつくる。 テクノロジーによる社会変⾰の時代に最も必要なことは、エンジニアの可能性を拡げることです。 Findyは、アルゴリズムとヒューマニティの融合によって、 すべてのエンジニアが不安なく挑戦できる世界共通のプラットフォームをつくります。 個⼈のチャンスを⽣み出し、組織の⽣産性を向上させ、社会の⼈材資産を好循環させる。 エンジニアプラットフォームが、デジタル社会の発展を加速していきます。 ビジョン © Findy Inc. 5
6. © Findy Inc. ファインディが展開するエンジニアプラットフォーム サービス紹介 ToC / ToB 正社員エンジニアの採⽤ 約12万⼈のエンジニアと880社以上のテッ ク企業をマッチング。 マッチングサービス フリーランスエンジニアの採⽤ 5万⼈以上のフリーランスエンジニアの成 功報酬型の⼈材紹介サービス。 外国籍エンジニアの採⽤ インドを中⼼とした海外のハイスキルエン ジニアと⽇本企業をマッチング。 SaaS / ToB エンジニア組織の⾒える化 GitHubやJiraを解析し、エンジニア組織の ⾒える化と⽣産性向上をサポート。 組織分析SaaS ToC / ToB 開発ツールのレビューサイト 実際に利⽤している企業の声を元に、開発 ツールの導⼊や検討に必要な情報を集約。 企業の技術選定をサポート。 開発ツールメディア ※ 各種数値は、2024年6月時点のFindy転職、Findy Freelance、Findy Team+、Findy Globalの4サービスの累計での社数及び登録者数です。 
 　 なお、1社又は1名の方が複数のサービスに登録している場合は、そのサービスの数に応じて複数のカウントをしています。 β版 6
7. © Findy Inc. PM室所属データサイエンティストの 業務改善取り組みについて 〜”Team+使い⽅Bot”のご紹介〜 7
8. © Findy Inc. 8 PM室のデータサイエンティストって何するの？
9. © Findy Inc. 9 PM室のデータサイエンティストって何するの？（1/4） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc
10. © Findy Inc. 10 PM室のデータサイエンティストって何するの？（2/4） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc • 技術検証した機能の実装
11. © Findy Inc. 11 PM室のデータサイエンティストって何するの？（3/4） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc • 技術検証した機能の実装 • 既存機能の保守運⽤
12. © Findy Inc. 12 PM室のデータサイエンティストって何するの？（4/6） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc • 技術検証した機能の実装 • 既存機能の保守運⽤ • データ‧AIに関する企画のリード ◦ 社内の事業部に所属するビジネスサイドの業務改善 ◦ その他多様な業務改善系の企画
13. © Findy Inc. 13 PM室のデータサイエンティストって何するの？（5/6） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc • 技術検証した機能の実装 • 既存機能の保守運⽤ • データ‧AIに関する企画のリード ◦ 社内の事業部に所属するビジネスサイドの業務改善 ◦ その他多様な業務改善系の企画
14. © Findy Inc. 14 PM室のデータサイエンティストって何するの？（6/6） • 新規施策の技術検証 ◦ PdMの企画した施策に関係するもの ◦ 主体的に作ってみた系の検証 ◦ etc • 技術検証した機能の実装 • 既存機能の保守運⽤ • データ‧AIに関する企画のリード ◦ 社内の事業部に所属するビジネスサイドの業務改善 ◦ その他多様な業務改善系の企画 Team+使い⽅Botは • PdMに対するプロダクトに纏わる 問い合わせ件数が2件/⽇ ◦ 対応の為のコストが⾼い • 主体的に作ってみた という背景で⽣まれた
15. © Findy Inc. 15 Team+使い⽅Botって？
16. © Findy Inc. 16 Team+使い⽅Botって？（1/2）
17. © Findy Inc. 17 Team+使い⽅Botって？（2/2） •
18. © Findy Inc. 18 どうやって作った？
19. © Findy Inc. 19 どうやって作った？（1/3） • Dify上でBotを作成
20. © Findy Inc. 20 どうやって作った？（2/3） • Dify上でBotを作成 • 簡単なプロンプトと、潤沢なコンテキストを付与してRAGを活⽤
21. © Findy Inc. 21 どうやって作った？（3/3） • Dify上でBotを作成 • 簡単なプロンプトと、潤沢なコンテキストを付与してRAGを活⽤ • 付与したコンテキストについて ◦ プロダクトのサポートページコンテンツ ▪ およそ100ページ分 ◦ 技術的な観点でのFAQや導⼊企業様との過去のFAQ ▪ およそ100FAQ分
22. © Findy Inc. 22 ※参考1：RAGについて • 関連情報を抽出する外部データベースと、検索結果を活⽤して回答 を⽣成する⽣成モデルで構成された技術
23. © Findy Inc. 23 ※参考1：RAGについて • 関連情報を抽出する外部データベースと、検索結果を活⽤して回答 を⽣成する⽣成モデルで構成された技術 created by claude
24. © Findy Inc. 24 ※参考2：簡単なアーキテクチャイメージ
25. © Findy Inc. 25 結果どう？
26. © Findy Inc. 26 PdMへの問い合わせ件数が… • Bot作成前 ◦ 1~2件/⽇×PdMメンバー6名 = 6~12件/⽇ • Bot作成後 ◦ ほぼゼロ🎉
27. © Findy Inc. 27 めちゃめちゃ好評🎉
28. © Findy Inc. 28 社内の声たち
29. © Findy Inc. 29 定量の評価まできっちりできていないですが、 調査‧レポートの⼯数もかなり削減できていそう
30. © Findy Inc. 30 作ってみての学び
31. © Findy Inc. 31 作ってみての学び（1/3） • データセントリックの重要性を再認識 ◦ 今回作成したBotのプロンプトは4⾏ ◦ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に
32. © Findy Inc. 32 作ってみての学び（2/3） • データセントリックの重要性を再認識 ◦ 今回作成したBotのプロンプトは4⾏ ◦ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に • ⾼精度‧⾼性能な機能やプロダクトは簡単にモメンタムを変え得る ◦ ⼀撃で社内にデータを蓄積する事の重要性が浸透 ▪ 特にビジネスサイドに起きたのはめちゃめちゃ⼤きい ◦ PdMもDifyでBot作り始めた
33. © Findy Inc. 33 作ってみての学び（3/3） • データセントリックの重要性を再認識 ◦ 今回作成したBotのプロンプトは4⾏ ◦ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に • ⾼精度‧⾼性能な機能やプロダクトは簡単にモメンタムを変え得る ◦ ⼀撃で社内にデータを蓄積する事の重要性が浸透 ▪ 特にビジネスサイドに起きたのはめちゃめちゃ⼤きい ◦ PdMもDifyでBot作り始めた • ハルシネーション対策は必須 ◦ BotのモデルはGPT o1を採⽤しており、リクエストに対して推 論を⾏う為、紹介したような⾃由度の⾼い回答ができるが故の 課題
34. © Findy Inc. 34 今後について
35. © Findy Inc. 35 今後について（1/5） • 想定以上の社内評もあり、プロダクト実装化を進める
36. © Findy Inc. 36 今後について（2/5） • 想定以上の社内評もあり、プロダクト実装化を進める • ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ◦ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策？
37. © Findy Inc. 37 今後について（3/5） • 想定以上の社内評もあり、プロダクト実装化を進める • ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ◦ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策？ • プロダクトのアップデートにナレッジが遅れを取らないようにする 為の設計も
38. © Findy Inc. 38 今後について（4/5） • 想定以上の社内評もあり、プロダクト実装化を進める • ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ◦ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策？ • プロダクトのアップデートにナレッジが遅れを取らないようにする 為の設計も • 他にもRAGを使うと良いBotが作れそうなアイディアがあるので、 そういったところに横展開
39. © Findy Inc. 39 今後について（5/5） • 横展開先候補
40. © Findy Inc. 40 こうしたナレッジ群と、⽣成AI活⽤は とても相性が良い🫶
41. © Findy Inc. 41 RAGはいいぞ
42. © Findy Inc. 42 ご清聴ありがとうございました🙇