事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 / ml-recsys-in-layerx-wantedly-2023

2023年05月09日 の兵庫県立大学の社会データ分析という講義における講演資料です。

機械学習や推薦システムという技術が事業会社におけるプロダクト開発でどのように活用されているのか、それを実現するデータサイエンティストや機械学習エンジニアというのはどういう職種なのか、LayerXのバクラク請求書やウォンテッドリーのWantedly Visit の例を使って紹介しました。

Transcript

1. 事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 9.May.2023 兵庫県立大学 社会データ分析 松村 優也 株式会社LayerX ML Team Manager / ウォンテッドリー株式会社 機械学習領域 技術顧問 LayerXとウォンテッドリーを例に
2. Confidential © 2023 LayerX Inc. 2 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） - 2018/3 - 京都大学大学院 情報学研究科 修士課程修了 - 現在 - 株式会社LayerX ML/OCR Team Manager - ウォンテッドリー株式会社 技術顧問 - その他、大学にて非常勤講師やスタートアップの技 術支援等 共著 『推薦システム実践入門』 @yu___ya4 @yu-ya4
3. LayerXについて
4. © 2023 LayerX Inc. 4 会社概要 すべての経済活動を、デジタル化する。 ※ 一部抜粋 会社名 代表取締役 創業 従業員数 資本金 事業概要 関連会社 お取引先 (一部) 株式会社LayerX（レイヤーエックス） 代表取締役CEO 福島 良典　代表取締役CTO 松本 勇気 2018年 8月1日 149名（2023年1月現在） 86億円(資本準備金含む） バクラク(SaaS)事業、Fintech事業、Privacy Tech事業 三井物産デジタル・アセットマネジメント （三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リース、イデラキャピタルマネジメントによる合弁会社）
5. © 2023 LayerX Inc. 5 ミッション
6. © 2023 LayerX Inc. 6 やろうとしていること
7. © 2023 LayerX Inc. 7 ３つの事業 バクラク事業 企業活動のインフラとなる法人支出管 理（BSM）SaaSを開発・提供 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供 バクラク事業 Fintech事業 PrivacyTech事業
8. © 2023 LayerX Inc. 8 ３つの事業 バクラク事業 企業活動のインフラとなる法人支出管 理（BSM）SaaSを開発・提供 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供 バクラク事業 Fintech事業 PrivacyTech事業
9. 圧倒的に使いやすいプロダクトで わくわくする働き方を。 企業活動を支えるコーポレート業務は、ミスができない難しい業務。 バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。 使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。 手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
10. © 2023 LayerX Inc. 10 法人支出管理(BSM)SaaS「バクラク」を展開 * 経費精算のSlack連携は申請内容の通知のみ 稟議・支払申請・経費精算・ワークフロー ・AIが領収書を５秒でデータ化 ・承認はチャットアプリから ・シームレスな内部統制構築 仕訳・支払処理効率化 ・AIが請求書を５秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応 ・利用料無料 ・即時追加発行 ・最大1億円決済可能 法人向けクレジットカード ・無料で始められる ・手入力ゼロで証憑管理 ・改正電子帳簿保存法に対応 帳票保存・ストレージ バクラクでは AI-OCR 機能をはじめ、機械学習がコア技術として活用されています
11. Confidential © 2023 LayerX Inc. 11 法人の支出管理の流れとよくある課題 請求書処理や経費精算は、「紙」が多く、「手作業」も多い、最もアナログな領域の一つ - 紙でのやりとりが中心で、手入力や目視でのチェックが多く、ミスも発生しやすい。 - 複数のサービス間でデータが連携されずに、確認工数が増加しやすい。 回収 稟議 承認 データ 入力 仕訳/支払 データ作成 支払 保管/税務・監査対応 会計ソフト反映 「手入力だ大変」 「記入ミスで手戻り」 「承認し忘れる」 「承認が多く大変」 「手入力が多い」 「ミス・手戻りが多い」 「仕訳作成/確認が大変」 「支払データ作成が大変」 「属人性が高い」 「データ転記が発生」 「同じ情報を何度も手入 力目視チェックが大変」 「紙で保管、共有が大変」 「税務・監査対応。過去データを出すのが大変」 現場・全社の課題 経理の課題 経理/総務の課題 「請求書が来ない」 「領収書がない」
12. Confidential © 2023 LayerX Inc. 12 手作業が多くなりがちな支出管理業務のデジタル化を一気通貫でサポート 管理部門だけでなく、現場社員からも喜ばれる圧倒的な使いやすさにこだわっているため、 ITツールが苦手な方でも安心してご利用いただけます。 現場・全社の課題を解決 経理の課題を解決 経理/総務の課題を解決 回収 稟議 承認 データ 入力 仕訳/支払 データ作成 支払 保管/税務・監査対応 会計ソフト反映 デジタル受け取り 自動受け取り スマホ　・　Slack AI OCR 自動入力 API連携　・　自動出力 クラウド管理　・　電子帳簿保存
13. © 2023 LayerX Inc. 13 ３つの事業 バクラク事業 企業活動のインフラとなる法人支出管 理（BSM）SaaSを開発・提供 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供 バクラク事業 Fintech事業 PrivacyTech事業
15. Confidential © 2023 LayerX Inc. 15 MDMのプロダクト
16. © 2023 LayerX Inc. 16 ３つの事業 バクラク事業 企業活動のインフラとなる法人支出管 理（BSM）SaaSを開発・提供 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供 バクラク事業 Fintech事業 PrivacyTech事業
17. Confidential © 2023 LayerX Inc. 17 取り組み
18. LayerX LLM Labs
19. Confidential © 2023 LayerX Inc. 19 LayerX LLM Labsについて LayerXでの大規模言語モデル専任チーム 今後の取り組み ・LayerXおよび三井物産デジタル・アセットマネ ジメントにおけるLLM活用のフィードバック ・LayerXが展開する支出管理サービス「バクラ ク」へのLLMの導入検証 ・LLMを活用した新規事業の検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信　等
20. © 2023 LayerX Inc. 20 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
21. © 2023 LayerX Inc. 21 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
22. © 2023 LayerX Inc. 22 本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業 会社においてどう活用されているのかを知ることで、それらが自分たちに関係 のあるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に 興味を持っていただき、より深く知る・考えるきっかけになってほしい。
23. © 2023 LayerX Inc. 23 別に将来、機械学習とか推薦システムに関係する仕事はしないし...
24. © 2023 LayerX Inc. 24 あらゆる人が機械学習や推薦システムについて学ぶ意義 • 昨今のChatGPTをはじめとした大規模言語モデルの潮流による社会応用の急進 プロダクトの利用者側としては確実に関わる（LLMの例） https://aichat-line.studio.site/ai_chat https://www.notion.so/ja-jp/help/guides/notion-ai-for-docs https://prtimes.jp/main/html/rd/p/000000221.000036528.html https://about.mercari.com/press/news/articles/20230501_generativeai/
25. © 2023 LayerX Inc. 25 あらゆる人が機械学習や推薦システムについて学ぶ意義 • Netflix は動画視聴の75%が推薦経由 • TikTok はレコメンド（推薦システム）をユーザー体験の中心と位置づけ、ユーザー向け の製品ページにレコメンドの仕組みについての説明を掲載 プロダクトの利用者側としては確実に関わる（推薦システムの例） https://netflixtechblog.com/netflix-recommendations-beyond-the-5-stars-part-1-55838468f429 We have adapted our personalization algorithms to this new scenario in such a way that now 75% of what people watch is from some sort of recommendation. https://newsroom.tiktok.com/ja-jp/how-tiktok-recommends-videos
26. © 2023 LayerX Inc. 26 あらゆる人が機械学習や推薦システムについて学ぶ意義 仕組みを知ることで正しく使う https://www.u-hyogo.ac.jp/topics/important/20230417/index.html https://www.nikkei.com/article/DGXZQOGN31DUY0R30C23A3000000/
27. © 2023 LayerX Inc. 27 あらゆる人が機械学習や推薦システムについて学ぶ意義 • 書籍を買う際はできるだけ Amazon を利用する。他人へプレゼントする場合は Amazon 以外で購入する。 • コンテンツにフィードバック（点数、Good or Bad…）できる場合はつける。 仕組みを知ることでより恩恵を受けられるように行動できる https://www.amazon.co.jp/ https://news.google.com/
28. © 2023 LayerX Inc. 28 あらゆる人が機械学習や推薦システムについて学ぶ意義 • どんなデータがどのように活用されているかはプロダクトごとに公開 • 実際に利用されているデータを開示できるプロダクトも • おすすめのアルゴリズムに使用されたくない過去の購入品を選択 仕組みを知ることでデータをマネジメントして不利益を避ける https://service-terms.wantedly.com/privacy_policy/ja_JP https://www.netflix.com/account/getmyinfo https://www.amazon.co.jp/gp/yourstore/iyr?collection=purchase d&ref_=pd_ys_iyr_nort
29. © 2023 LayerX Inc. 29 （再掲）本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業 会社においてどう活用されているのかを知ることで、それらが自分たちに関係 のあるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に 興味を持っていただき、より深く知る・考えるきっかけになってほしい。
30. © 2023 LayerX Inc. 30 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
31. © 2023 LayerX Inc. 31 機械学習・推薦システムを利用すべき場面 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける
32. © 2023 LayerX Inc. 32 機械学習・推薦システムを利用すべき場面 バクラク請求書の「請求書読み取り機能」を例に説明 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 仕訳・支払処理効率化 ・AIが請求書を５秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応
33. © 2023 LayerX Inc. 33 バクラク請求書 請求書読み取り機能が解決したい課題 • 請求書に記入されている項目（支払期日や支払金 額、取引先名など）を目視で確認して、ミスなく入 力・管理することはとても負荷の高い仕事 ◦ 対応する枚数が数十、数百枚と増えるにつ れてミスが起こりやすい ◦ 帳票のフォーマットが多種に渡り読み取る ことが単純に大変 ◦ ミスは許されないためダブルチェック等確 認作業にもコストがかかってしまう 受けとった請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする
34. © 2023 LayerX Inc. 34 バクラク請求書 請求書読み取り(OCR)機能のデモ
35. © 2023 LayerX Inc. 35 どういうときに機械学習・推薦システムを利用すべき？ （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
36. © 2023 LayerX Inc. 36 （正解データのある）大量のデータが得られる 機械学習は、大量のデータから自動でルールを学習する データが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 今あるのか？今はなくともこれからたまる仕組みがあるのか？ • データは使える程度にはキレイか、開発に際してアクセス可能な状態か？ • 教師あり学習を行う場合は、正解データも十分に得られるか? ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？
37. © 2023 LayerX Inc. 37 （正解データのある）大量のデータが得られる 機械学習は、大量のデータから自動でルールを学習する データが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 今あるのか？今はなくともこれからたまる仕組みがあるのか？ → 今もあるし（月次数百億円規模の請求書）、これからも増えていくであろう。 • データは使える程度にはキレイか、開発に際してアクセス可能な状態か？ 　→整備されており、適切な情報・権限管理のもと一部の開発者はアクセス可能 • 教師あり学習を行う場合は、正解データも十分に得られるか? → サービスが利用されると正解データであるユーザーの入力値がたまっていく。 ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？ 　　　　　→ 別途アノテーション用の基盤システムや、組織が整備されている。 https://note.com/fukkyy/n/nf00ddb836a03 の場合
38. © 2023 LayerX Inc. 38 どういうときに機械学習・推薦システムを利用すべき？ （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
39. © 2023 LayerX Inc. 39 扱うデータが十分に複雑である 機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意 単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？ ◦ Fizz Buzz に機械学習を用いることもできるが、そのコストを事業上許容できるかというと... • データの扱いが難しいか？ ◦ めちゃくちゃたくさんのカラムがある表データ ◦ 自然言語や画像、音声などの非構造化データ
40. © 2023 LayerX Inc. 40 扱うデータが十分に複雑である 機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意 単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？ → 世の中には様々な請求書のパターンが存在しており、かつ、ユーザーの運用もそれぞれで複雑である。 • データの扱いが難しいか？ → 非構造化データである画像ファイルやPDF形式の請求書を扱う必要がある。 の場合
41. © 2023 LayerX Inc. 41 どういうときに機械学習・推薦システムを利用すべき？ （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
42. © 2023 LayerX Inc. 42 データの特性が変化し続ける 機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる 変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？ ◦ プロダクト規模の拡大により、異なるセグメントのユーザーが利用するようになったり ◦ 同一ユーザーでも時間の流れとともに嗜好が変わったり • 世の中の状況の変化にプロダクトは影響を受けるか？ ◦ 法改正・流行の変化・景気・パンデミック...
43. © 2023 LayerX Inc. 43 データの特性が変化し続ける 機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる 変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？ 　→ どんどんいろんな規模や業界の企業さまにご利用いただいていっている。企業さまにより、利用している請 求書のフォーマットは様々である。 • 世の中の状況の変化にプロダクトは影響を受けるか？ → 「インボイス制度」により、読み取ることのできるべき請求書の項目が増加。 → コロナ禍による在宅勤務が進んだ影響などで、副業を行う個人事業主が増加。 の場合
44. © 2023 LayerX Inc. 44 機械学習・推薦システムを利用すべき場面 適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける
45. © 2023 LayerX Inc. 45 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
46. © 2023 LayerX Inc. 46 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
47. © 2023 LayerX Inc. 47 機械学習・推薦システムのプロジェクトの進め方 開発の流れをWantedly Visitの会社・シゴトの推薦システムを例に説明
48. © 2023 LayerX Inc. 48 Wantedly Visitの会社・シゴトの推薦システム
49. © 2023 LayerX Inc. 49 Wantedly Visitの会社・シゴトの推薦システム
50. © 2023 LayerX Inc. 50 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
51. © 2023 LayerX Inc. 51 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
52. © 2023 LayerX Inc. 52 1. プロダクト上の問題発見・認識 理想や目標と現状のギャップ=問題を発見・認識する ユーザーから会社への 月間応募数10万 ユーザーから会社への 月間応募数8万 理想・目標 現状 月間応募数が2万少ない ギャップ = 問題 • この問題を解消・軽減することがプロジェクト（推薦システム開発）の目的に • プロジェクトの成否の判断基準にもなるのでできるだけ定量的に
53. © 2023 LayerX Inc. 53 1. プロダクト上の問題発見・認識 可能ならばある程度の大きさの粒度に落とし込む ユーザーから会社への 月間応募数10万 ユーザーから会社への 月間応募数8万 理想・目標 現状 月間応募数が2万少ない ↓ 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 • 大き過ぎ→原因特定が難化したり、解決策が汎用的になり過ぎインパクトが小さく • 小さ過ぎ→解決策が特殊になり過ぎてインパクトが小さく
54. © 2023 LayerX Inc. 54 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
55. © 2023 LayerX Inc. 55 2. 問題の原因特定 問題がなぜ起きているかを定量・定性アプローチで特定 • 定量：アンケート、ユーザデータや行動ログの分析 etc. • 定性：ユーザインタビュー、SNSエゴサ、市場調査、ユーザとして自社サービスを 使ってみる、競合サービスを使ってみる、これまで培われた経験 etc. 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 問題の原因（候補） • 登録直後に推薦される会社が微妙 • 登録フローが少し分かりにくい • 競合サービスがキャンペーンを実施
56. © 2023 LayerX Inc. 56 2. 問題の原因特定 定量アプローチと定性アプローチを補完し合うことで特定した原因の確度を高める 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 • 定量→定性：行動ログを分析して知り得た事実をユーザインタビューを実施して確認 • 定性→定量：SNSに投稿されていて知り得た事実を実際の行動ログを分析して確認 問題の原因（候補） • 登録直後に推薦される会社が微妙 • 登録フローが少し分かりにくい • 競合サービスがキャンペーンを実施
57. © 2023 LayerX Inc. 57 2. 問題の原因特定 解決した際のインパクト（広さ×深さ）や解決可能性の高いものを優先 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 • 登録フローは簡単に修正できるがあまりインパクトがなさそう... • 競合のキャンペーン実施自体はどうしようもないし一過性のものだし... • 行動ログのある既存ユーザーへのパーソナライジングした推薦は取り組んできたが 新規ユーザーへの推薦はまだ改善余地がありそう！（コールドスタート問題） 問題の原因 • 登録直後に推薦される会社が微妙 • 登録フローが少し分かりにくい • 競合サービスがキャンペーンを実施
58. © 2023 LayerX Inc. 58 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
59. © 2023 LayerX Inc. 59 3. 解くべき課題の定義・解決策の立案 特定した原因を解決し得る課題を定義・解決策を立案 課題・解決策（候補） • 登録直後には手動で選んだいい感じの会社を推薦 • 登録直後にはサービス内で人気な順で会社を推薦 • 登録時の入力情報を増やすことで、登録直後でもユー ザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙
60. © 2023 LayerX Inc. 60 3. 解くべき課題の定義・解決策の立案 インパクトやコスト、原因解消の確度などの観点から取り組むものを選択 • 手動で選ぶ運用を続けるのはコストが高すぎる... • 様々なユーザーがいる中で画一的な人気順では一部にしか刺さらずインパクトが... 課題・解決策 • 登録直後には手動で選んだいい感じの会社を推薦 • 登録直後にはサービス内で人気な順で会社を推薦 • 登録時の入力情報を増やすことで、登録直後でもユー ザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙
61. © 2023 LayerX Inc. 61 3. 解くべき課題の定義・解決策の立案 課題が解決され、問題の原因が解消された状態を言語化 • ここが曖昧だと、解決策を実行した際に問題の原因が解消されたのか判断できなく • トレードオフがある場合は同時に言語化 課題・解決策 登録時の入力情報を増やすことで、登録直後 でもユーザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 • 登録直後に応募するユーザ数が20%以上増加する • 新規ユーザによる月間応募数が0.5万以上増加する • 登録時の情報入力画面で離脱するユーザが10%以上 増加しない 問題の原因が解消された状態
62. © 2023 LayerX Inc. 62 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
63. © 2023 LayerX Inc. 63 4. 課題解決・解決策の実行 機械学習や推薦システムといった技術を駆使し、UXも考えてプロダクトに組み込む • 手段を目的化しない（最新の技術を使うことを目的とするとか） • 最初からコストをかけ過ぎず、妥当な実現方法を模索 • UX重要。使われないと価値が届かない。（精度はいいが推論が遅すぎるとか） 課題・解決策 登録時の入力情報を増やすことで、登録直後 でもユーザの嗜好に合った会社を推薦
64. © 2023 LayerX Inc. 64 4. 課題解決・解決策の実行
65. © 2023 LayerX Inc. 65 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
66. © 2023 LayerX Inc. 66 5. 評価 プロジェクトのゴールとなる「問題の原因が解消された状態」に沿った評価を実施 • 機能を作る、推薦アルゴリズムをリリースすることが目的ではない。 • オフライン評価→オンライン評価という順に実施 • 登録直後に応募するユーザ数が20%以上増加する • 新規ユーザによる月間応募数が0.5万以上増加する • 登録時の情報入力画面で離脱するユーザが10%以上 増加しない 問題の原因が解消された状態
67. © 2023 LayerX Inc. 67 5. 評価 オフライン評価：過去データに基づき、オンライン評価に回していい品質かどうか検証 • 定量：定めた評価指標が定めた基準以上改善しているか確認 ◦ 最重要な指標（応募数）以外のプロダクト的に重要な指標も確認（ユーザに推薦 される企業の多様性、応募するユーザー数、ユーザーへの表示速度...） • 定性：実際にユーザに表示される推薦結果をいくつか目で見て確認 ◦ ここで思いがけない考慮漏れが見つかることも • 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再 チャレンジ
68. © 2023 LayerX Inc. 68 5. 評価 オンライン評価：（一部の）ユーザに実際にリリースして問題の原因が解消されるか検証 • AB テスト、Interleaving などの手法を利用 • オフライン評価と同様に定量・定性の両面で確認 • 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再 チャレンジ、あるいは仮説が正しくなく方針転換が必要な場合は「3. 課題定義・解決 策の立案」からやり直す
69. © 2023 LayerX Inc. 69 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
70. © 2023 LayerX Inc. 70 6. 運用 評価の工程で品質を確認できたらいよいよ全体に適用したリリース・運用を開始 • 「問題の原因が解消された状態」となっているか必ず確認 ◦ オンラインテストはあくまでオンラインテストなので、全体適用時とは異なる動 きをする可能性も。 • 継続的なモニタリングを必ず実施 ◦ 機械学習を用いる際は、学習ログや予測結果の評価値なども継続的に確認す る。データの傾向が変わることで気づいたら学習がうまくいかなくなっている ことなどもしばしば。
71. © 2023 LayerX Inc. 71 開発の流れ 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
72. © 2023 LayerX Inc. 72 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
73. © 2023 LayerX Inc. 73 データサイエンティストとは データサイエンティスト協会によると... データサイエンス力、 データエンジニアリング力をベースに データから価値を創出し、 ビジネス課題に答えをだす プロフェッショナル https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
74. © 2023 LayerX Inc. 74 データサイエンティストとは データサイエンティスト協会によると... https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
75. © 2023 LayerX Inc. 75 データサイエンティストとは データサイエンティスト協会によると... データサイエンス力、 データエンジニアリング力をベースに データから価値を創出し、 ビジネス課題に答えをだす プロフェッショナル https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
76. © 2023 LayerX Inc. 76 データサイエンティストとは プロダクト開発においては ユーザの課題を解決して プロダクト/事業目標を達成することが重要
77. © 2023 LayerX Inc. 77 データサイエンティストとは どれかが欠けては達成できない もちろん個人ではなくチームで補完しあってもよい 目標を達成しうるユーザの 課題を定義 実際にユーザに価値を届 けて課題を解決 データを活用してユーザの 課題を解決しうる価値を創 出
78. © 2023 LayerX Inc. 78 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
79. © 2023 LayerX Inc. 79 データサイエンティストに必要な能力 どんな能力を身につけていけばよいのだろう？
80. © 2023 LayerX Inc. 80 コードを書いたり論文を読んで （高度な）推薦アルゴリズムを実装する能力 データサイエンティストに必要な能力
81. © 2023 LayerX Inc. 81 コードを書いたり論文を読んで（高度な）推薦アルゴリズムを実装する能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。 そもそも実現できる能力がなければ問題解決なんてできない。
82. © 2023 LayerX Inc. 82 コードを書いたり論文を読んで（高度な）推薦アルゴリズムを実装する能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。 そもそも実現できる能力がなければ問題解決なんてできない。 ので当たり前にめちゃくちゃ重要だが...
83. © 2023 LayerX Inc. 83 正解がない問題を 皆が納得する形で解決できる形にする能力 データサイエンティストに必要な能力
84. © 2023 LayerX Inc. 84 正解がない問題を皆が納得する形で解決できる形にする能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に 1-3 の過程でめちゃくちゃ重要 そもそも解決可能な形にする能力がなければ問題解決なんてできない。 不適切な課題定義はプロダクトを誤った方向に進めてしまう。
85. © 2023 LayerX Inc. 85 正解がない問題を皆が納得する形で解決できる形にする能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に 1-3 の過程でめちゃくちゃ重要 そもそも解決可能な形にする能力がなければ問題解決なんてできない。 不適切な課題定義はプロダクトを誤った方向に進めてしまう。 特に学生のうちにこちらにも向き合ってほしい
86. © 2023 LayerX Inc. 86 正解がない問題を皆が納得する形で解決できる形にする能力 • めちゃくちゃ重要だけどめちゃくちゃ難しい（十分にできる人は稀少） ◦ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技 • 問題解決のプロセスを繰り返して身につけるしかない • きちんとした問題解決の機会は少ない（よほど普段から意識しないと） • フィードバックの機会も少なく、自分のやり方が正しいかも分からない 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
87. © 2023 LayerX Inc. 87 正解がない問題を皆が納得する形で解決できる形にする能力 • めちゃくちゃ重要だけどめちゃくちゃ難しい（十分にできる人は稀少） ◦ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技 • 問題解決のプロセスを繰り返して身につけるしかない • きちんとした問題解決の機会は少ない（よほど普段から意識しないと） • フィードバックの機会も少なく、自分のやり方が正しいかも分からない 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 研究のプロセスに完全に一致
88. © 2023 LayerX Inc. 88 正解がない問題を皆が納得する形で解決できる形にする能力 • 松村は学生時代（特に修士課程）における研究活動によってこの能力がある程 度身についたと考えている • 学生時代の研究ほど一つの正解のない問題について深く・長く考える機会はな かなかない • しかも超優秀な先生方のご指導付き • 社会人になってから身につけようとするとけっこう大変なので、学生時代の研 究活動を一生懸命行うことをとてもおすすめします
89. © 2023 LayerX Inc. 89 正解がない問題を皆が納得する形で解決できる形にする能力 • 松村は学生時代（特に修士課程）における研究活動によってこの能力がある程 度身についたと考えている • 学生時代の研究ほど一つの正解のない問題について深く・長く考える機会はな かなかない • しかも超優秀な先生方のご指導付き • 社会人になってから身につけようとするとけっこう大変なので、学生時代の研 究活動を一生懸命行うことをとてもおすすめします ※私は先生の回し者ではありません
90. © 2023 LayerX Inc. 90 Agenda 1. 本日のお話しの目的 2. 機械学習・推薦システムを利用すべき場面 3. 機械学習・推薦システムのプロジェクトの進め方 4. データサイエンティストとは 5. データサイエンティストに必要な能力
91. © 2023 LayerX Inc. 91 （再々掲）本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業 会社においてどう活用されているのかを知ることで、それらが自分たちに関係 のあるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に 興味を持っていただき、より深く知る・考えるきっかけになってほしい。