2023年05月09日 の兵庫県立大学の社会データ分析という講義における講演資料です。
機械学習や推薦システムという技術が事業会社におけるプロダクト開発でどのように活用されているのか、それを実現するデータサイエンティストや機械学習エンジニアというのはどういう職種なのか、LayerXのバクラク請求書やウォンテッドリーのWantedly Visit の例を使って紹介しました。
事業会社における機械学習・推薦システム技術の活用事例と必要な能力9.May.2023 兵庫県立大学 社会データ分析松村 優也株式会社LayerX ML Team Manager / ウォンテッドリー株式会社 機械学習領域 技術顧問LayerXとウォンテッドリーを例に
View Slide
Confidential © 2023 LayerX Inc.2画像を入れてね自己紹介松村 優也(Yuya Matsumura)- 2018/3- 京都大学大学院 情報学研究科 修士課程修了- 現在- 株式会社LayerX ML/OCR Team Manager- ウォンテッドリー株式会社 技術顧問- その他、大学にて非常勤講師やスタートアップの技術支援等共著 『推薦システム実践入門』@yu___ya4@yu-ya4
LayerXについて
© 2023 LayerX Inc.4会社概要すべての経済活動を、デジタル化する。※ 一部抜粋会社名代表取締役創業従業員数資本金事業概要関連会社お取引先(一部)株式会社LayerX(レイヤーエックス)代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気2018年 8月1日149名(2023年1月現在)86億円(資本準備金含む)バクラク(SaaS)事業、Fintech事業、Privacy Tech事業三井物産デジタル・アセットマネジメント(三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リース、イデラキャピタルマネジメントによる合弁会社)
© 2023 LayerX Inc.5ミッション
© 2023 LayerX Inc.6やろうとしていること
© 2023 LayerX Inc.73つの事業バクラク事業企業活動のインフラとなる法人支出管理(BSM)SaaSを開発・提供ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開パーソナルデータの利活用とプライバシー保護を両立するソリューションの提供バクラク事業 Fintech事業 PrivacyTech事業
© 2023 LayerX Inc.83つの事業バクラク事業企業活動のインフラとなる法人支出管理(BSM)SaaSを開発・提供ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開パーソナルデータの利活用とプライバシー保護を両立するソリューションの提供バクラク事業 Fintech事業 PrivacyTech事業
圧倒的に使いやすいプロダクトでわくわくする働き方を。企業活動を支えるコーポレート業務は、ミスができない難しい業務。バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
© 2023 LayerX Inc.10法人支出管理(BSM)SaaS「バクラク」を展開* 経費精算のSlack連携は申請内容の通知のみ稟議・支払申請・経費精算・ワークフロー・AIが領収書を5秒でデータ化・承認はチャットアプリから・シームレスな内部統制構築仕訳・支払処理効率化・AIが請求書を5秒でデータ化・仕訳データを自動学習、 手入力ゼロへ・改正電子帳簿保存法に対応・利用料無料・即時追加発行・最大1億円決済可能法人向けクレジットカード・無料で始められる・手入力ゼロで証憑管理・改正電子帳簿保存法に対応帳票保存・ストレージバクラクでは AI-OCR 機能をはじめ、機械学習がコア技術として活用されています
Confidential © 2023 LayerX Inc.11法人の支出管理の流れとよくある課題請求書処理や経費精算は、「紙」が多く、「手作業」も多い、最もアナログな領域の一つ- 紙でのやりとりが中心で、手入力や目視でのチェックが多く、ミスも発生しやすい。- 複数のサービス間でデータが連携されずに、確認工数が増加しやすい。回収 稟議 承認データ入力仕訳/支払データ作成支払保管/税務・監査対応会計ソフト反映「手入力だ大変」「記入ミスで手戻り」「承認し忘れる」「承認が多く大変」「手入力が多い」「ミス・手戻りが多い」「仕訳作成/確認が大変」「支払データ作成が大変」「属人性が高い」「データ転記が発生」「同じ情報を何度も手入力目視チェックが大変」「紙で保管、共有が大変」「税務・監査対応。過去データを出すのが大変」現場・全社の課題 経理の課題 経理/総務の課題「請求書が来ない」「領収書がない」
Confidential © 2023 LayerX Inc.12手作業が多くなりがちな支出管理業務のデジタル化を一気通貫でサポート管理部門だけでなく、現場社員からも喜ばれる圧倒的な使いやすさにこだわっているため、ITツールが苦手な方でも安心してご利用いただけます。現場・全社の課題を解決 経理の課題を解決 経理/総務の課題を解決回収 稟議 承認データ入力仕訳/支払データ作成支払保管/税務・監査対応会計ソフト反映デジタル受け取り 自動受け取り スマホ ・ Slack AI OCR 自動入力 API連携 ・ 自動出力 クラウド管理 ・ 電子帳簿保存
© 2023 LayerX Inc.133つの事業バクラク事業企業活動のインフラとなる法人支出管理(BSM)SaaSを開発・提供ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開パーソナルデータの利活用とプライバシー保護を両立するソリューションの提供バクラク事業 Fintech事業 PrivacyTech事業
Confidential © 2023 LayerX Inc.15MDMのプロダクト
© 2023 LayerX Inc.163つの事業バクラク事業企業活動のインフラとなる法人支出管理(BSM)SaaSを開発・提供ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開パーソナルデータの利活用とプライバシー保護を両立するソリューションの提供バクラク事業 Fintech事業 PrivacyTech事業
Confidential © 2023 LayerX Inc.17取り組み
LayerX LLM Labs
Confidential © 2023 LayerX Inc.19LayerX LLM LabsについてLayerXでの大規模言語モデル専任チーム今後の取り組み・LayerXおよび三井物産デジタル・アセットマネジメントにおけるLLM活用のフィードバック・LayerXが展開する支出管理サービス「バクラク」へのLLMの導入検証・LLMを活用した新規事業の検討・探索・LLMに関する勉強会コミュニティの運営・ブログや論文などを通じた情報発信 等
© 2023 LayerX Inc.20Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.21Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.22本日のお話しの目的● みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会社においてどう活用されているのかを知ることで、それらが自分たちに関係のあるもので、学ぶ意義のあるものだと感じてほしい。● それらを活用するデータサイエンティストや機械学習エンジニアという職種に興味を持っていただき、より深く知る・考えるきっかけになってほしい。
© 2023 LayerX Inc.23別に将来、機械学習とか推薦システムに関係する仕事はしないし...
© 2023 LayerX Inc.24あらゆる人が機械学習や推薦システムについて学ぶ意義● 昨今のChatGPTをはじめとした大規模言語モデルの潮流による社会応用の急進プロダクトの利用者側としては確実に関わる(LLMの例)https://aichat-line.studio.site/ai_chathttps://www.notion.so/ja-jp/help/guides/notion-ai-for-docshttps://prtimes.jp/main/html/rd/p/000000221.000036528.htmlhttps://about.mercari.com/press/news/articles/20230501_generativeai/
© 2023 LayerX Inc.25あらゆる人が機械学習や推薦システムについて学ぶ意義● Netflix は動画視聴の75%が推薦経由● TikTok はレコメンド(推薦システム)をユーザー体験の中心と位置づけ、ユーザー向けの製品ページにレコメンドの仕組みについての説明を掲載プロダクトの利用者側としては確実に関わる(推薦システムの例)https://netflixtechblog.com/netflix-recommendations-beyond-the-5-stars-part-1-55838468f429We have adapted our personalization algorithms tothis new scenario in such a way that now 75% ofwhat people watch is from some sort ofrecommendation.https://newsroom.tiktok.com/ja-jp/how-tiktok-recommends-videos
© 2023 LayerX Inc.26あらゆる人が機械学習や推薦システムについて学ぶ意義仕組みを知ることで正しく使うhttps://www.u-hyogo.ac.jp/topics/important/20230417/index.htmlhttps://www.nikkei.com/article/DGXZQOGN31DUY0R30C23A3000000/
© 2023 LayerX Inc.27あらゆる人が機械学習や推薦システムについて学ぶ意義● 書籍を買う際はできるだけ Amazon を利用する。他人へプレゼントする場合はAmazon 以外で購入する。● コンテンツにフィードバック(点数、Good or Bad…)できる場合はつける。仕組みを知ることでより恩恵を受けられるように行動できるhttps://www.amazon.co.jp/ https://news.google.com/
© 2023 LayerX Inc.28あらゆる人が機械学習や推薦システムについて学ぶ意義● どんなデータがどのように活用されているかはプロダクトごとに公開● 実際に利用されているデータを開示できるプロダクトも● おすすめのアルゴリズムに使用されたくない過去の購入品を選択仕組みを知ることでデータをマネジメントして不利益を避けるhttps://service-terms.wantedly.com/privacy_policy/ja_JP https://www.netflix.com/account/getmyinfo https://www.amazon.co.jp/gp/yourstore/iyr?collection=purchased&ref_=pd_ys_iyr_nort
© 2023 LayerX Inc.29(再掲)本日のお話しの目的● みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会社においてどう活用されているのかを知ることで、それらが自分たちに関係のあるもので、学ぶ意義のあるものだと感じてほしい。● それらを活用するデータサイエンティストや機械学習エンジニアという職種に興味を持っていただき、より深く知る・考えるきっかけになってほしい。
© 2023 LayerX Inc.30Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.31機械学習・推薦システムを利用すべき場面以下の3つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける
© 2023 LayerX Inc.32機械学習・推薦システムを利用すべき場面バクラク請求書の「請求書読み取り機能」を例に説明(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける仕訳・支払処理効率化・AIが請求書を5秒でデータ化・仕訳データを自動学習、 手入力ゼロへ・改正電子帳簿保存法に対応
© 2023 LayerX Inc.33バクラク請求書 請求書読み取り機能が解決したい課題● 請求書に記入されている項目(支払期日や支払金額、取引先名など)を目視で確認して、ミスなく入力・管理することはとても負荷の高い仕事○ 対応する枚数が数十、数百枚と増えるにつれてミスが起こりやすい○ 帳票のフォーマットが多種に渡り読み取ることが単純に大変○ ミスは許されないためダブルチェック等確認作業にもコストがかかってしまう受けとった請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする
© 2023 LayerX Inc.34バクラク請求書 請求書読み取り(OCR)機能のデモ
© 2023 LayerX Inc.35どういうときに機械学習・推薦システムを利用すべき?(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける以下の3つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
© 2023 LayerX Inc.36(正解データのある)大量のデータが得られる機械学習は、大量のデータから自動でルールを学習するデータが十分にないとルールを学習できなかったり(未学習)、学習データのみに適合してしまう(過学習)● 今あるのか?今はなくともこれからたまる仕組みがあるのか?● データは使える程度にはキレイか、開発に際してアクセス可能な状態か?● 教師あり学習を行う場合は、正解データも十分に得られるか?○ アノテーションを行う必要があるなら、その仕組みや体制は整っているか?
© 2023 LayerX Inc.37(正解データのある)大量のデータが得られる機械学習は、大量のデータから自動でルールを学習するデータが十分にないとルールを学習できなかったり(未学習)、学習データのみに適合してしまう(過学習)● 今あるのか?今はなくともこれからたまる仕組みがあるのか?→ 今もあるし(月次数百億円規模の請求書)、これからも増えていくであろう。● データは使える程度にはキレイか、開発に際してアクセス可能な状態か? →整備されており、適切な情報・権限管理のもと一部の開発者はアクセス可能● 教師あり学習を行う場合は、正解データも十分に得られるか?→ サービスが利用されると正解データであるユーザーの入力値がたまっていく。○ アノテーションを行う必要があるなら、その仕組みや体制は整っているか? → 別途アノテーション用の基盤システムや、組織が整備されている。https://note.com/fukkyy/n/nf00ddb836a03の場合
© 2023 LayerX Inc.38どういうときに機械学習・推薦システムを利用すべき?(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける以下の3つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
© 2023 LayerX Inc.39扱うデータが十分に複雑である機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意単純なデータであれば、人手でルールを記述する(一般的なプログラミング)ので十分なことも。● ルールが複雑(難解・大量)で人手で記述することが困難か?○ Fizz Buzz に機械学習を用いることもできるが、そのコストを事業上許容できるかというと...● データの扱いが難しいか?○ めちゃくちゃたくさんのカラムがある表データ○ 自然言語や画像、音声などの非構造化データ
© 2023 LayerX Inc.40扱うデータが十分に複雑である機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意単純なデータであれば、人手でルールを記述する(一般的なプログラミング)ので十分なことも。● ルールが複雑(難解・大量)で人手で記述することが困難か?→ 世の中には様々な請求書のパターンが存在しており、かつ、ユーザーの運用もそれぞれで複雑である。● データの扱いが難しいか?→ 非構造化データである画像ファイルやPDF形式の請求書を扱う必要がある。の場合
© 2023 LayerX Inc.41どういうときに機械学習・推薦システムを利用すべき?(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける以下の3つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
© 2023 LayerX Inc.42データの特性が変化し続ける機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も?● ユーザーの性質は変化するか?○ プロダクト規模の拡大により、異なるセグメントのユーザーが利用するようになったり○ 同一ユーザーでも時間の流れとともに嗜好が変わったり● 世の中の状況の変化にプロダクトは影響を受けるか?○ 法改正・流行の変化・景気・パンデミック...
© 2023 LayerX Inc.43データの特性が変化し続ける機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も?● ユーザーの性質は変化するか? → どんどんいろんな規模や業界の企業さまにご利用いただいていっている。企業さまにより、利用している請求書のフォーマットは様々である。● 世の中の状況の変化にプロダクトは影響を受けるか?→ 「インボイス制度」により、読み取ることのできるべき請求書の項目が増加。→ コロナ禍による在宅勤務が進んだ影響などで、副業を行う個人事業主が増加。の場合
© 2023 LayerX Inc.44機械学習・推薦システムを利用すべき場面適切に状況を見極め、手段(≠目的)である機械学習を適用するべきか考えることが重要(正解データのある)大量のデータが得られる扱うデータが十分に複雑であるデータの特性が変化し続ける
© 2023 LayerX Inc.45Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.46機械学習・推薦システムのプロジェクトの進め方1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.47機械学習・推薦システムのプロジェクトの進め方開発の流れをWantedly Visitの会社・シゴトの推薦システムを例に説明
© 2023 LayerX Inc.48Wantedly Visitの会社・シゴトの推薦システム
© 2023 LayerX Inc.49Wantedly Visitの会社・シゴトの推薦システム
© 2023 LayerX Inc.50開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.51開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.521. プロダクト上の問題発見・認識理想や目標と現状のギャップ=問題を発見・認識するユーザーから会社への月間応募数10万ユーザーから会社への月間応募数8万理想・目標現状月間応募数が2万少ないギャップ = 問題● この問題を解消・軽減することがプロジェクト(推薦システム開発)の目的に● プロジェクトの成否の判断基準にもなるのでできるだけ定量的に
© 2023 LayerX Inc.531. プロダクト上の問題発見・認識可能ならばある程度の大きさの粒度に落とし込むユーザーから会社への月間応募数10万ユーザーから会社への月間応募数8万理想・目標現状月間応募数が2万少ない↓新規ユーザによる月間応募数が1.5万少ないギャップ = 問題● 大き過ぎ→原因特定が難化したり、解決策が汎用的になり過ぎインパクトが小さく● 小さ過ぎ→解決策が特殊になり過ぎてインパクトが小さく
© 2023 LayerX Inc.54開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.552. 問題の原因特定問題がなぜ起きているかを定量・定性アプローチで特定● 定量:アンケート、ユーザデータや行動ログの分析 etc.● 定性:ユーザインタビュー、SNSエゴサ、市場調査、ユーザとして自社サービスを使ってみる、競合サービスを使ってみる、これまで培われた経験 etc.新規ユーザによる月間応募数が1.5万少ないギャップ = 問題問題の原因(候補)● 登録直後に推薦される会社が微妙● 登録フローが少し分かりにくい● 競合サービスがキャンペーンを実施
© 2023 LayerX Inc.562. 問題の原因特定定量アプローチと定性アプローチを補完し合うことで特定した原因の確度を高める新規ユーザによる月間応募数が1.5万少ないギャップ = 問題● 定量→定性:行動ログを分析して知り得た事実をユーザインタビューを実施して確認● 定性→定量:SNSに投稿されていて知り得た事実を実際の行動ログを分析して確認問題の原因(候補)● 登録直後に推薦される会社が微妙● 登録フローが少し分かりにくい● 競合サービスがキャンペーンを実施
© 2023 LayerX Inc.572. 問題の原因特定解決した際のインパクト(広さ×深さ)や解決可能性の高いものを優先新規ユーザによる月間応募数が1.5万少ないギャップ = 問題● 登録フローは簡単に修正できるがあまりインパクトがなさそう...● 競合のキャンペーン実施自体はどうしようもないし一過性のものだし...● 行動ログのある既存ユーザーへのパーソナライジングした推薦は取り組んできたが新規ユーザーへの推薦はまだ改善余地がありそう!(コールドスタート問題)問題の原因● 登録直後に推薦される会社が微妙● 登録フローが少し分かりにくい● 競合サービスがキャンペーンを実施
© 2023 LayerX Inc.58開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.593. 解くべき課題の定義・解決策の立案特定した原因を解決し得る課題を定義・解決策を立案課題・解決策(候補)● 登録直後には手動で選んだいい感じの会社を推薦● 登録直後にはサービス内で人気な順で会社を推薦● 登録時の入力情報を増やすことで、登録直後でもユーザの嗜好に合った会社を推薦問題の原因 登録直後に推薦される会社が微妙
© 2023 LayerX Inc.603. 解くべき課題の定義・解決策の立案インパクトやコスト、原因解消の確度などの観点から取り組むものを選択● 手動で選ぶ運用を続けるのはコストが高すぎる...● 様々なユーザーがいる中で画一的な人気順では一部にしか刺さらずインパクトが...課題・解決策● 登録直後には手動で選んだいい感じの会社を推薦● 登録直後にはサービス内で人気な順で会社を推薦● 登録時の入力情報を増やすことで、登録直後でもユーザの嗜好に合った会社を推薦問題の原因 登録直後に推薦される会社が微妙
© 2023 LayerX Inc.613. 解くべき課題の定義・解決策の立案課題が解決され、問題の原因が解消された状態を言語化● ここが曖昧だと、解決策を実行した際に問題の原因が解消されたのか判断できなく● トレードオフがある場合は同時に言語化課題・解決策登録時の入力情報を増やすことで、登録直後でもユーザの嗜好に合った会社を推薦問題の原因 登録直後に推薦される会社が微妙新規ユーザによる月間応募数が1.5万少ないギャップ = 問題● 登録直後に応募するユーザ数が20%以上増加する● 新規ユーザによる月間応募数が0.5万以上増加する● 登録時の情報入力画面で離脱するユーザが10%以上増加しない問題の原因が解消された状態
© 2023 LayerX Inc.62開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.634. 課題解決・解決策の実行機械学習や推薦システムといった技術を駆使し、UXも考えてプロダクトに組み込む● 手段を目的化しない(最新の技術を使うことを目的とするとか)● 最初からコストをかけ過ぎず、妥当な実現方法を模索● UX重要。使われないと価値が届かない。(精度はいいが推論が遅すぎるとか)課題・解決策登録時の入力情報を増やすことで、登録直後でもユーザの嗜好に合った会社を推薦
© 2023 LayerX Inc.644. 課題解決・解決策の実行
© 2023 LayerX Inc.65開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.665. 評価プロジェクトのゴールとなる「問題の原因が解消された状態」に沿った評価を実施● 機能を作る、推薦アルゴリズムをリリースすることが目的ではない。● オフライン評価→オンライン評価という順に実施● 登録直後に応募するユーザ数が20%以上増加する● 新規ユーザによる月間応募数が0.5万以上増加する● 登録時の情報入力画面で離脱するユーザが10%以上増加しない問題の原因が解消された状態
© 2023 LayerX Inc.675. 評価オフライン評価:過去データに基づき、オンライン評価に回していい品質かどうか検証● 定量:定めた評価指標が定めた基準以上改善しているか確認○ 最重要な指標(応募数)以外のプロダクト的に重要な指標も確認(ユーザに推薦される企業の多様性、応募するユーザー数、ユーザーへの表示速度...)● 定性:実際にユーザに表示される推薦結果をいくつか目で見て確認○ ここで思いがけない考慮漏れが見つかることも● 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再チャレンジ
© 2023 LayerX Inc.685. 評価オンライン評価:(一部の)ユーザに実際にリリースして問題の原因が解消されるか検証● AB テスト、Interleaving などの手法を利用● オフライン評価と同様に定量・定性の両面で確認● 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再チャレンジ、あるいは仮説が正しくなく方針転換が必要な場合は「3. 課題定義・解決策の立案」からやり直す
© 2023 LayerX Inc.69開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.706. 運用評価の工程で品質を確認できたらいよいよ全体に適用したリリース・運用を開始● 「問題の原因が解消された状態」となっているか必ず確認○ オンラインテストはあくまでオンラインテストなので、全体適用時とは異なる動きをする可能性も。● 継続的なモニタリングを必ず実施○ 機械学習を用いる際は、学習ログや予測結果の評価値なども継続的に確認する。データの傾向が変わることで気づいたら学習がうまくいかなくなっていることなどもしばしば。
© 2023 LayerX Inc.71開発の流れ1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.72Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.73データサイエンティストとはデータサイエンティスト協会によると...データサイエンス力、データエンジニアリング力をベースにデータから価値を創出し、ビジネス課題に答えをだすプロフェッショナルhttps://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
© 2023 LayerX Inc.74データサイエンティストとはデータサイエンティスト協会によると...https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
© 2023 LayerX Inc.75データサイエンティストとはデータサイエンティスト協会によると...データサイエンス力、データエンジニアリング力をベースにデータから価値を創出し、ビジネス課題に答えをだすプロフェッショナルhttps://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf
© 2023 LayerX Inc.76データサイエンティストとはプロダクト開発においてはユーザの課題を解決してプロダクト/事業目標を達成することが重要
© 2023 LayerX Inc.77データサイエンティストとはどれかが欠けては達成できないもちろん個人ではなくチームで補完しあってもよい目標を達成しうるユーザの課題を定義実際にユーザに価値を届けて課題を解決データを活用してユーザの課題を解決しうる価値を創出
© 2023 LayerX Inc.78Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.79データサイエンティストに必要な能力どんな能力を身につけていけばよいのだろう?
© 2023 LayerX Inc.80コードを書いたり論文を読んで(高度な)推薦アルゴリズムを実装する能力データサイエンティストに必要な能力
© 2023 LayerX Inc.81コードを書いたり論文を読んで(高度な)推薦アルゴリズムを実装する能力1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。そもそも実現できる能力がなければ問題解決なんてできない。
© 2023 LayerX Inc.82コードを書いたり論文を読んで(高度な)推薦アルゴリズムを実装する能力1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。そもそも実現できる能力がなければ問題解決なんてできない。ので当たり前にめちゃくちゃ重要だが...
© 2023 LayerX Inc.83正解がない問題を皆が納得する形で解決できる形にする能力データサイエンティストに必要な能力
© 2023 LayerX Inc.84正解がない問題を皆が納得する形で解決できる形にする能力1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用主に 1-3 の過程でめちゃくちゃ重要そもそも解決可能な形にする能力がなければ問題解決なんてできない。不適切な課題定義はプロダクトを誤った方向に進めてしまう。
© 2023 LayerX Inc.85正解がない問題を皆が納得する形で解決できる形にする能力1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用主に 1-3 の過程でめちゃくちゃ重要そもそも解決可能な形にする能力がなければ問題解決なんてできない。不適切な課題定義はプロダクトを誤った方向に進めてしまう。特に学生のうちにこちらにも向き合ってほしい
© 2023 LayerX Inc.86正解がない問題を皆が納得する形で解決できる形にする能力● めちゃくちゃ重要だけどめちゃくちゃ難しい(十分にできる人は稀少)○ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技● 問題解決のプロセスを繰り返して身につけるしかない● きちんとした問題解決の機会は少ない(よほど普段から意識しないと)● フィードバックの機会も少なく、自分のやり方が正しいかも分からない1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用
© 2023 LayerX Inc.87正解がない問題を皆が納得する形で解決できる形にする能力● めちゃくちゃ重要だけどめちゃくちゃ難しい(十分にできる人は稀少)○ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技● 問題解決のプロセスを繰り返して身につけるしかない● きちんとした問題解決の機会は少ない(よほど普段から意識しないと)● フィードバックの機会も少なく、自分のやり方が正しいかも分からない1. プロダクト上の問題発見・認識2. 問題の原因特定3. 解くべき課題の定義・解決策の立案4. 課題解決・解決策の実行5. 評価6. 運用研究のプロセスに完全に一致
© 2023 LayerX Inc.88正解がない問題を皆が納得する形で解決できる形にする能力● 松村は学生時代(特に修士課程)における研究活動によってこの能力がある程度身についたと考えている● 学生時代の研究ほど一つの正解のない問題について深く・長く考える機会はなかなかない● しかも超優秀な先生方のご指導付き● 社会人になってから身につけようとするとけっこう大変なので、学生時代の研究活動を一生懸命行うことをとてもおすすめします
© 2023 LayerX Inc.89正解がない問題を皆が納得する形で解決できる形にする能力● 松村は学生時代(特に修士課程)における研究活動によってこの能力がある程度身についたと考えている● 学生時代の研究ほど一つの正解のない問題について深く・長く考える機会はなかなかない● しかも超優秀な先生方のご指導付き● 社会人になってから身につけようとするとけっこう大変なので、学生時代の研究活動を一生懸命行うことをとてもおすすめします※私は先生の回し者ではありません
© 2023 LayerX Inc.90Agenda1. 本日のお話しの目的2. 機械学習・推薦システムを利用すべき場面3. 機械学習・推薦システムのプロジェクトの進め方4. データサイエンティストとは5. データサイエンティストに必要な能力
© 2023 LayerX Inc.91(再々掲)本日のお話しの目的● みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会社においてどう活用されているのかを知ることで、それらが自分たちに関係のあるもので、学ぶ意義のあるものだと感じてほしい。● それらを活用するデータサイエンティストや機械学習エンジニアという職種に興味を持っていただき、より深く知る・考えるきっかけになってほしい。