ML PM, DS PMってどんな仕事をしているの？

Slide 1

Slide 1 text

.-1. %41.ͬͯ ͲΜͳ࢓ࣄΛ͍ͯ͠Δͷʁ .BTBUP/JOPIJSB !.-%41MBOOJOH5FBO

Slide 6

Slide 6 text

.-૊৫Ͱ͸༷ʑͳϥΠϒϥϦɾιϦϡʔγϣϯΛ։ൃ 3FDPNNFOEBUJPO &YTUJDLFST 4UJDLFS"VUP5BHHJOH • スタンプ画像から意味的なタグを推測し、⾃動付与 • 2021年〜、深層学習モデルを更新（Efficient Net） 6TFS1FSTPOB1SFEJDUJPO • サービス横断のユーザ⾏動ログを利⽤して、DNN系のロジックで推定（〜数億ユーザ） • 継続的にリファクタリングやロジック改善等を進めており、MLP Mixerなども利⽤ LINE for Business 2022年10-2023年3⽉期媒体資料より https://www.linebiz.com/jp/download/ 出前館 %SJWFS .FSDIBOU 6TFS 3FR GPSPSEFS 3FRGPS EFMJWFSZ 3FRGPS QSFQBSBUJPO QJDLVQ EFMJWFSZ 複数の機械学習のコンポーネントを提供し、オンライン予測のためのパイプラインも個別に構築 For Users • 商品の推薦（≒ 何を注⽂すればよいか︖） For Demae-can (as a broker/仲介者) • オーダーの配達依頼（≒ 誰に配達を依頼すればよいか？） For Drivers • エリア単位での直近需要の予測（≒ どこで待てばよいか？） • レストランの準備時間予測（≒ いつ受け取りに⾏けばよいか？） 4NBSU$IBOOFM トークリスト上部にコンテンツ・広告を表⽰ • 2段構成で、ML室は下記の両⽅を提供 1. 個別サービスのコンテンツ向けターゲティングロジック（様々な組織が供給） 2. 最終的にコンテンツ or 広告を1つ選定 -JCSB4VJUF MLの開発効率化 + DSの検証効率化のための内製ツール画⾯設計・デザインをUIのチームに依頼し、バックエンドをML室で開発 CMS for A/B Test & Rollout Dashboard for A/B Test 推薦結果の可視化 $SPTT4FSWJDF6TFS$POUFOU'FBUVSFT • 事業横断でML向けのデータを整備し、社内の他ML組織に提供 • 表現学習により、密ベクトル化したデータなども作成 .-#BUDI"1*T MLプラットフォーム化により、開発したモデルの再利⽤性や開発効率などを⼤幅に向上 0XO-JCTGPS%FW&GGJDJFODZ • cumin: データアクセスの抽象化 • swimmy: RPC to k8s cluster • ghee: 分散並列処理（転送 & 演算） • ghee-models: MLモデル（python） • masala: MLモデル（yaml）

Slide 14

Slide 14 text

.-ͱͷҧ͍%4૊৫͸ҎԼͷνʔϜ͔Β੒Γཱ͓ͬͯΓ·͢ ࣌఺ .-4PMνʔϜ -*/&ϚϯΨ΍-*/&(JGUͳͲͷϑΝϛϦʔαʔϏε޲͚ͷਪનϩδοΫͷ։ൃɻ ग़લؗ޲͚ͷ.-ͷ։ൃͰ͸ɺʮ৔ॴɾ࣌ؒผͰͷधཁͷ༧ଌʯ΍ʮ഑ୡ࣌ؒͷ༧ଌʯͳ ͲɺΦϯϥΠϯͷσʔλ&5-΍ਪ࿦͕ඞཁͳ.-γεςϜͷ։ൃʹ΋஫ྗ .-4PMνʔϜ -*/&ެࣜΞΧ΢ϯτͷϝοηʔδ഑৴࠷దԽ΍ɺ֤छαʔϏε޲͚ͷਪનͳͲΛ࣮ࢪ %41.-νʔϜ ޿ࠂ഑৴ʹ༻͍Δಛ௃ྔΤϯδχΞϦϯάɺ΍֎෦ഔମ޲͚഑৴γεςϜʢ-*/&޿ࠂ ωοτϫʔΫʣ޲͚ͷ.-΍࠷దԽΛ࣮ࢪɻ޿ࠂΫϦΤΠςΟϒͷ৹ࠪΛߦ͏.-ج൫ͷ ։ൃͳͲʹ΋ணख .-1SJWBDZνʔϜ ϓϥΠόγʔۀҬͷߴ͍ઐ໳ੑΛ͓࣋ͬͯΓɺ'FEFSBUFE-FBSOJOHͱݺ͹ΕΔٕज़Λ αʔϏεಋೖ͢ΔϓϩδΣΫτʹࢀըɻݚڀʹ΋஫ྗ͓ͯ͠ΓɺτοϓΧϯϑΝϨϯε ʹ΋ଟ਺࿦จ͕࠾୒͞Ε͍ͯΔ .-%FWνʔϜ େن໛σʔλΛѻ͏ͨΊͷɺಠࣗ.-Ϟσϧ܈ͷ࣮૷΍੔උɺαʔϏεԣஅಛ௃ྔΛ׆༻ ͨࣾ͠಺޲͚ͷ.-"1*։ൃɺ.-0QT޲͚ͷ౷ܭྔऩूγεςϜͷઃܭɾ։ൃͳͲΛ࣮ ࢪɻ'FEFSBUFE-FBSOJOHͷٕज़։ൃ΋ਐΊ͍ͯΔ .-*OGSBνʔϜ ػցֶशΤϯδχΞͷͨΊͷɺLT "JSGMPX $*$%؀ڥͳͲͷج൫੔උɺ͓Αͼ"1*ɾ ؂ࢹγεςϜͳͲͷ։ൃӡ༻Λߦ͍ɺ৴པੑͷߴ͍αʔϏεΛఏڙɻ௚ۙͰ͸ɺػցֶ श༻్ͷΦϯϥΠϯಛ௃ྔετΞɺ.-޲͚ͷ%BUBϦωʔδγεςϜͳͲ΋։ൃ .-4PMνʔϜ αʔϏεԣஅͷಛ௃ྔͷ੔උɾӡ༻͓ΑͼɺͦͷσʔλΛར༻ͨ͠Ϣʔβଐੑͷਪఆͳ ͲΛ࣮ࢪ ྘ɿ.-ΤϯδχΞ ਫ৭%4 Data Science1室 LINE のプラットフォーム機能に貢献する分析を⾏う • 複数の事業に関係する課題の定義と解決 • プラットフォーム全体の⽅針の個別分析への反映 LINEのファミリーサービスの成⻑に貢献する分析を⾏う • ユーザーとパートナー企業の満⾜に関係する課題の定義と解決 • 個別⽬標が相反する時も最善の意思決定が⾏われるよう基準を提供 Data Science2室具体的なプロジェクトの例 • LINEアプリ（ホームタブ / トークタブ / LINEスタンプ / LINE VOOM / SmartCH など） • LINE公式アカウント • LINE広告（ホームタブ / SmartCH / LINE VOOM / LINE NEWS / LINE広告ネットワークなど）具体的なプロジェクトの例 • LINE Gift / LINE MUSIC / LIVEBUY / 位置情報など • LINE Pay を中⼼とする⾦融系サービス

Slide 16

Slide 16 text

.-ɾ%4૊৫͸ҎԼͷνʔϜ͔Β੒Γཱ͓ͬͯΓ·͢ ࣌఺ ྘ɿ.-ΤϯδχΞ ਫ৭%4 Data Science1室 LINE のプラットフォーム機能に貢献する分析を⾏う • 複数の事業に関係する課題の定義と解決 • プラットフォーム全体の⽅針の個別分析への反映 LINEのファミリーサービスの成⻑に貢献する分析を⾏う • ユーザーとパートナー企業の満⾜に関係する課題の定義と解決 • 個別⽬標が相反する時も最善の意思決定が⾏われるよう基準を提供 Data Science2室具体的なプロジェクトの例 • LINEアプリ（ホームタブ / トークタブ / LINEスタンプ / LINE VOOM / Smart Channel など） • LINE公式アカウント • LINE広告（ホームタブ / Smart Channel/ LINE VOOM / LINE NEWS / LINE広告ネットワークなど）具体的なプロジェクトの例 • LINE ギフト / LINE MUSIC / LIVEBUY / 位置情報など • LINE Pay を中⼼とする⾦融系サービス ML Sol.1チーム LINEマンガやLINE ギフトなどのファミリーサービス向けの推薦ロジックの開発。出前館向けのMLの開発では、「場所・時間別での需要の予測」や「配達時間の予測」など、オンラインのデータETLや推論が必要なMLシステムの開発にも注⼒。 ML Sol.2チームサービス横断の特徴量の整備・運⽤および、そのデータを利⽤したユーザ属性の推定などに取り組んでいる。LINE公式アカウント向けの配信最適化や推薦なども実施。 DSP MLチーム広告配信に⽤いる特徴量エンジニアリング、や外部媒体向け配信システム（LINE広告ネットワーク）向けのMLや最適化を実施。広告クリエイティブの審査を⾏うML基盤の開発などにも着⼿。 ML Privacyチームプライバシー業域の⾼い専⾨性を持っており、Federated Learningと呼ばれる技術をサービス導⼊するプロジェクトに参画。研究にも注⼒しており、トップカンファレンスにも多数論⽂が採択されている。 ML Dev.チーム⼤規模データを扱うための、独⾃MLモデル群の実装や整備、サービス横断特徴量を活⽤した社内向けのML API開発、MLOps向けの統計量収集システムの設計・開発などを実施。Federated Lear ningの技術開発も進めている。 ML Infra.チーム機械学習エンジニアのための、k8s, Airflow, CI/CD環境などの基盤整備、およびAPI・監視システムなどの周辺システムの開発運⽤を⾏い、信頼性の⾼いサービスを提供直近では、⾼スループット・低レイテンシな機械学習⽤途の特徴量ストア、ML向けのDataリネージシステムなども開発

Slide 17

Slide 17 text

.-ɾ%4૊৫͸ҎԼͷνʔϜ͔Β੒Γཱ͓ͬͯΓ·͢ ࣌఺ ྘ɿ.-ΤϯδχΞ ਫ৭%4 Data Science1室 LINE のプラットフォーム機能に貢献する分析を⾏う • 複数の事業に関係する課題の定義と解決 • プラットフォーム全体の⽅針の個別分析への反映 LINEのファミリーサービスの成⻑に貢献する分析を⾏う • ユーザーとパートナー企業の満⾜に関係する課題の定義と解決 • 個別⽬標が相反する時も最善の意思決定が⾏われるよう基準を提供 Data Science2室具体的なプロジェクトの例 • LINEアプリ（ホームタブ / トークタブ / LINEスタンプ / LINE VOOM / Smart Channel など） • LINE公式アカウント • LINE広告（ホームタブ / Smart Channel/ LINE VOOM / LINE NEWS / LINE広告ネットワークなど）具体的なプロジェクトの例 • LINE ギフト / LINE MUSIC / LIVEBUY / 位置情報など • LINE Pay を中⼼とする⾦融系サービス ML Sol.1チーム LINEマンガやLINE ギフトなどのファミリーサービス向けの推薦ロジックの開発。出前館向けのMLの開発では、「場所・時間別での需要の予測」や「配達時間の予測」など、オンラインのデータETLや推論が必要なMLシステムの開発にも注⼒。 ML Sol.2チームサービス横断の特徴量の整備・運⽤および、そのデータを利⽤したユーザ属性の推定などに取り組んでいる。LINE公式アカウント向けの配信最適化や推薦なども実施。 DSP MLチーム広告配信に⽤いる特徴量エンジニアリング、や外部媒体向け配信システム（LINE広告ネットワーク）向けのMLや最適化を実施。広告クリエイティブの審査を⾏うML基盤の開発などにも着⼿。 ML Privacyチームプライバシー業域の⾼い専⾨性を持っており、Federated Learningと呼ばれる技術をサービス導⼊するプロジェクトに参画。研究にも注⼒しており、トップカンファレンスにも多数論⽂が採択されている。 ML Dev.チーム⼤規模データを扱うための、独⾃MLモデル群の実装や整備、サービス横断特徴量を活⽤した社内向けのML API開発、MLOps向けの統計量収集システムの設計・開発などを実施。Federated Lear ningの技術開発も進めている。 ML Infra.チーム機械学習エンジニアのための、k8s, Airflow, CI/CD環境などの基盤整備、およびAPI・監視システムなどの周辺システムの開発運⽤を⾏い、信頼性の⾼いサービスを提供直近では、⾼スループット・低レイテンシな機械学習⽤途の特徴量ストア、ML向けのDataリネージシステムなども開発

Slide 18

Slide 18 text

.-ɾ%4૊৫͸ҎԼͷνʔϜ͔Β੒Γཱ͓ͬͯΓ·͢ ࣌఺ ྘ɿ.-ΤϯδχΞ ਫ৭%4 .-%41MBOOJOH5FBNͱ͸ʁ Data Science1室 LINE のプラットフォーム機能に貢献する分析を⾏う • 複数の事業に関係する課題の定義と解決 • プラットフォーム全体の⽅針の個別分析への反映 LINEのファミリーサービスの成⻑に貢献する分析を⾏う • ユーザーとパートナー企業の満⾜に関係する課題の定義と解決 • 個別⽬標が相反する時も最善の意思決定が⾏われるよう基準を提供 Data Science2室具体的なプロジェクトの例 • LINEアプリ（ホームタブ / トークタブ / LINEスタンプ / LINE VOOM / Smart Channel など） • LINE公式アカウント • LINE広告（ホームタブ / Smart Channel/ LINE VOOM / LINE NEWS / LINE広告ネットワークなど）具体的なプロジェクトの例 • LINE ギフト / LINE MUSIC / LIVEBUY / 位置情報など • LINE Pay を中⼼とする⾦融系サービス ML Sol.1チーム LINEマンガやLINE ギフトなどのファミリーサービス向けの推薦ロジックの開発。出前館向けのMLの開発では、「場所・時間別での需要の予測」や「配達時間の予測」など、オンラインのデータETLや推論が必要なMLシステムの開発にも注⼒。 ML Sol.2チームサービス横断の特徴量の整備・運⽤および、そのデータを利⽤したユーザ属性の推定などに取り組んでいる。LINE公式アカウント向けの配信最適化や推薦なども実施。 DSP MLチーム広告配信に⽤いる特徴量エンジニアリング、や外部媒体向け配信システム（LINE広告ネットワーク）向けのMLや最適化を実施。広告クリエイティブの審査を⾏うML基盤の開発などにも着⼿。 ML Privacyチームプライバシー業域の⾼い専⾨性を持っており、Federated Learningと呼ばれる技術をサービス導⼊するプロジェクトに参画。研究にも注⼒しており、トップカンファレンスにも多数論⽂が採択されている。 ML Dev.チーム⼤規模データを扱うための、独⾃MLモデル群の実装や整備、サービス横断特徴量を活⽤した社内向けのML API開発、MLOps向けの統計量収集システムの設計・開発などを実施。Federated Lear ningの技術開発も進めている。 ML Infra.チーム機械学習エンジニアのための、k8s, Airflow, CI/CD環境などの基盤整備、およびAPI・監視システムなどの周辺システムの開発運⽤を⾏い、信頼性の⾼いサービスを提供直近では、⾼スループット・低レイテンシな機械学習⽤途の特徴量ストア、ML向けのDataリネージシステムなども開発

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text