Summer Internship 説明会 - Machine Learning 組織紹介- Data Science センター / Machine Learning Solution 室 / Machine Learning Solution 3 チーム マネージャー 渡辺 哲朗（Tetsuroh Watanabe） 2023. 04. 21

Self Introduction Data Science センター Machine Learning Solution 室 Machine Learning Solution 3 チーム マネージャー 渡辺 哲朗（Tetsuroh Watanabe）Ph.D. - ユーザ属性推定システム - 事業横断での特徴量データ整備・管理 LINEでの現在の主な担当領域 - ゲーム系企業でのデータサイエンティスト - 簿記・会計系の業務 - 研究職 - 進化計算（遺伝的アルゴリズム等） - マルチエージェントシミュレーション - ⾮常勤講師（データ分析系の講義） - 乗り物の旅（鉄道、⾶⾏機、船舶、バス） - オタ活（アニメ、ゲーム、漫画、VTuber） - クイズ活動 過去の活動（他社、⼤学等） 趣味

0WFSWJFX

LINE App. )PNF 5BML 700. /FXT 8BMMFU

LINE App. )PNF 5BML 700. /FXT 8BMMFU 3FDPNNFOEBUJPO 3FDPNNFOEBUJPO FUD 4FBSDI FUD #BOEJUT 3FDPNNFOEBUJPO #BOEJU FUD 3FDPNNFOEBUJPOT #BOEJUT FUD #BOEJUT 4FBSDI FUD 4FBSDI FUD

&YBNQMFT .-"QQMJDBUJPO

Sticker Recommendation ユーザひとりひとりへのスタンプ推薦 • データ分析を専⾨に⾏う組織（Data Science室）の⽀援の元、A/Bテストを実施 • MLロジックや特徴量⾒直しなどにより、性 能を⼤幅に改善（2022/5） • -1000万 Items (global) • -100 items / user • x億 Users total (global) DATA VOLUME データ分析と機械学習開発の協業によるスタンプ推薦ロジックの継続的改善 - LINE DEVELOPER DAY 2021 https://linedevday.linecorp.com/2021/ja/sessions/79

Sticker Auto-Tagging スタンプ画像から意味的なタグを推測し、⾃動付与 • 2021年〜、深層学習モデルを更新（Efficient Net）

Smart Channel トークリスト上部にコンテンツ・広告を表⽰ • 2段構成で、ML室は下記の両⽅を提供 1. 個別サービスのコンテンツ向けターゲティングロジック （様々な組織が供給） 2. 最終的にコンテンツ or 広告を1つ選定 LINEではどのようにサービス横断でのデータ活⽤を実現しているのか - LINE DEVELOPER DAY 2020 https://speakerdeck.com/line_devday2020/how-does-line-implement-cross-service-data-utilization?slide=21 100 individual targeting logics for 1. 600k+ uniq. items / day 2B req. / day

User Persona Prediction LINEユーザの属性を機械学習で推定（＝みなし属性） • サービス横断のユーザ⾏動ログを利⽤して、DNN系のロジックで推定（〜数億ユーザ） • 継続的にリファクタリングやロジック改善等を進めており、MLP Mixerなども利⽤ LINE for Business 2022年10-2023年3⽉期 媒体資料より https://www.linebiz.com/jp/download/ 属性推定システムのリニューアルで⾒えた様々な課題とその解決の事例紹介 - LINE DEVELOPER DAY 2021 https://linedevday.linecorp.com/2021/ja/sessions/91

出前館 出前館における機械学習パイプライン構築と機械学習プロダクトの継続的改善 - Tech-Verse 2022 https://tech-verse.me/ja/sessions/118 出前館におけるサービス向上のための機械学習 - LINE DEVELOPER DAY 2021 https://linedevday.linecorp.com/2021/ja/sessions/82/ %SJWFS .FSDIBOU 6TFS 3FR GPSPSEFS 3FRGPS EFMJWFSZ 3FRGPS QSFQBSBUJPO QJDLVQ EFMJWFSZ 複数の機械学習のコンポーネントを提供し、 オンライン予測のためのパイプラインも個別に構築 For Users • 商品の推薦（≒ 何を注⽂すればよいか︖） For Demae-can (as a broker/仲介者) • オーダーの配達依頼（≒ 誰に配達を依頼すればよいか︖） For Drivers • エリア単位での直近需要の予測（≒ どこで待てばよいか︖） • レストランの準備時間予測（≒ いつ受け取りに⾏けばよいか︖）

Federated Learning + Differential Privacy • スタンプの推薦はサーバ側で、並び替えはク ライアント側で実施 • ランダムに選ばれた⼀部デバイスが、差分プ ライバシーでノイズを載せ、学習結果のみを サーバに送付して統合・更新 Training Training Training Training Training ML Training Training Training Local Model with noise Model Aggregation Federated Learningを⽤いたLINEスタンプの推薦 - Tech-Verse 2022 https://tech-verse.me/ja/sessions/46 Local Model with noise Local Model with noise クライアントデバイス側でのMLモデル学習＋サーバ側でのモデル統合

&YBNQMFT -JCSBSJFT 5PPMT %BUB

Libra Suite MLの開発効率化 + DSの検証効率化のための内製ツール 画⾯設計・デザインをUIのチームに依頼し、バックエンドをML室で開発 CMS for A/B Test & Rollout Dashboard for A/B Test 推薦結果の可視化 Libra suite – LINEのMLプロダクト改善のための内製ツールセット - LINE DEVELOPER DAY 2020 https://linedevday.linecorp.com/2020/ja/sessions/1731

Cross-Service User/Content Features 事業横断でML向けの特徴量データを収集・加⼯・管理 • ⾃分たちのMLに使うだけでなく、社内の他ML組織にも提供 • 表現学習により、密ベクトル化したデータなども作成 LINEではどのようにサービス横断でのデータ活⽤を実現しているのか - LINE DEVELOPER DAY 2020 https://speakerdeck.com/line_devday2020/how-does-line-implement-cross-service-data-utilization?slide=16 (k8s) 46 data types 63M dim. 1B users

Own Libraries for Development Efficiency 開発を効率化するライブラリを内製 • cumin: データアクセスの抽象化 • swimmy: RPC to k8s cluster • ghee: 分散並列処理（転送 & 演算） • ghee-models: MLモデル（python） • masala: MLモデル（yaml駆動） 機械学習で使っている分散処理⽤RPCライブラリ - LINE DEVELOPER DAY 2021 https://linedevday.linecorp.com/2021/ja/sessions/70 機械学習アプリケーションのための、⼤規模データを分散処理するライブラリ - LINE DEVELOPER DAY 2020 https://linedevday.linecorp.com/2020/ja/sessions/9750 LINEサービス向けの効率的かつ効果的な推薦システム開発に向けて - LINE DEVELOPER DAY 2020 https://linedevday.linecorp.com/2020/ja/sessions/9641

%FW&OWJSPONFOU %BUBQMBUGPSN 1SPHSBNMBOHVBHFT

LINE’s Data Platform As a foundation of building ML App., ML System, and ML Platform LINEではどのようにサービス横断でのデータ活⽤を実現しているのか - LINE DEVELOPER DAY 2020 https://speakerdeck.com/line_devday2020/how-does-line-implement-cross-service-data-utilization?slide=11

Program languages, Environments, Libraries • Lang. : Python, SQL, Go, etc. • Env. : Kubernetes (k8s), Kafka, Redis, Hadoop, MySQL, … • Lang. : Python, etc. • Lib. : PyTorch, Tensorflow, numpy, OpenMPI, ZMQ, ONNX, …

ML Batch APIs MLプラットフォーム化により、開発したモデルの再利⽤性や開発効率などを向上

Teams & Focus （本⽇の説明会に関連するチームの抜粋） .-4PMVUJPO νʔϜ -*/&ϚϯΨ΍-*/&ΪϑτͳͲͷϑΝϛϦʔαʔϏε޲͚ͷਪનϩδοΫͷ։ൃɻ ग़લؗ޲͚ͷ.-ͷ։ൃͰ͸ɺʮ৔ॴɾ࣌ؒผͰͷधཁͷ༧ଌʯ΍ʮ഑ୡ࣌ؒͷ༧ଌʯͳ ͲɺΦϯϥΠϯͷσʔλ&5-΍ਪ࿦͕ඞཁͳ.-γεςϜͷ։ൃʹ΋஫ྗɻ .-4PMVUJPO νʔϜ -*/&ެࣜΞΧ΢ϯτͷϝοηʔδ഑৴࠷దԽ΍ɺ֤छαʔϏε޲͚ͷਪનͳͲΛ࣮ࢪɻ .-4PMVUJPO νʔϜ αʔϏεԣஅͷಛ௃ྔσʔλͷ੔උɾӡ༻΍ɺͦͷσʔλΛ׆༻ͨ͠-*/&Ϣʔβʔଐੑ ਪఆͳͲΛ࣮ࢪɻ .-%FWFMPQNFOU νʔϜ େن໛σʔλΛѻ͏ͨΊͷɺಠࣗ.-Ϟσϧ܈ͷ࣮૷΍੔උɺαʔϏεԣஅಛ௃ྔΛ׆༻ ͨࣾ͠಺޲͚ͷ.-"1*։ൃɺ.-0QT޲͚ͷ౷ܭྔऩूγεςϜͷઃܭɾ։ൃͳͲΛ࣮ ࢪɻ'FEFSBUFE-FBSOJOHͷٕज़։ൃ΋ਐΊ͍ͯΔɻ .-1SJWBDZ 5SVTUνʔϜ ϓϥΠόγʔۀҬͷߴ͍ઐ໳ੑΛ͓࣋ͬͯΓɺ'FEFSBUFE-FBSOJOHͱݺ͹ΕΔٕज़Λ αʔϏεಋೖ͢ΔϓϩδΣΫτʹࢀըɻݚڀʹ΋஫ྗ͓ͯ͠ΓɺτοϓΧϯϑΝϨϯε ʹ΋ଟ਺ͷ࿦จ͕࠾୒͞Ε͍ͯΔɻ 今回の募集コース との対応 機械学習・AIコース （機械学習 / 東京） 機械学習・AIコース （プライバシー） %4$1MBOOJOH νʔϜ ػցֶश σʔλαΠΤϯε "*։ൃʹؔ͢Δ֤छϓϩδΣΫτͷਪਐΛ࣮ࢪɻϓϩ δΣΫτϚωδϝϯτ΍ϓϩμΫτϚωδϝϯτͳͲɺϑΣʔζʹΑͬͯ໾ׂ͸ଟذʹ ΘͨΔɻ 機械学習・AIコース （Program Manager） 機械学習・AIコース （機械学習 / 福岡） .BDIJOF -FBSOJOH νʔϜ ʢ-*/&'VLVPLBʣ -*/&ελϯϓ৹ࠪӡ༻ͷޮ཰ԽͷͨΊɺ.-Λ༻͍ͨιϦϡʔγϣϯͷఏڙ΍ɺෳ਺ͷ ن੍ҧ൓νΣοΫͷࣗಈԽΛ࣮ࢪɻ.-Ϟσϧֶशɺ νϡʔχϯάɺల։ɺ؂ࢹͳͲͷ &OEUPFOEϓϩηεͷ࣮ࢪ΍ɺը૾ॲཧɺࣗવݴޠɺ࣌ܥྻ༧ଌͷٕज़ؔ࿈ϓϩδΣΫ τ΋खֻ͚͍ͯΔɻ

.JTDFMMBOFPVT

https://linecorp.com/ja/career/lp/media/machine-learning 参考 今⽇紹介した開発事例など、個別発表等の詳細がまとまっています

https://tech-verse.me/ Tech-Verse 2022 Federated Learningなどの最新の取り組みを紹介しています

We’re Waiting for You!

#BDLVQTMJEF

No content