Tweet
Tweet

Slide 1

Slide 1 text

社内LINE公式アカウント メッセージ送りすぎ問題を データサイエンスで解決する 2021/03/31 Takahiro Yoshinaga, LINE Corporation 今期の私は凄かったぞ︕︕︕

Slide 2

Slide 2 text

Takahiro Yoshinaga @t_yoshinaga0106 所属 • LINE Corp. Data Science Center, ML Sol. teamの概念 課⾦対象 • ファッション, 息⼦（2歳）, Beer 将来実現したいこと • 息⼦が幼稚園までに陽⼦のシュワルツシルド半径を覚える • 息⼦が10歳までに⾼⽊貞治著「解析概論」を読破する

Slide 3

Slide 3 text

Outline 課題 • 社内LINE公式アカウントがユーザーに対してメッセージを送り すぎていた 解決⽅策 • 開封率予測に基づくターゲティング配信機能の提供 結果 • 仕様の範囲ではメッセージ配信の削減に成功 • 将来的には、より売上に直結した最適化機能の提供を⽬指す

Slide 4

Slide 4 text

社内LINE公式アカウント メッセージ送りすぎ問題

Slide 5

Slide 5 text

何のトピック︖

Slide 6

Slide 6 text

LINE公式アカウント（OA） LINEでユーザと企業が友だちのようにつながることができるサービス 特に、メッセージ配信によってユーザと密なコミュニケーションが⾏える

Slide 7

Slide 7 text

50%

Slide 8

Slide 8 text

社内/社外アカウントメッセージ⽐率 典型的なユーザーの50%が、LINEが運⽤しているアカウント（社内OA） から多くのメッセージを受け取っている ⽉に受け取ったメッセージ数 ユーザーの割合 100-200通

Slide 9

Slide 9 text

>10億円

Slide 10

Slide 10 text

社内OAメッセージ通数ランキング 仮にメッセージ従量課⾦制を社内OAに適⽤したとすると ⽉に10億円程度コストを掛けているOAが複数存在する アカウント メッセージ送信数 従量課⾦した場合のコスト アカウントA > 10億通 / ⽉ > 10億円 / ⽉ アカウントB 5-10億通 / ⽉ 5-10億円 / ⽉ アカウントC 5-10億通 / ⽉ 5-10億円 / ⽉ … … …

Slide 11

Slide 11 text

社内LINE公式アカウントが ユーザにメッセージを 送りすぎている

Slide 12

Slide 12 text

社内LINE公式アカウント メッセージ送りすぎ問題 は何が問題なのか︖

Slide 13

Slide 13 text

問題1 開封率が低下する

Slide 14

Slide 14 text

メッセージ受信数 vs 開封率 ⽉に受け取ったメッセージ数 開封率

Slide 15

Slide 15 text

問題2 他のアカウントの開封を阻害する

Slide 16

Slide 16 text

OAの配信頻度 vs ユーザーの受信頻度 あるOAが配信頻度を下げても、 他のOAの配信が多いと開封がされにくい

Slide 17

Slide 17 text

ユーザーはLINE公式アカウント のメッセージをどう感じているのか

Slide 18

Slide 18 text

メッセージの質より量が問題 量に対して課題を感じるユーザーは75% 質に対して課題を感じるユーザーは22%

Slide 19

Slide 19 text

解決⽅針 ユーザーにとって有⽤なものは届ける 有⽤でないものは減らす

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

AIで解決︕

Slide 22

Slide 22 text

Open Score Targeting

Slide 23

Slide 23 text

基本⽅針 メッセージ開封率予測に基づく ターゲティング配信によって メッセージ送りすぎ問題を解決する

Slide 24

Slide 24 text

開封率予測モデル（Open Score Model） 公式アカウントからユーザーに送った メッセージの反応の統計情報から 開封率予測モデルを作り 「Score」が⾼いユーザーに優先的に配信

Slide 25

Slide 25 text

System: Open Score Targeting OA管理画⾯からのメッセージ配信時にScoreに基づいてターゲティング Scoreは⽇次で⽣成してServiceへ送信

Slide 26

Slide 26 text

Results

Slide 27

Slide 27 text

Results OA管理画⾯からのメッセージ配信数はO(10)%減少︕

Slide 28

Slide 28 text

Results 売上の毀損を抑えつつ配信数を減らしたサービスもあった （どれくらい売上を保てるかはKPIとして設定はしていなかったが、効率的にメッセージ量が減らせた） YYYYMM 友だち数 メッセージ送信数 売上 202008 2200万 13億通 1.4億 202009 2200万 7億通 (46%↓) 1.2億 (15%↓) … … … ある主要サービスの⽉次の数字

Slide 29

Slide 29 text

すべてのサービスが そうではなかった

Slide 30

Slide 30 text

Results OA管理画⾯からのメッセージ配信数はO(10)%減少︕ 別⼝の配信⽅法利⽤が増えて全体では⼤きな減少にはならなかった

Slide 31

Slide 31 text

Why? 売上に直結する最適化ではなかった 結果、短期⽬標達成のため別⼝が増加

Slide 32

Slide 32 text

Challenge より売上に直結する最適化を⽬指す

Slide 33

Slide 33 text

OA Score (Ongoing) CTR予測モデルによるターゲティング配信機能の提供

Slide 34

Slide 34 text

Auto Recommendation (in Dev.) コンテンツ（メッセージ）単位でのターゲティング機能の提供

Slide 35

Slide 35 text

Summary

Slide 36

Slide 36 text

Summary 課題 • 社内LINE公式アカウントがユーザーに対してメッセージを送り すぎていた 解決⽅策 • 開封率予測に基づくターゲティング配信機能の提供 結果 • 仕様の範囲ではメッセージ配信の削減に成功 • 将来的には、より売上に直結した最適化機能の提供を⽬指す

Slide 37

Slide 37 text

完

Slide 38

Slide 38 text

Machine Learning Dept. Data Science Center Data Science Dept. Machine Learning Dept. ML Planning ML Solution ML Development ML Infrastructure

Slide 39

Slide 39 text

We are Hiring! • 機械学習エンジニア ü https://linecorp.com/ja/career/position/589 • 機械学習プロダクト・プロジェクトマネージャ ü https://linecorp.com/ja/career/position/1598 ü https://linecorp.com/ja/career/position/1043 • サーバーサイドエンジニア・DevOpsエンジニア ü https://linecorp.com/ja/career/position/1408 ü https://linecorp.com/ja/career/position/2255 気軽に話を聞きたい⽅はそくめん君からでも是⾮︕ https://sokumenkun.com/2020/09/04/takahiro-yoshinaga/