データサイエンスをするつもりが、KPI数値算出がなーんできてないぜ！新卒1年目が配属1ヶ月で挑んだサブスクサービスのKPI数値算出タスク

by どすこい

Slide 1

Slide 1 text

データサイエンスをするつもりが、 KPI数値算出がなーんできてないぜ！ 1 ~サブスクリプション型契約の集計の難しさ~ どすこい Burikaigi 2025

Slide 2

Slide 2 text

Table of contents ● ⾃⼰紹介 ● サブスク型契約の難しさ ● サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン ● むすび 2

Slide 3

Slide 3 text

3 新卒1年⽬ Webエンジニアどすこい武田大佑はじめての登壇でやばいです去年の4⽉に社会⼈になって、夏頃に事業部配属されました！ X: @doskoi64

Slide 4

Slide 4 text

4 ゲームサーバのホスティングサービスリリースしてまだ8ヶ⽉⽬(僕の⽅が社会⼈の先輩)

Slide 5

Slide 5 text

⾃⼰紹介そんな、新規プロダクトにアサインされた時に挑んだ最も⼤変だったタスクの時のお話をします... 今⽇話すこと 5

Slide 6

Slide 6 text

⾃⼰紹介サブスク型契約って複雑だ！この複雑さをさらに深ぼっていって、具体的にどのように対処したのかをおはなしします今⽇話すこと 6

Slide 7

Slide 7 text

Table of contents ● ⾃⼰紹介 ● サブスク型契約の難しさ ● サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン ● むすび 7

Slide 8

Slide 8 text

8 サブスク型契約の集計の難しさ

Slide 9

Slide 9 text

サブスク型契約の集計の難しさサブスク型の契約とは⽉額、年額など定期的にお⾦を⽀払ってサービスを利⽤する契約例: NETFLIX, Youtube プレミア, 家賃買い切り型の契約とは⼀回お⾦を払ったら、それでサービスを受けられる契約例: 弁当, 飲み物, PC, Tシャツ, 家(?) まずは⽤語説明 9 KPIとは事業の⽬標を達成するための進捗を測る定量的な指標例: 売上数, 売上額, 契約数, アクセス数 🤔

Slide 10

Slide 10 text

サブスク型契約の集計の難しさサブスク型の契約とは⽉額、年額など定期的にお⾦を⽀払ってサービスを利⽤する契約例: NETFLIX, Youtube プレミア, 家賃買い切り型の契約とは⼀回お⾦を払ったら、それでサービスを受けられる契約例: 弁当, 飲み物, PC, Tシャツ, 家(?) まずは⽤語説明 10 KPIとは事業の⽬標を達成するための進捗を測る定量的な指標例: 売上数, 売上額, 契約数, アクセス数契約動向とは新規契約、更新契約、解約などの契約の状態が変わること今回はサブスク型の契約のKPIのうち... 新規/更新契約数、解約数、有効契約数についての話をします！ 🤔

Slide 11

Slide 11 text

サブスク型契約の集計の難しさ説明のまえに概要を⾔っておくと... 買い切り型と⽐較して ● 契約の状態遷移や過去の情報を⾒なければいけない ● 契約の状態は集計期間によって変わる ● 考慮すべきパターンが多いサブスク型の契約動向の集計の難しいんですよ！ 11

Slide 12

Slide 12 text

サブスク型契約の集計の難しさ説明のまえに概要を⾔っておくと... 買い切り型と⽐較して ● 契約の状態遷移や過去の情報を⾒なければいけない ● 契約の状態は集計期間によって変わる ● 考慮すべきパターンが多い意外と難しいんです😭 サブスク型の契約動向の集計の難しいんですよ！ 12

Slide 13

Slide 13 text

サブスク型契約の集計の難しさほんまか？？ 13 🤔

Slide 14

Slide 14 text

サブスク型契約の集計の難しさ説明の前に... 使う図の説明します！ // TODO: 丁寧に説明するほんまか？？ 14

Slide 15

Slide 15 text

サブスク型契約の集計の難しさ 15 集計期間(端も含む) 始端終端新規契約期間(終端を除く) 終端始端更新契約期間(終端を除く) 終端始端

Slide 16

Slide 16 text

サブスク型契約の集計の難しさ具体例1 16 1/1 1/31 12/15 1/15 この期間での新規契約数、解約数、有効契約数は？？ 1/20

Slide 17

Slide 17 text

サブスク型契約の集計の難しさ具体例1 17 1/1 1/31 12/15 1/15 新規契約数: 1 解約数: 1 有効契約数: 1 注:有効契約数は集計期間終端でのものを指します！ 1/20 有効！解約！新規契約！

Slide 18

Slide 18 text

サブスク型契約の集計の難しさ具体例2 18 1/1 1/31 12/15 1/15 この期間での新規契約数、更新契約数、解約数、有効契約数は？？ 1/20 1/19

Slide 19

Slide 19 text

サブスク型契約の集計の難しさ具体例2 19 1/1 1/31 12/15 1/15 1/20 1/19 新規契約数: 1 更新契約数: 1 解約数: 1 有効契約数: 1 更新！

Slide 20

Slide 20 text

サブスク型契約の集計の難しさ (再掲) 買い切り型と⽐較して ● 契約の状態遷移や過去の情報を⾒なければいけない ● 契約の状態は集計期間によって変わる ● 考慮すべきパターンが多い意外と難しいんです😭 サブスク型の契約動向の集計の難しいんですよ！ 20

Slide 21

Slide 21 text

サブスク型契約の集計の難しさ KPIの数値 = 集計期間における売上数そのまま数えればよさそう買い切り型のKPIの数値の求める例 21

Slide 22

Slide 22 text

サブスク型契約の集計の難しさ KPIの数値 = 集計期間における売上数そのまま数えればよさそう買い切り型のKPIの数値の求める例 22 3個！ 3個！ 4個！

Slide 23

Slide 23 text

サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数そのまま数えればよさそう..... サブスク型のKPIの数値の求める例 23

Slide 24

Slide 24 text

サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数そのまま数えればよさそう.....？？？サブスク型のKPIの数値の求める例 24 新規1, 有効1

Slide 25

Slide 25 text

サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数そのまま数えればよさそう.....？？？？？？？？？？？サブスク型のKPIの数値の求める例 25 新規1, 有効1 😇 😇

Slide 26

Slide 26 text

サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数そのまま数えればよさそう.....？？？？？？？？？？？サブスク型のKPIの数値の求める例 26 新規1, 有効1 新規1, 更新1,有効3 更新1,有効2,解約2

Slide 27

Slide 27 text

買い切り型と⽐較して ● 契約の状態遷移や過去の情報を⾒なければいけない ● 契約の状態は集計期間によって変わる ● 考慮すべきパターンが多いサブスク型のKPIの数値の求める例 27 サブスク型契約の集計の難しさ

Slide 28

Slide 28 text

サブスク型契約の集計の難しさサブスク型契約って複雑だ！ということがわかっていただけたのですが、この複雑さをさらに深ぼっていって、具体的にどのように対処したのかをおはなしします今⽇話すこと 28 ↑混沌のサブスク契約に光をもたらす

Slide 29

Slide 29 text

サブスク型契約の集計の難しさ具体例1(復習) 29 1/1 1/31 12/15 1/15 新規契約数: 1 解約数: 1 有効契約数: 1 (先ほどの図を⾒せながら⽔を⼀⼝) 1/20 有効！解約！新規契約！

Slide 30

Slide 30 text

Table of contents ● ⾃⼰紹介 ● サブスク型契約の難しさ ● サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン ● むすび 30

Slide 31

Slide 31 text

31 サブスク型契約の⼤量で複雑なパターンとその対処

Slide 32

Slide 32 text

32 1. 契約と集計期間の無数のパターン

Slide 33

Slide 33 text

1.契約と集計期間の無数のパターンただでさえ契約期間の選択肢がおおいのに、集計期間もいろいろとらなきゃいけないそもそも考えるパターンが多すぎる！多くの契約期間と集計期間 33

Slide 34

Slide 34 text

1.契約と集計期間の無数のパターン 💡 多くの契約期間と集計期間 34

Slide 35

Slide 35 text

1.契約と集計期間の無数のパターン 💡契約期間と集計期間、どちらか固定する！ = 単純化多くの契約期間と集計期間 35

Slide 36

Slide 36 text

1.契約と集計期間の無数のパターン契約期間を固定すると... 多くの契約期間と集計期間 36

Slide 37

Slide 37 text

1.契約と集計期間の無数のパターン契約期間を固定すると... 多くの契約期間と集計期間 37 新規1, 有効1

Slide 38

Slide 38 text

1.契約と集計期間の無数のパターン契約期間を固定すると... 多くの契約期間と集計期間 38 新規2,有効2

Slide 39

Slide 39 text

1.契約と集計期間の無数のパターン契約期間を固定すると... 多くの契約期間と集計期間 39 新規1,更新1,有効2

Slide 40

Slide 40 text

1.契約と集計期間の無数のパターン契約期間を固定すると... だいぶわかりやすくなった多くの契約期間と集計期間 40 新規2,更新1,有効3

Slide 41

Slide 41 text

1.契約と集計期間の無数のパターンさらにもう⼀⼯夫 41

Slide 42

Slide 42 text

1.契約と集計期間の無数のパターンあと、いったん新規契約から考える！さらにもう⼀⼯夫 42 新規2,有効2 新規2,有効2,解約2 新規0,有効2,解約0

Slide 43

Slide 43 text

1.契約と集計期間の無数のパターンサブスク契約のパターンが多すぎて、集計している場合じゃない... いったんまとめ 43

Slide 44

Slide 44 text

1.契約と集計期間の無数のパターン ● 契約期間を固定して、集計期間を動かす！(単純化) ● まずは新規契約から集計するいったんまとめ 44 44 新規2,有効2 新規2,有効2,解約2 新規0,有効2,解約0

Slide 45

Slide 45 text

2. 新規契約のパターンの網羅 45

Slide 46

Slide 46 text

2. 新規契約のパターンの網羅問題 ● 新規事業なのもあって、パターンを網羅したことがなかった ○ ”正しい”ことを証明する必要があった ● ビジネスサイドとの厳密な定義の合意をする必要がある(実施したけど今回は省略) ● 集計ロジックが少し⽢かった(直したけど今回は省略) ● データマイグレーションが並⾏してたので、動いてたのに壊れた(気合いでなんとかしたので省略) ● ⼈⼿が⾜りなかった(気合いでなんとかしたの省略) そもそもなにしたいんだっけ？ 46

Slide 47

Slide 47 text

2. 新規契約のパターンの網羅最終⽬標サブスク型契約のパターンを網羅して、集計ロジックのテストの⼗分性を担保するじゃあつぎは網羅しよう！ 47

Slide 48

Slide 48 text

2. 新規契約のパターンの網羅そもそもテストってどうすればいいんだっけ？ 48

Slide 49

Slide 49 text

2. 新規契約のパターンの網羅境界値テストをしよう代表的な境界値を設定し、その前後の値もテストするそもそもテストってどうすればいいんだっけ？ 49 解約0 解約1 (境界) 解約1

Slide 50

Slide 50 text

2. 新規契約のパターンの網羅境界値テストをしよう代表的な境界値を設定し、その前後の値もテストするそもそもテストってどうすればいいんだっけ？ 50 契約の端と集計の端が重なると境界

Slide 51

Slide 51 text

2. 新規契約のパターンの網羅では、このような境界値はどれだけあるかな？ 51

Slide 52

Slide 52 text

2. 新規契約のパターンの網羅では、このような境界値はどれだけあるかな？ 52 解約0→解約1

Slide 53

Slide 53 text

2. 新規契約のパターンの網羅では、このような境界値はどれだけあるかな？ 53 新規0→新規1

Slide 54

Slide 54 text

2. 新規契約のパターンの網羅では、このような境界値はどれだけあるかな？ 54 解約1→解約0,有効1

Slide 55

Slide 55 text

2. 新規契約のパターンの網羅では、このような境界値はどれだけあるかな？ 55 新規1,有効1→新規0,有効0

Slide 56

Slide 56 text

56 2. 新規契約のパターンの網羅４つの境界値

Slide 57

Slide 57 text

2. 新規契約のパターンの網羅実は⻑期契約もあるので... これで全部？ 57

Slide 58

Slide 58 text

2. 新規契約のパターンの網羅ちょっと数え⽅が変わりますこれで全部？ 58 (新規1), 解約1 →(新規1),解約0,有効0 (新規0), 解約1 →(新規0),解約0,有効0

Slide 59

Slide 59 text

2. 新規契約のパターンの網羅ちょっと数え⽅が変わりますこれで全部？ 59 有効1, 新規1 →新規0,有効0 (有効1),新規0 →(有効1),新規1

Slide 60

Slide 60 text

2. 新規契約のパターンの網羅まとめると 60

Slide 61

Slide 61 text

2. 新規契約のパターンの網羅新規契約のテストケースは境界値とその前後: 3 境界値の数: 4 契約の⻑短: 2 なのでまとめると 61

Slide 62

Slide 62 text

2. 新規契約のパターンの網羅新規契約のテストケースは境界値とその前後: 3 境界値の数: 4 契約の⻑短: 2 なので 3 ✖ 4 ✖ 2 = 24 まとめると 62

Slide 63

Slide 63 text

3. ⼤量な更新契約のパターン 63

Slide 64

Slide 64 text

3. ⼤量な更新契約のパターン更新契約も同じ感じでできるっしょ新規契約もできたし 64

Slide 65

Slide 65 text

3. ⼤量な更新契約のパターン更新(短期)と更新(⻑期)があるので、2倍になる新規契約もできたし 65

Slide 66

Slide 66 text

3. ⼤量な更新契約のパターン更新の瞬間にも境界値があるので、4→6(1.5倍)になる新規契約もできたし 66

Slide 67

Slide 67 text

3. ⼤量な更新契約のパターン更新契約も同じ感じ...！？！？ 3 ✖ 6 ✖ 4 = 72 (3倍) 新規契約もできたし 67

Slide 68

Slide 68 text

3. ⼤量な更新契約のパターン更新契約も同じ感じ...！？！？ 3 ✖ 6 ✖ 4 = 72 (3倍) 新規契約もできたし 68

Slide 69

Slide 69 text

3. ⼤量な更新契約のパターン境界値を着⽬この⼤量のパターンをどうするの？ 69

Slide 70

Slide 70 text

3. ⼤量な更新契約のパターン先ほどのテストでカバーしている！この⼤量のパターンをどうするの？ 70

Slide 71

Slide 71 text

3. ⼤量な更新契約のパターンこの⼤量のパターンをどうするの？ 71

Slide 72

Slide 72 text

3. ⼤量な更新契約のパターン先ほどのテストでカバーしている！この⼤量のパターンをどうするの？ 72

Slide 73

Slide 73 text

3. ⼤量な更新契約のパターン先ほどのテストでカバーしている！この⼤量のパターンをどうするの？ 73

Slide 74

Slide 74 text

3. ⼤量な更新契約のパターン他の更新契約と同じ境界値パターンになるこの⼤量のパターンをどうするの？ 74

Slide 75

Slide 75 text

3. ⼤量な更新契約のパターンおなじ境界値のパターン 75 どちらかで考えればOK

Slide 76

Slide 76 text

3. ⼤量な更新契約のパターンおなじ境界値のパターン 76 どちらかで考えればOK

Slide 77

Slide 77 text

3. ⼤量な更新契約のパターンこれでどれだけ減った？ 3 ✖ 6 ✖ 4 = 72 (3倍) だったのが... まとめ 77

Slide 78

Slide 78 text

3. ⼤量な更新契約のパターンこれでどれだけ減った？ 3 ✖ (6 - 2) / 2 ✖ 4 = まとめ 78

Slide 79

Slide 79 text

3. ⼤量な更新契約のパターンこれでどれだけ減った？ 3 ✖ (6 - 2) / 2 ✖ 4 = 24 新規の時と同じくらいまで減らせたまとめ 79

Slide 80

Slide 80 text

むすび 80

Slide 81

Slide 81 text

● サブスク契約のKPI数値算出は難しい ● 単純化でパターンを絞ることができる ● 境界値に着⽬することでパターンを網羅できる ● ⼤量の境界値のパターンも、共通な部分があるサブスク型契約って複雑だ！むすび 81

Slide 82

Slide 82 text

82 Thank you!