再現性が鍵🔑能力の真価を発揮するサービス企画の実践論 #落選お披露目

by てぃば@rechiba3

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

📣このセッションは以下の悩みに答えながら進行します 1. 既存サービスの進化はどこから始めればいいの？  2. 能力を証明した！って言える状態ってどんな状態？  3. 次のステージへの誘いが来るのはどういう人？  4. 同じ事業で新しい技術に挑戦する熱意の持ち方は？ 

Slide 3

Slide 3 text

目次 1. 自己紹介 ⋯ てぃば（CHIBA Reimi）について  2. 主管プロダクト紹介 ⋯ 既存サービスの可能性を広げる  3. 今回話す実践の話  3-1．事前調査編  3-2．機械学習モデルで解決編  4. 能力の証明は再現性を獲得できてこそ 

Slide 4

Slide 4 text

1．自己紹介

Slide 5

Slide 5 text

こんにちば、てぃば@rechiba3です！ https://www.rechiba3.net/ https://speakerdeck.com/rechiba3 | https://twitter.com/rechiba3 | てぃば@rechiba3 https://www.slideshare.net/re_3_19 感想受付中 #落選お披露目  Webディレクション生まれ、ベトナムオフショア育ち、オープンソースの精神持つ奴だいたいトモダチなLIFULL HOME'Sのサービス企画✌ pmconf運営もやってます✊ プライベートでは動画編集を趣味に、 3児の母として日々の育児記録を YouTubeチャンネルで発信しています。現在育休中。

Slide 6

Slide 6 text

2011年  経歴  Webサイト・スマホアプリの受託制作会社に新卒入社。Webディレクターやプロジェクトマネージャーとしてベトナムオフショア開発案件に取り組む  2014年  株式会社LIFULL入社。国際事業部で海外展開に携わり、ローカライゼーションの SEO・Webサイト改善を担当  2017年  LIFULL HOME’S事業本部へ配属。賃貸領域のWebサイト改善、ユーザー行動・アクセス分析を担当  2019年  ユーザー向けLINE・メールのリテンションマーケティングを担当。「住み替えシナリオ配信」、「新着物件通知」等の LINE新機能実装を手掛ける  2009年  高校卒業後、宮城県仙台市から東京へ。日本電子専門学校Webデザイン科入学  

Slide 7

Slide 7 text

2．主管プロダクト紹介

Slide 8

Slide 8 text

LIFULL HOME'Sで物件を探しているユーザー向け機能「新着物件通知」、問合せ後のユーザーにその後の住替え状況に合わせたメールを送る「シナリオメール」などをLINE・メールをプラットフォームに提供しています。  https://www.docswell.com/s/LIFULL/549DGK-LINE%E6 %96%B0%E7%9D%80%E7%89%A9%E4%BB%B6%E 9%80%9A%E7%9F%A5%E3%83%AA%E3%83%AA% E3%83%BC%E3%82%B9/1 https://corp.lifull.com/n/n134b32d6d770 https://youtu.be/_F2OJpUfg6g 🔽ふだんの仕事内容がわかる登壇・インタビュー記録 2022年~  LINE・メール配信のユーザーナーチャリング施策に携わりながら、 Webシステムの移管や機械学習モデルを構築してのレコメンドアルゴリズム改善に取り組む 

Slide 9

Slide 9 text

3．今回話す実践の話 3-1．事前調査編

Slide 10

Slide 10 text

LINE通知メッセージ問合せ完了メール引用: LINEみんなの使い方ガイドオプトイン  1日目 2日目 3日目 7日目物件レコメンドや引越に必要な情報ユーザーが物件に問合せた後に提供する機能

Slide 11

Slide 11 text

Slide 12

Slide 12 text

私たちが送るLINE・メールに掲載されている物件レコメンドは、本当にユーザーの希望条件に近しいものを勧めているか？  仮説

Slide 13

Slide 13 text

既存のレコメンドロジック同じ市区町村  同じ駅や近い駅  専有面積が似てる  起点物件の条件と一致した物件をおすすめ  レコメンド結果に違和感ないか、起点物件との乖離を検証してみた🔍 

Slide 14

Slide 14 text

希望していた駅と、駅徒歩分数を無視したレコメンドが生成されていた。  結論レコメンド結果に違和感ないか、起点物件との乖離を検証してみた🔍  「池袋駅徒歩10分」の条件で探して問合せた物件の「似た条件のおすすめ物件」の住所が赤羽や川口など市区町村がまたいじゃうってこと 

Slide 15

Slide 15 text

希望していた駅と、駅徒歩分数を無視したレコメンドが生成されていた。   結論  レコメンド結果に違和感ないか、起点物件との乖離を検証してみた🔍  「池袋駅徒歩10分」の条件で探して問合せた物件の「似た条件のおすすめ物件」の住所が赤羽や川口など市区町村がまたいじゃうってこと  いや待ってありえない！  LIFULL HOME'Sには200万件近い物件が掲載されてるんだよ！？ 

Slide 16

Slide 16 text

ぜんぜんありえる、だって条件は絞るもの提案できる数が少ない地方都市に行けば行くほどレコメンドが見当違いになっている、つまり、  レコメンドでズレなくて良い条件まで可変している  都道府県市区町村路線駅家賃上限家賃下限専有面積上限専有面積下限 🔽いわゆる条件一覧

Slide 17

Slide 17 text

3．今回話す実践の話 3-2．機械学習モデルで解決編

Slide 18

Slide 18 text

上司に検証結果を報告したある日の1on1 レコメンドアルゴリズムを変更したい、しかしどのような手段でやるか決まっていない、開発リソースの確保をどうする？などなど考えながら相談しました。  BigQuery MLに挑戦してみない？  知らねぇやつだ、ググるか  

Slide 19

Slide 19 text

引用: Google Cloud 公式ブログ BigQuery導入済みならばすぐ使える、良さそうすでに導入運用済みシステム間の移動をしなくていい一気通貫

Slide 20

Slide 20 text

ユーザーごとに検索条件のレーティングをして「ユーザーが将来検索する条件を予測する」モデルを構築しました。  BigQueryMLでやったこと都道府県市区町村路線駅家賃上限家賃下限専有面積上限専有面積下限 🔽これらの条件をユーザーごとにレーティング +5千円ぐらい許容  -5千円ぐらい  +5平米ぐらい許容  -5平米ぐらい  もっとあらゆる視点でモデル開発をしましたが、詳細は秘匿 🤫  BigQuery MLはモデルとデータの適合性をスコアリングしてくれるので（すばらしい…）この機能を活用してモデルのチューニングをおこないました。  

Slide 21

Slide 21 text

引用: note - LIFUL Product Growth 同じ職種の同僚に説明  戦歴

Slide 22

Slide 22 text

同じ職種の同僚に説明あまり理解されていないことがわかった。  敗因「てぃばの施策」として認知されていてグループで取り組む課題にできなかったこと 😣 

Slide 23

Slide 23 text

4．能力の証明は再現性を獲得できてこそ

Slide 24

Slide 24 text

能力の真価を示したと言い切れる結末 ①わたしの仕事が終わる ②ナレッジを残す（仕事をやる気にさせる、着手しやすい状態のドキュメントで） ③わたしがいなくてもプロダクトの価値が持続される畑を耕して終わりにしたら、次の収穫は見込めない。一人で仕事をしてるわけではない以上、他人にとっての「やりやすさ」があってようやく組織が自律する。良いパフォーマンスが発揮しやすい土嚢を整えるところまでやってようやく伝播の義務が果たせたと言える。

Slide 25

Slide 25 text

反省、開発中にも発表形式で紹介すればよかった新技術、完全に理解してから動くってほぼないですよね。  開発しながら理解を深めていくので、整理しないとすっぱり抜けてしまう。途中でお披露目すると「ちゃんと理解してから喋ろ」って批判もあるかもしれないけれど、怖がらないでほしい。おれが信じるWeb業界はそうじゃない。  Aさん「こうやって開発しています」   Bさん「いまいち理解できませんでした、◯◯は必要なのか？」   Cさん「【Bさん向けの説明】だと理解しやすいかも、どうだろ」   Bさん「めっちゃわかった」   🔽おれが信じるWeb業界はこういう技術ブログのコメント欄的なやり取り

Slide 26

Slide 26 text

「自分はこれをやり遂げた！」の賞味期限は以外と短い過去の栄華を振りかざせる期間は限られているので、能力再現の機会を取りにいきたい。  じゃあ、事業のシーンで以下のような機会に選ばれる人はどんな人？  ● 既存事業の運用、グロース、フェーズを変えた挑戦  ● 新機能の開発  ● 極秘新規事業プロジェクト  「こいつに任せたら問題ないな」って実績がある人だけ。  ここまでの熱意を維持できているのはなぜ？ 

Slide 27

Slide 27 text

きっと、次の仕事も未経験分野の新技術だと思いますきっと、次に私に訪れるミッションは未経験分野の新技術だと思います。  前回と同じBigQueryMLのレコメンドモデルのチューニングとか、機械学習の新鮮なデータを手配するとか、技術知識の再現ではない気がしています。  評価されたのが、「個人の能力に依存させず、他者でも再現させられた成果」だから。他メンバーでも実践できるようになるまでの引き継ぎや、他チームへの知見共有こそが本当に開花した成果だと思っています。だからきっと別領域の活躍をもらえる気がしている。（ここまで言い切って、これでまた同じ感じだったらウケるね）

Slide 28

Slide 28 text

そんな毎回新技術勉強してしんどくない？

Slide 29

Slide 29 text

スライドには書けない、転職のきっかけになった10年前の話熱意の対象に気づけたエピソード

Slide 30

Slide 30 text

私の情熱対象⇢誰かの暮らしのワクワクを想像する引用：Google検索結果引用：http://m.homes.co.jp/

Slide 31

Slide 31 text

好きな業界で仕事ができている安心感コンフォートゾーン  ラーニングゾーン  パニックゾーン  パニックゾーンの内側めちゃくちゃ広い

Slide 32

Slide 32 text

📣今回話したこと  1. 能力の証明は再現性を認められてから  2. 伝播の義務を果たして仲間を増やそう  3. 実績を積み上げた人にしかステージへの誘いはこない  4. 愛せる業界と分野じゃないとサバイブできない  準備万端じゃないと声はかからないし機会は現れない  あらゆる分野、フィールドで試せてはじめて会得した、と言える  未経験分野に挑戦し続けるためには揺るがない情熱対象を選ぶ  自分以外の人も巻き込んでみんなのプロダクトにするべき 

Slide 33

Slide 33 text

準備ができている人間でいるための覚悟現在、出産に伴い育休中🤱  1年近く休むことになります。私の実績はその間、更新されない。  だから開発の現場から離れてもQiitaコントリビュートや社外登壇で打席に立ち、マミートラックに乗らない選択ができることを自らの仕事っぷりで体現しています。  https://youtu.be/yr6jH3Ao9bM?si=mM73rUodi-3ssQch マミートラックとは、女性が子育てによってキャリアのコースから外れてしまう状態のこと。  望んで人生の荷重をコントロールできることが一番なので、「子育て層は働きたいけど働けない、出世から外れるのが当たり前」だったスタンダードをもう止めにするために積極的に活動しています。そう、私は怒りを原動力にできる人間。 

Slide 34

Slide 34 text

さいごまで聴いてくれてありがとうございました！  https://www.rechiba3.net/ https://speakerdeck.com/rechiba3 | https://twitter.com/rechiba3 | てぃば@rechiba3 https://www.slideshare.net/re_3_19 感想受付中 #落選お披露目 