Cross Data Platforms Meetup LT 20250422

Slide 1

Slide 1 text

Slide 21

Slide 21 text

Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 21 私がジョインした理由は、子会社の取締役で入っていたCIOが本業で忙しく、「代わりにシステムを見てあげて」「実務はメンバーがやるので監督者の立場で良いよ」と言われたので、プロジェクトの進捗だけを確認すればよいという認識で参加しました。ところが着任後、プロダクトマネージャーと状況の確認をすると、半年後にリリースというのは決まっているけど、日販やTSUTAYAとは全然話も出来ていないし、そもそも受入するためのデータ基盤もないという状況でした。メンバーも寄せ集めたばかりでほとんどが9月に参加したという状態。これは鼻ほじって座ってる訳にはいかないので、メンバーと一緒に計画作成から一緒に入りました。さすがに半年で完全版のリリースは難しいのでα版でのリリースをスコープするように社内外の調整した上で開発計画の作成を進めました。とはいえ別にスケジュールが楽になったわけではなく、インフラ構築、データ仕様の確認とデータ連携の開発、フロントのUI確認や性能目標など決めなきゃいけない、やらなきゃいけない事は山のようにありました。そもそもジョインしたタイミングで、システム環境すらなかったので、まずはアーキテクチャを急ぎ決める必要があり、バックエンドはDatabricks、フロントエンドはSnowflakeの併用を決めました。これにはひと悶着あり、Databricksを利用経験者が数名いたので、Databricksオンリーの話になりかけましたが、DatabricksのDWH機能がその時点ではまだ弱かったこと。特に画面の条件設定のようなショートクエリが遅い事もあり、Snowflakeを採用したいと提案しました。当然、メンバーのみんなは、Snowflakeってなにもの？という感じだったので、まずは勉強会をするところから始めました。勉強会は僕自身が開催し、SnowflakeのSAにも同席してもらいましたが、とにかく使いやすいことをプレゼンし、レビューを行い、いかにパフォーマンスを気にせず、開発に集中できるかの洗脳プレゼンを行い、その後にSnowflake のソリューションアーキテクトから具体の説明をしてもらいました。その後お試し後にベトナム人のリードエンジニアのカズさんが「使いやすいです！これなら出来る気がします！」と言ってくれたことで何とかSnowflakeでスタートしました。それと並行して、システム構成をとりまとめ、Azure上の基盤構築をCCC本体に依頼し、DatabricksやWEBサーバ、LB等のインフラリソース、セキュリティ関連の設定を行い、まずは器だけは用意しました。並行してSnowflakeのアカウントを作成し、PrivateLinkなどの設定を実施しました。開発に当たっては日販様とデータ連携仕様を設計書ベースで確認、並行して TSUTAYA側が非協力的だったので、こちらで設計書を読み取り、開発ベンダーへ直接依頼してデータ連携開発を委託しました。まぁここは色々言いたいこともありますが、議論している暇もなく、だったらこっちでやるよ！で進めました。実際の開発が始まると設計書や仕様書通りのデータじゃないものも多く、何度も移行をやり直したり、イレギュラーなデータパターンに苦しみながら、一つ一つ解きほぐし、取込仕様の見直しや改善を進めていきました。それぞれの企業のお作法があるけど、提供元はそれが独自と思っていないことが多く、連携して初めて分かる仕様の違いや認識齟齬が多発。こればっかりは仕方ないですが、外部と連携経験が浅い会社は得てしてこういう課題があります。一応、私はCCCMKと兼務で部長やっていたのですが、自社の業務と CDP社の開発を同時並行で全てやっていました。ちなみにこの裏でOracleとAzureSynapseの移行PoCもやってました。まじで笑えるぐらいに時間足りませんでした。画面設計もアジャイル的に開発をしていきましたがさすがに兼務でUIまでは見れないのでフロント周りはプロダクトマネージャーに任せて、 TSUTAYA周りのデータ連携開発は何とか完了しました。画面UIもデザイン会社に発注しましたが、イマイチなものしか上がってこず、最終的に契約終了して後は自分たちで設計を進めました。気が付けば3ヵ月ほどで基盤を作り、データ連携仕様をなんとか固めて年内を終えました。年明けからは先ほどのデータ連携の仕様差異に苦しみながら、画面仕様を固めていき、なんとかかんとか4月にα版をリリースしました。ただリリース後から問題が起きました。今回のシステムは今までの事前集計やバッチ処理型ではなく、オンライン検索型の分析サービスなので処理時間が重く、従来との分析ステップの違いで遅いというクレームが多発、さらにパフォーマンスチューニングに苦慮しました。クエリを実際に見ながらパフォーマンスアドバイスをしていましたが、なかなか改善されず、最後は僕自身もプロファイリングを分析し、キーを大幅に見直す事で速度が劇的に改善しました。ユーザーが明らかに体感できるレベルで改善し、経営会議でも社外役員よりお褒めをいただきました。それ以降もデータ基盤、チューニング、UI改善をしながら一丸となってβ版をリリースし、最終的に全ての機能を移行し、正式版として商用リリースが完了しました。今では私の手を離れて元気に動いております！

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text