システムマイグレーションでの不確実性への挑戦

2022.10.21『KGDC Tech Conference #3 KDDIグループの「ごったに！」会』にて、Supership 横井勝 が登壇の際に投影した資料です。
イベント詳細はこちら：https://kgdc.connpass.com/event/261136/

Supershipの広告用配信で用いたログやお客様の属性情報などを保存・分析する環境で、Hadoop Clusterだった部分をSnowflakeに一部切り替えを行った際の手順を苦労話を交えてご紹介しました。

仕事を始めるときには、未来が予見できずに不確実です。 特に未経験な領域は難しい です。
不確実性への挑み方のノウハウは、様々な書籍やWebサイトなどに情報があり、参考に なりました。勇気づけられました。
Supershipではデータエンジニアを始め、様々な職種で募集をしております。
https://supership.jp/recruit/

やったことないこと、不確実なことへ挑むことにご興味のある方、 SnowflakeとかDatabricksに興味ある方、 ぜひご応募ください!!

Transcript

1. システムマイグレーショ ンでの不確実性への挑戦 Supership 横井 勝
2. 今回行ったこと Supershipの広告用配信で用いたログやお客様の属性情報などを保存・分析する環 境で、Hadoop Clusterだった部分をSnowflakeに一部置き換えました。 今回は、各広告案件などの担当者が分析に用いていたクエリをSnowflakeに移植 し、分析環境を切り替える際の苦労話と振り返りをしたいです。 あらすじ • なにを分析するために使っていたのか。 • いきなり全部の業務を把握するのは難しい。 • 不確実性に挑む手法を使ってみた • なんとか完成した
3. 移植にあたっての段取り いままで: Hadoopクラスタで処理していた これから: Snowflake に移行する。 段取り • データの流れる経路の切り替え • Hadoopクラスタで動いていたJob, Pipelineの移植 • データ分析者が案件に応じて実行していたQueryの移行 ↑ 今回はここをテーマに
4. 何を分析するのに使っていたか Supershipでは企業のデジタルマーケティングやデー タ活用を支援する様々な事業を展開しており、広告配 信の事業では、配信結果や各種データを組み合わせた 集計・分析などを行っています。 例: デモグラフィック分析 性別・年齢・年収・居住地などのオーディエンスデー タや、Webサイト上の行動データをもとに導き出され た趣味趣向 などで分析する Supership Insightなどが あります。 https://supership.jp/magazine/product/3293/ このような報告をするために、広告の配信記録(ログ) を弊社で保持したり、預託頂いたデータを元に集計し ております。 ※このグラフはイメージです
5. どうしたかった (移植担当者として)明らかにしたかったこと: • 移植対象のSQLクエリと目的を調べて、全部移植したい。 困ったこと • 分析をする部署同士で、他部署が何をしているかは知らない。 • 同じ部署の同僚同士でも業務の領域が違うと、同様に知らない。 • 部署の管理職は部署内の分析者の業務の詳細までは知らない。 ◦ 権限移譲と信頼が上手くできていると、前向きに考えられる。 • 利用パターンの調査なんて、いきなり完璧な調査なんてできない。調査や移植が 1発で終わるような、甘い世界ではなかった。 • 移植が必要なパターンを列挙していると、多くて果てしない目標に見えてき た。。 5
6. どうした？ いきなり完璧なものを求めるのは止めた。 • アジャイルのイテレーションの発想 ◦ 一発で完全な洗い出しを要求しても、精神的負担が強かったり。 ◦ できる範囲のサイズに分割して取り組めば良さそう、など。 • 不確実性コーンの話 ◦ 見積もりの段階では予想の幅があるが、設計や実装を進めると見 積もりが正解に近づく話。 ◦ 2,3回ぐらいのヒアリングと移植をしていったら、だいたい移植が 完了した。 • MoSCow分析を応用した: Most, Should, Could, Won’t ◦ Most→Shouldなどの必要なものから順に着手 参考になった書籍: エンジニアリング組織論への招待 - 不確実性に向き合う 思考と組織のリファクタリング (広木大地 著) 6
7. どうなった • 各業務の担当者と複数回のヒアリングで、移植できるものは移植でき た。 ◦ 一発のヒアリングでは完成せずに炎上しただろうな。。 • 当初予想していなかった、移植では解決しない業務も見つかり、別途 対処した。 ◦ 何があるのか予見できない話、そのものでした。 ◦ 別の方法で対処することにした。 • 大きな問題・課題でも、小さく分解することで対応できるようになっ た。 ◦ 速度が遅くても、確実に片付くようになった。 果てしない目標に見えていましたが、最終的には片付きました。 7
8. おわりに 仕事を始めるときには、未来が予見できずに不確実です。 特に未経験な領域は難しい です。 不確実性への挑み方のノウハウは、様々な書籍やWebサイトなどに情報があり、参考に なりました。勇気づけられました。 Supershipではデータエンジニアを始め、様々な職種で募集をしております。 https://supership.jp/recruit/ やったことないこと、不確実なことへ挑むことにご興味のある方、 SnowflakeとかDatabricksに興味ある方、 ぜひご応募ください!! 8