Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
組織文化に根ざしたデータ活用の取り組み
Search
Satoru Mikami
July 15, 2020
Technology
0
390
組織文化に根ざしたデータ活用の取り組み
Satoru Mikami
July 15, 2020
Tweet
Share
More Decks by Satoru Mikami
See All by Satoru Mikami
Offers スタッフエンジニア経験者に聞く 技術だけじゃない スタッフエンジニアに求められるリーダーシップとは
saicologic
0
310
CustomMiddlewareのテストをする方法
saicologic
0
38
Goのアプリケーションをトレース して劇的に改善した話
saicologic
0
170
[Go Conference 2022 Spring] GoとLambdaを使用した高パフォーマンスでサーバレスな マイクロサービスの開発と運用
saicologic
0
800
スタートアップで エンジニアのマネージメントをする心得_短縮版
saicologic
0
550
業務が効率よく進む コミュニケーションから生じる信頼性
saicologic
0
900
アンケートの回答データに機械学習(感情分析)を活用した事例紹介
saicologic
0
3.2k
Other Decks in Technology
See All in Technology
The Rise of LLMOps
asei
9
1.8k
OCI Security サービス 概要
oracle4engineer
PRO
0
6.5k
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
2
500
テストコード品質を高めるためにMutation Testingライブラリ・Strykerを実戦導入してみた話
ysknsid25
7
2.7k
CysharpのOSS群から見るModern C#の現在地
neuecc
2
3.6k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
110
Application Development WG Intro at AppDeveloperCon
salaboy
0
200
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
150
OCI Network Firewall 概要
oracle4engineer
PRO
0
4.2k
【Startup CTO of the Year 2024 / Audience Award】アセンド取締役CTO 丹羽健
niwatakeru
0
1.4k
インフラとバックエンドとフロントエンドをくまなく調べて遅いアプリを早くした件
tubone24
1
430
ノーコードデータ分析ツールで体験する時系列データ分析超入門
negi111111
0
430
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
4 Signs Your Business is Dying
shpigford
180
21k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Statistics for Hackers
jakevdp
796
220k
Designing for Performance
lara
604
68k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.3k
Agile that works and the tools we love
rasmusluckow
327
21k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
110
Transcript
組織文化に根ざしたデータ活 用の取り組み 2020.07.15
©2020 Voicy, Inc. 自己紹介
三上悟 (@saicologic) 開発部 リーダー&エンジニアリングマネージャー 2020年1月に株式会社Voicyに入社 エンジニア組織力の最大化とデータ民主化を推進 前職でB2BSaaSモデルのアンケート分析システムの設計・開発・運用をしていたので データマネージメントが得意 SES、受託開発、スタートアップを転々としてきたバックエンド側のエンジニアです。
国内最大級の音声プラットフォーム ※「ボイスメディア」はVoicyの登録商標です。 Voicyとは? 3 声で届けるから、コミュニティへ 熱量と一緒に伝わる
あらゆる生活シーンに「音声」が届く 4
©2020 Voicy, Inc. Voicy Web 5 Voicy Recorder Smart Speaker
©2020 Voicy, Inc. アジェンダ ・はじめに、組織、課題 ・課題の解決策 ・SQL塾という学びの場の提供 ・塾生がつまずいたところ ・全社フルリモートでもSQL塾を継続する方法 ・評価(称賛文化)
・今後
©2020 Voicy, Inc. ・全社員 約30人の自社サービス開発の会社です ・データ基盤はある程度構築済み (S3=>Embulk=>BigQuery=>Metabase) ・2020年1月時点ではエンジニア以外はSQL書かかない ・2020年7月時点でエンジニア以外の数名が書いてダッシュボードが作れる 組織規模がまだ小さい自社サービス開発企業での
データ民主化を推進する事例です。 はじめに 事例内容について
©2020 Voicy, Inc. Frontend 組織 開発部 iOS Android Web Backend
Biz PdM Designer 社長 2020年1月時点 ※ 説明用にかなり省略しています データ扱える人 ・2020年01月(全社員 約20人) エンジニアマネージャー 1人が兼任 バックエンド1人が兼任 インターン 1人 週2 ・2020年07月(全社員 約30人) +データ専任1人 +塾生数名 依頼 私
©2020 Voicy, Inc. 課題 組織の課題 ・簡単なSQLの分析もエンジニアが対応しているため、 メインのプロダクト開発速度が落ちている ・依頼してから結果がでるまでに時間がかかる 現場の課題 ・自分で分析したいのだが、SQLの文法がよくわからないので
いつまでたってもお願いするしかない。
©2020 Voicy, Inc. SQL塾という学びの場の提供 参加者のゴール ・エンジニアに依頼しなくても自ら欲しいデータを取得し、 分析やダッシュボードが作成できること 塾長はデータ分析レポート抽出をしていたバックエンドエンジニア 自分は生徒として参加
©2020 Voicy, Inc.
©2020 Voicy, Inc. 社長とエンジニア以外全員 塾長は3時間拘束されるので、3グループが限界
©2020 Voicy, Inc. よくある失敗例 - 「SQLの勉強したくて本を買って勉強しているんです〜」 - 「SQLの経験 : Progateやりきりました」
- 「SQLドリルに挑戦!」 これは身につきません!!!!
©2020 Voicy, Inc. データ分析に必要な5つの力(データ分析サイクル) 観察 分析 - 観察分析 - データの傾向を見る力
- 仮説 - データ法則の仮の答えを作る力 - 実行 - SQL、スプレッドシート等を実行する力 - 実行検証 - 実行結果が正しいか見る力 - 仮説検証 - 仮説が正しいか見る力 仮説 実行 実行 検証 仮説 検証 目的
©2020 Voicy, Inc. SQL塾の授業アジェンダ 前半30分 - SQL基礎理解 - 宿題の復習をVoicyのデータで行います! 後半30分
- 仮説作成と検証 - 自分で仮説をたてて、それを SQLで確かめてみます!
©2020 Voicy, Inc. 仮説作成と検証のルール ルール - 習ったデータとSQLを中心に使ってみよう! - 他のSQLのカンニングはOK!! -
簡単なもの、大歓迎!自分で考え抜いてアウトプットしてね - こういうデータの取り方はできますか?などは先生に聞いてね 時間設定 - 20分で課題の設定をして、結果を出力しましょう。 - 残り10分で「仮説」と「結果の考察」を発表してください
©2020 Voicy, Inc. シラバス
©2020 Voicy, Inc. 資料を用意する ・Metabaseの使い方ドキュメント ・Metabaseのコレクションに「SQL塾」を用意する
©2020 Voicy, Inc. サンドボックス
©2020 Voicy, Inc. 進め方 ・分析対象のテーブルとカラムの説明。各回ごとに1つのテーブルを対象 ・ハンズオン例 ・2月の再生ログデータを取得しよう(whereなし、ワイルドカードテーブル) ・2月29日の再生ログの「放送タイトル」と「プラットフォーム」を取得しよう(select/where) ・2月29日に再生されたデータを10件、日付が新しい順番に取ってこよう(order by)
©2020 Voicy, Inc. サポート:Slack ・slack上で「pjt_sql_school」 を作りわからないことがあれば相談 できる場を用意する
©2020 Voicy, Inc. サポート:SQL知恵袋
©2020 Voicy, Inc. エキスパートコース開講
©2020 Voicy, Inc. エキスパートコースの実際の参加者 ・プロダクトマネージャー ・デザイナー ・社外にレポートを提出しているBizチーム
©2020 Voicy, Inc. 塾生がつまずいたところ
©2020 Voicy, Inc. 塾生がつまずいたところ 日付だけに絞った補講をおこないました。 下記の条件などをさくっと抽出できる練習をする ・2020年01月01日以降に作成されたデータ ・2020年01月01日から2020年01月31日に作成されたデータ ・今日以降に作成されたデータ ・直近90日に作成されたデータ
日付!!!!
©2020 Voicy, Inc. 塾生がつまずいたところ SQL知恵袋に記載しておく BigQueryのドキュメント丸投げではなく、抽出したいテーブルのカラムでよく利用す るところを丁寧に記載しておく
©2020 Voicy, Inc. 塾生がつまづいたところ① BigQueryのテーブルサフィックスも詳しく データ量が多いログ系のテーブルは、日付ごとにテーブルが分かれている (日付のパーティショニングテーブル) →1つのテーブルにしてしまうと、データ量が多く、select文などで処理をする際に重くなってし まうため(下記図参照) 日付ごとのテーブルになっているため、複数のテーブルを参照する際に工夫が必要
→その際に使用するのが、where句で使用できる「_TABLE_SUFFIX」
©2020 Voicy, Inc. 塾生がつまづいたところ② エキスパートコースでもほとんどよくわからん状態 丁寧な説明資料を用意 ・まずは実際に使っているSQLを見て、どのように計算しているかを説明する ・その後、Window関数の一般的な話をする ・sum/avg/max/min/count/row_number/rank/first_value ・行の指定(unbounded
preceding)など ・実際に自分でSQLを書く ウィンドウ関数
©2020 Voicy, Inc. 全社フルリモートでもSQL塾を継続する方法 ・出社したときと変わらず週1開催 ・Google Meetsで実施。画面共有を使いながら話す ・わからないことはSlackでサポート 特にオフライン変わらず
©2020 Voicy, Inc. 塾生の活躍 1日1SQLを目標にしてほぼ毎日なにかしらのSQLを書く人がでてきた (プロダクトマネージャー) 例: ・refererの各ドメインごとのUUID数 ・refererの各ドメインごと、各プラットフォームごとのUUID数 ・ドメイン、プラットフォームごとのM月のトータル再生時間(単位:時間)
・M年N月のパーソナリティごとの総再生時間(単位:時間) ・M年N月の時間ごとの視聴時間数 40本くらい
©2020 Voicy, Inc. 評価(称賛文化)すると良いのか ・SQL塾を主催したメンバーは、会社の中でValueを出した人として称賛 ・塾生が調査した分析結果を月次報告会で発表 ・塾生が作成したダッシュボードで活用する
©2020 Voicy, Inc. 今後 ・組織として新しくデータチームをつくる ・塾長はバックエンドチームから離れてデータエンジニアリング専任へ ・より深い分析はデータアナリストがおこなう ・現場レベルで知りたい情報は塾生がおこなう
今日を彩るボイスメディア