Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
組織文化に根ざしたデータ活用の取り組み
Search
Satoru Mikami
July 15, 2020
Technology
0
410
組織文化に根ざしたデータ活用の取り組み
Satoru Mikami
July 15, 2020
Tweet
Share
More Decks by Satoru Mikami
See All by Satoru Mikami
Offers スタッフエンジニア経験者に聞く 技術だけじゃない スタッフエンジニアに求められるリーダーシップとは
saicologic
0
350
CustomMiddlewareのテストをする方法
saicologic
0
40
Goのアプリケーションをトレース して劇的に改善した話
saicologic
0
190
[Go Conference 2022 Spring] GoとLambdaを使用した高パフォーマンスでサーバレスな マイクロサービスの開発と運用
saicologic
0
850
スタートアップで エンジニアのマネージメントをする心得_短縮版
saicologic
0
590
業務が効率よく進む コミュニケーションから生じる信頼性
saicologic
0
930
アンケートの回答データに機械学習(感情分析)を活用した事例紹介
saicologic
0
3.2k
Other Decks in Technology
See All in Technology
Fintech SREの挑戦 PCI DSS対応をスマートにこなすインフラ戦略/Fintech SRE’s Challenge: Smart Infrastructure Strategies for PCI DSS Compliance
maaaato
0
430
マルチモーダル理解と生成の統合 DeepSeek Janus, etc... / Multimodal Understanding and Generation Integration
hiroga
0
270
急成長する企業で作った、エンジニアが輝ける制度/ 20250214 Rinto Ikenoue
shift_evolve
2
120
WAF に頼りすぎない AWS WAF 運用術 meguro sec #1
izzii
0
460
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
16
3.2k
5分で紹介する生成AIエージェントとAmazon Bedrock Agents / 5-minutes introduction to generative AI agents and Amazon Bedrock Agents
hideakiaoyagi
0
190
10分で紹介するAmazon Bedrock利用時のセキュリティ対策 / 10-minutes introduction to security measures when using Amazon Bedrock
hideakiaoyagi
0
160
Postmanを使いこなす!2025年ぜひとも押さえておきたいPostmanの10の機能
nagix
1
100
君はPostScriptなウィンドウシステム 「NeWS」をご存知か?/sunnews
koyhoge
0
710
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
300
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
120
Nekko Cloud、 これまでとこれから ~学生サークルが作る、 小さなクラウド
logica0419
2
150
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Into the Great Unknown - MozCon
thekraken
34
1.6k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
9
1.3k
YesSQL, Process and Tooling at Scale
rocio
171
14k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Music & Morning Musume
bryan
46
6.3k
Transcript
組織文化に根ざしたデータ活 用の取り組み 2020.07.15
©2020 Voicy, Inc. 自己紹介
三上悟 (@saicologic) 開発部 リーダー&エンジニアリングマネージャー 2020年1月に株式会社Voicyに入社 エンジニア組織力の最大化とデータ民主化を推進 前職でB2BSaaSモデルのアンケート分析システムの設計・開発・運用をしていたので データマネージメントが得意 SES、受託開発、スタートアップを転々としてきたバックエンド側のエンジニアです。
国内最大級の音声プラットフォーム ※「ボイスメディア」はVoicyの登録商標です。 Voicyとは? 3 声で届けるから、コミュニティへ 熱量と一緒に伝わる
あらゆる生活シーンに「音声」が届く 4
©2020 Voicy, Inc. Voicy Web 5 Voicy Recorder Smart Speaker
©2020 Voicy, Inc. アジェンダ ・はじめに、組織、課題 ・課題の解決策 ・SQL塾という学びの場の提供 ・塾生がつまずいたところ ・全社フルリモートでもSQL塾を継続する方法 ・評価(称賛文化)
・今後
©2020 Voicy, Inc. ・全社員 約30人の自社サービス開発の会社です ・データ基盤はある程度構築済み (S3=>Embulk=>BigQuery=>Metabase) ・2020年1月時点ではエンジニア以外はSQL書かかない ・2020年7月時点でエンジニア以外の数名が書いてダッシュボードが作れる 組織規模がまだ小さい自社サービス開発企業での
データ民主化を推進する事例です。 はじめに 事例内容について
©2020 Voicy, Inc. Frontend 組織 開発部 iOS Android Web Backend
Biz PdM Designer 社長 2020年1月時点 ※ 説明用にかなり省略しています データ扱える人 ・2020年01月(全社員 約20人) エンジニアマネージャー 1人が兼任 バックエンド1人が兼任 インターン 1人 週2 ・2020年07月(全社員 約30人) +データ専任1人 +塾生数名 依頼 私
©2020 Voicy, Inc. 課題 組織の課題 ・簡単なSQLの分析もエンジニアが対応しているため、 メインのプロダクト開発速度が落ちている ・依頼してから結果がでるまでに時間がかかる 現場の課題 ・自分で分析したいのだが、SQLの文法がよくわからないので
いつまでたってもお願いするしかない。
©2020 Voicy, Inc. SQL塾という学びの場の提供 参加者のゴール ・エンジニアに依頼しなくても自ら欲しいデータを取得し、 分析やダッシュボードが作成できること 塾長はデータ分析レポート抽出をしていたバックエンドエンジニア 自分は生徒として参加
©2020 Voicy, Inc.
©2020 Voicy, Inc. 社長とエンジニア以外全員 塾長は3時間拘束されるので、3グループが限界
©2020 Voicy, Inc. よくある失敗例 - 「SQLの勉強したくて本を買って勉強しているんです〜」 - 「SQLの経験 : Progateやりきりました」
- 「SQLドリルに挑戦!」 これは身につきません!!!!
©2020 Voicy, Inc. データ分析に必要な5つの力(データ分析サイクル) 観察 分析 - 観察分析 - データの傾向を見る力
- 仮説 - データ法則の仮の答えを作る力 - 実行 - SQL、スプレッドシート等を実行する力 - 実行検証 - 実行結果が正しいか見る力 - 仮説検証 - 仮説が正しいか見る力 仮説 実行 実行 検証 仮説 検証 目的
©2020 Voicy, Inc. SQL塾の授業アジェンダ 前半30分 - SQL基礎理解 - 宿題の復習をVoicyのデータで行います! 後半30分
- 仮説作成と検証 - 自分で仮説をたてて、それを SQLで確かめてみます!
©2020 Voicy, Inc. 仮説作成と検証のルール ルール - 習ったデータとSQLを中心に使ってみよう! - 他のSQLのカンニングはOK!! -
簡単なもの、大歓迎!自分で考え抜いてアウトプットしてね - こういうデータの取り方はできますか?などは先生に聞いてね 時間設定 - 20分で課題の設定をして、結果を出力しましょう。 - 残り10分で「仮説」と「結果の考察」を発表してください
©2020 Voicy, Inc. シラバス
©2020 Voicy, Inc. 資料を用意する ・Metabaseの使い方ドキュメント ・Metabaseのコレクションに「SQL塾」を用意する
©2020 Voicy, Inc. サンドボックス
©2020 Voicy, Inc. 進め方 ・分析対象のテーブルとカラムの説明。各回ごとに1つのテーブルを対象 ・ハンズオン例 ・2月の再生ログデータを取得しよう(whereなし、ワイルドカードテーブル) ・2月29日の再生ログの「放送タイトル」と「プラットフォーム」を取得しよう(select/where) ・2月29日に再生されたデータを10件、日付が新しい順番に取ってこよう(order by)
©2020 Voicy, Inc. サポート:Slack ・slack上で「pjt_sql_school」 を作りわからないことがあれば相談 できる場を用意する
©2020 Voicy, Inc. サポート:SQL知恵袋
©2020 Voicy, Inc. エキスパートコース開講
©2020 Voicy, Inc. エキスパートコースの実際の参加者 ・プロダクトマネージャー ・デザイナー ・社外にレポートを提出しているBizチーム
©2020 Voicy, Inc. 塾生がつまずいたところ
©2020 Voicy, Inc. 塾生がつまずいたところ 日付だけに絞った補講をおこないました。 下記の条件などをさくっと抽出できる練習をする ・2020年01月01日以降に作成されたデータ ・2020年01月01日から2020年01月31日に作成されたデータ ・今日以降に作成されたデータ ・直近90日に作成されたデータ
日付!!!!
©2020 Voicy, Inc. 塾生がつまずいたところ SQL知恵袋に記載しておく BigQueryのドキュメント丸投げではなく、抽出したいテーブルのカラムでよく利用す るところを丁寧に記載しておく
©2020 Voicy, Inc. 塾生がつまづいたところ① BigQueryのテーブルサフィックスも詳しく データ量が多いログ系のテーブルは、日付ごとにテーブルが分かれている (日付のパーティショニングテーブル) →1つのテーブルにしてしまうと、データ量が多く、select文などで処理をする際に重くなってし まうため(下記図参照) 日付ごとのテーブルになっているため、複数のテーブルを参照する際に工夫が必要
→その際に使用するのが、where句で使用できる「_TABLE_SUFFIX」
©2020 Voicy, Inc. 塾生がつまづいたところ② エキスパートコースでもほとんどよくわからん状態 丁寧な説明資料を用意 ・まずは実際に使っているSQLを見て、どのように計算しているかを説明する ・その後、Window関数の一般的な話をする ・sum/avg/max/min/count/row_number/rank/first_value ・行の指定(unbounded
preceding)など ・実際に自分でSQLを書く ウィンドウ関数
©2020 Voicy, Inc. 全社フルリモートでもSQL塾を継続する方法 ・出社したときと変わらず週1開催 ・Google Meetsで実施。画面共有を使いながら話す ・わからないことはSlackでサポート 特にオフライン変わらず
©2020 Voicy, Inc. 塾生の活躍 1日1SQLを目標にしてほぼ毎日なにかしらのSQLを書く人がでてきた (プロダクトマネージャー) 例: ・refererの各ドメインごとのUUID数 ・refererの各ドメインごと、各プラットフォームごとのUUID数 ・ドメイン、プラットフォームごとのM月のトータル再生時間(単位:時間)
・M年N月のパーソナリティごとの総再生時間(単位:時間) ・M年N月の時間ごとの視聴時間数 40本くらい
©2020 Voicy, Inc. 評価(称賛文化)すると良いのか ・SQL塾を主催したメンバーは、会社の中でValueを出した人として称賛 ・塾生が調査した分析結果を月次報告会で発表 ・塾生が作成したダッシュボードで活用する
©2020 Voicy, Inc. 今後 ・組織として新しくデータチームをつくる ・塾長はバックエンドチームから離れてデータエンジニアリング専任へ ・より深い分析はデータアナリストがおこなう ・現場レベルで知りたい情報は塾生がおこなう
今日を彩るボイスメディア