Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
SadayoshiTada
February 25, 2021
Technology
0
2.7k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
2021/02/25 開催のコネヒトマルシェオンライン「機械学習・データ分析」にて発表したLT資料です。会社でのデータ活用に向けての改善にあたった取り組みをお話しさせていただきました。
SadayoshiTada
February 25, 2021
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
sadayoshitada0919
0
2.8k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
sadayoshitada0919
1
2.7k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
sadayoshitada0919
1
3.4k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
sadayoshitada0919
0
1.5k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
sadayoshitada0919
0
2.1k
20200419_Amazon Builder's Library オンライン輪読会 vol.11
sadayoshitada0919
0
51
20200322_Amazon Builder's Library オンライン輪読会 vol.7
sadayoshitada0919
0
19
20200209_Amazon Builder's Library オンライン輪読会 vol.3
sadayoshitada0919
0
23
Effective DevOps 輪読会 vol.15
sadayoshitada0919
0
20
Other Decks in Technology
See All in Technology
💰年度末予算消化祭💰 Large Memory Instance で 画像分類してみた
__allllllllez__
0
100
創業1年目のスタートアップでAWSコストを抑えるために取り組んでいること / How to Keep AWS Costs Down at a Startup
yuj1osm
3
2.2k
cdk deployに必要な権限ってなんだ?
kinyok
0
180
組織に対してSREを適用するとどうなるか
kuniim
7
2.8k
Oracle Cloud Infrastructure:2023年1月度サービス・アップデート
oracle4engineer
PRO
0
160
Raspberry Pi Camera 3 介紹
piepie_tw
PRO
0
150
USB PD で迎える AC アダプター大統一時代
puhitaku
2
1.9k
経営統合をきっかけに会社をエンジニアリングした話 / btconjp-2023
carta_engineering
0
150
230125 古いタブレットの活用 かーでぃさん
comucal
PRO
0
16k
OpenShift.Run2023_create-aro-with-terraform
ishiitaiki20fixer
1
310
ECテックカンファレンス2023 EC事業部のモバイル開発2023
tatsumi0000
0
310
NGINXENG JP#2 - 2-NGINXの動作の詳細
hiropo20
1
140
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1351
200k
Navigating Team Friction
lara
177
12k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
152
13k
StorybookのUI Testing Handbookを読んだ
zakiyama
8
3.2k
Faster Mobile Websites
deanohume
295
29k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
217
21k
Three Pipe Problems
jasonvnalue
89
8.9k
A better future with KSS
kneath
230
16k
Gamification - CAS2011
davidbonilla
75
4.1k
The Mythical Team-Month
searls
210
40k
Art, The Web, and Tiny UX
lynnandtonic
284
18k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
15
1.2k
Transcript
スタートアップ企業での データ活用に向けての取り組み 多田 貞剛 ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλੳʯ
2 自己紹介 多⽥ 貞剛 @tada_infra 株式会社スナックミー SRE/CorpEng 担当 コネヒトマルシェ 初登壇です😌
3 本日お話しする話 AWS DevDay Online Japanでお話しした内容の続きの取り組みにな ります。 データ分析⼿法の改善とその能⼒向上に寄与するための活動をお話 します。
データ分析手法の改善 の取組み
データ分析手法の改善 • 処理が重い SQL クエリは Athena を使って対応 • SQL クエリの向き先を
WRITER からAurora AutoScaling を設定 したAurora の READER に変更
データ分析手法の改善 • データ分析において Athena を使っていたが、変数を使えなかっ た • 弊社の分析クエリは変数を使って処理を書いているクエリが多 数あるため書き換えにコストが⾼かった •
専⽤ツールもなかったため⾮エンジニアには学習コストが⾼く、 結局 Athena が使われず元に戻ってしまった • フォローアップもサポートも⾜りてなかった
データ分析手法の改善 • データ分析において Athena を使っていたところを BigQuery に 置き換え • BigQuery
では変数が使える、かつ Athena のクエリ処理ス ピードより速かった • 最近 UI 良くなりましたよね📊
データ分析手法の改善 • データ分析・可視化のツールでredashを使うようにして以下の効 果を狙った • IT リテラシーが⾼くないメンバー向け • クエリの補完や可視化のオプション多数あること •
セキュリティの向上 • 社内で使っているクエリをredashに保存、ダッシュボード化 して視線を合わせる
データ分析手法の改善
データ分析能力向上 の取組み
データ分析能力向上の取り組み • スナックミー では⾮エンジニアの⼈がSQLを実⾏している • 現状開発者に依頼してSQL書いてもらって実⾏ • どうしてそのSQLになるのか • どんなデータが⼊っているのか
等がわからないため • 開発者に負担が寄っている構造だと感じた
データ分析能力向上の取り組み • SQL 勉強会を通じて⽬指したい姿 • エンジニアへの問い合わせを減らし⾃⼰解決の割合を増やす • 遅い SQL を分析する⽅法等を知ってエンジニアと会話ができ
るようにする • redash での習熟度向上
まとめ
まとめ • 弊社でのデータ活⽤のための取り組みを紹介させていただきまし た • データ分析⼿法の改善 • データ分析能⼒の向上のための⾮エンジニアとの勉強会 • 課題はまだまだあるので改善、克服していきます💪
Thank you!