Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups...
Search
SadayoshiTada
February 25, 2021
Technology
0
3.4k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
2021/02/25 開催のコネヒトマルシェオンライン「機械学習・データ分析」にて発表したLT資料です。会社でのデータ活用に向けての改善にあたった取り組みをお話しさせていただきました。
SadayoshiTada
February 25, 2021
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
920
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
7.2k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
590
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.6k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.2k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
taddy_919
0
3k
20200419_Amazon Builder's Library オンライン輪読会 vol.11
taddy_919
0
180
Other Decks in Technology
See All in Technology
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
290
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
3k
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
520
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
110
事業を差別化する技術を生み出す技術
pyama86
2
490
サバイバルモード下でのエンジニアリングマネジメント
konifar
20
5.8k
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
230
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
AIエージェント開発のノウハウと課題
pharma_x_tech
8
4.6k
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
150
Featured
See All Featured
Designing for humans not robots
tammielis
250
25k
YesSQL, Process and Tooling at Scale
rocio
172
14k
GitHub's CSS Performance
jonrohan
1030
460k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Transcript
スタートアップ企業での データ活用に向けての取り組み 多田 貞剛 ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλੳʯ
2 自己紹介 多⽥ 貞剛 @tada_infra 株式会社スナックミー SRE/CorpEng 担当 コネヒトマルシェ 初登壇です😌
3 本日お話しする話 AWS DevDay Online Japanでお話しした内容の続きの取り組みにな ります。 データ分析⼿法の改善とその能⼒向上に寄与するための活動をお話 します。
データ分析手法の改善 の取組み
データ分析手法の改善 • 処理が重い SQL クエリは Athena を使って対応 • SQL クエリの向き先を
WRITER からAurora AutoScaling を設定 したAurora の READER に変更
データ分析手法の改善 • データ分析において Athena を使っていたが、変数を使えなかっ た • 弊社の分析クエリは変数を使って処理を書いているクエリが多 数あるため書き換えにコストが⾼かった •
専⽤ツールもなかったため⾮エンジニアには学習コストが⾼く、 結局 Athena が使われず元に戻ってしまった • フォローアップもサポートも⾜りてなかった
データ分析手法の改善 • データ分析において Athena を使っていたところを BigQuery に 置き換え • BigQuery
では変数が使える、かつ Athena のクエリ処理ス ピードより速かった • 最近 UI 良くなりましたよね📊
データ分析手法の改善 • データ分析・可視化のツールでredashを使うようにして以下の効 果を狙った • IT リテラシーが⾼くないメンバー向け • クエリの補完や可視化のオプション多数あること •
セキュリティの向上 • 社内で使っているクエリをredashに保存、ダッシュボード化 して視線を合わせる
データ分析手法の改善
データ分析能力向上 の取組み
データ分析能力向上の取り組み • スナックミー では⾮エンジニアの⼈がSQLを実⾏している • 現状開発者に依頼してSQL書いてもらって実⾏ • どうしてそのSQLになるのか • どんなデータが⼊っているのか
等がわからないため • 開発者に負担が寄っている構造だと感じた
データ分析能力向上の取り組み • SQL 勉強会を通じて⽬指したい姿 • エンジニアへの問い合わせを減らし⾃⼰解決の割合を増やす • 遅い SQL を分析する⽅法等を知ってエンジニアと会話ができ
るようにする • redash での習熟度向上
まとめ
まとめ • 弊社でのデータ活⽤のための取り組みを紹介させていただきまし た • データ分析⼿法の改善 • データ分析能⼒の向上のための⾮エンジニアとの勉強会 • 課題はまだまだあるので改善、克服していきます💪
Thank you!