Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups...
Search
SadayoshiTada
February 25, 2021
Technology
0
3.4k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
2021/02/25 開催のコネヒトマルシェオンライン「機械学習・データ分析」にて発表したLT資料です。会社でのデータ活用に向けての改善にあたった取り組みをお話しさせていただきました。
SadayoshiTada
February 25, 2021
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
920
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
7.2k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
590
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.6k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.2k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
taddy_919
0
3k
20200419_Amazon Builder's Library オンライン輪読会 vol.11
taddy_919
0
180
Other Decks in Technology
See All in Technology
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
250
役員・マネージャー・著者・エンジニアそれぞれの立場から見たAWS認定資格
nrinetcom
PRO
4
6.1k
php-conference-nagoya-2025
fuwasegu
0
150
PHPで印刷所に入稿できる名札データを作る / Generating Print-Ready Name Tag Data with PHP
tomzoh
0
190
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
100
コンピュータビジョンの社会実装について考えていたらゲームを作っていた話
takmin
1
610
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
220
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
83k
MIMEと文字コードの闇
hirachan
2
1.4k
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.6k
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
130
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
370
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
4 Signs Your Business is Dying
shpigford
182
22k
Code Reviewing Like a Champion
maltzj
521
39k
Gamification - CAS2011
davidbonilla
80
5.2k
Side Projects
sachag
452
42k
Six Lessons from altMBA
skipperchong
27
3.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Docker and Python
trallard
44
3.3k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
What's in a price? How to price your products and services
michaelherold
244
12k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Transcript
スタートアップ企業での データ活用に向けての取り組み 多田 貞剛 ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλੳʯ
2 自己紹介 多⽥ 貞剛 @tada_infra 株式会社スナックミー SRE/CorpEng 担当 コネヒトマルシェ 初登壇です😌
3 本日お話しする話 AWS DevDay Online Japanでお話しした内容の続きの取り組みにな ります。 データ分析⼿法の改善とその能⼒向上に寄与するための活動をお話 します。
データ分析手法の改善 の取組み
データ分析手法の改善 • 処理が重い SQL クエリは Athena を使って対応 • SQL クエリの向き先を
WRITER からAurora AutoScaling を設定 したAurora の READER に変更
データ分析手法の改善 • データ分析において Athena を使っていたが、変数を使えなかっ た • 弊社の分析クエリは変数を使って処理を書いているクエリが多 数あるため書き換えにコストが⾼かった •
専⽤ツールもなかったため⾮エンジニアには学習コストが⾼く、 結局 Athena が使われず元に戻ってしまった • フォローアップもサポートも⾜りてなかった
データ分析手法の改善 • データ分析において Athena を使っていたところを BigQuery に 置き換え • BigQuery
では変数が使える、かつ Athena のクエリ処理ス ピードより速かった • 最近 UI 良くなりましたよね📊
データ分析手法の改善 • データ分析・可視化のツールでredashを使うようにして以下の効 果を狙った • IT リテラシーが⾼くないメンバー向け • クエリの補完や可視化のオプション多数あること •
セキュリティの向上 • 社内で使っているクエリをredashに保存、ダッシュボード化 して視線を合わせる
データ分析手法の改善
データ分析能力向上 の取組み
データ分析能力向上の取り組み • スナックミー では⾮エンジニアの⼈がSQLを実⾏している • 現状開発者に依頼してSQL書いてもらって実⾏ • どうしてそのSQLになるのか • どんなデータが⼊っているのか
等がわからないため • 開発者に負担が寄っている構造だと感じた
データ分析能力向上の取り組み • SQL 勉強会を通じて⽬指したい姿 • エンジニアへの問い合わせを減らし⾃⼰解決の割合を増やす • 遅い SQL を分析する⽅法等を知ってエンジニアと会話ができ
るようにする • redash での習熟度向上
まとめ
まとめ • 弊社でのデータ活⽤のための取り組みを紹介させていただきまし た • データ分析⼿法の改善 • データ分析能⼒の向上のための⾮エンジニアとの勉強会 • 課題はまだまだあるので改善、克服していきます💪
Thank you!