Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups...
Search
SadayoshiTada
February 25, 2021
Technology
0
3.5k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
2021/02/25 開催のコネヒトマルシェオンライン「機械学習・データ分析」にて発表したLT資料です。会社でのデータ活用に向けての改善にあたった取り組みをお話しさせていただきました。
SadayoshiTada
February 25, 2021
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
バクラクでのSystem Risk Records導入による変化と改善の取り組み/Changes and Improvement Initiatives Resulting from the Implementation of System Risk Records
taddy_919
0
320
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
1.1k
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
8.3k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
670
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.7k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4.2k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.6k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2.1k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
taddy_919
0
3.1k
Other Decks in Technology
See All in Technology
extension 現場で使えるXcodeショートカット一覧
ktombow
0
210
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
600
AI駆動開発を推進するためにサービス開発チームで 取り組んでいること
noayaoshiro
0
180
GopherCon Tour 概略
logica0419
2
190
SOC2取得の全体像
shonansurvivors
1
390
AI Agentと MCP Serverで実現する iOSアプリの 自動テスト作成の効率化
spiderplus_cb
0
500
英語は話せません!それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
niioka_97
0
120
小学4年生夏休みの自由研究「ぼくと Copilot エージェント」
taichinakamura
0
220
綺麗なデータマートをつくろう_データ整備を前向きに考える会 / Let's create clean data mart
brainpadpr
2
110
Azure SynapseからAzure Databricksへ 移行してわかった新時代のコスト問題!?
databricksjapan
0
140
ユニットテストに対する考え方の変遷 / Everyone should watch his live coding
mdstoy
0
130
Green Tea Garbage Collector の今
zchee
PRO
2
390
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Designing for Performance
lara
610
69k
The Cost Of JavaScript in 2023
addyosmani
53
9k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Designing Experiences People Love
moore
142
24k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
A Tale of Four Properties
chriscoyier
160
23k
Mobile First: as difficult as doing things right
swwweet
224
10k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.2k
Being A Developer After 40
akosma
91
590k
Transcript
スタートアップ企業での データ活用に向けての取り組み 多田 貞剛 ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλੳʯ
2 自己紹介 多⽥ 貞剛 @tada_infra 株式会社スナックミー SRE/CorpEng 担当 コネヒトマルシェ 初登壇です😌
3 本日お話しする話 AWS DevDay Online Japanでお話しした内容の続きの取り組みにな ります。 データ分析⼿法の改善とその能⼒向上に寄与するための活動をお話 します。
データ分析手法の改善 の取組み
データ分析手法の改善 • 処理が重い SQL クエリは Athena を使って対応 • SQL クエリの向き先を
WRITER からAurora AutoScaling を設定 したAurora の READER に変更
データ分析手法の改善 • データ分析において Athena を使っていたが、変数を使えなかっ た • 弊社の分析クエリは変数を使って処理を書いているクエリが多 数あるため書き換えにコストが⾼かった •
専⽤ツールもなかったため⾮エンジニアには学習コストが⾼く、 結局 Athena が使われず元に戻ってしまった • フォローアップもサポートも⾜りてなかった
データ分析手法の改善 • データ分析において Athena を使っていたところを BigQuery に 置き換え • BigQuery
では変数が使える、かつ Athena のクエリ処理ス ピードより速かった • 最近 UI 良くなりましたよね📊
データ分析手法の改善 • データ分析・可視化のツールでredashを使うようにして以下の効 果を狙った • IT リテラシーが⾼くないメンバー向け • クエリの補完や可視化のオプション多数あること •
セキュリティの向上 • 社内で使っているクエリをredashに保存、ダッシュボード化 して視線を合わせる
データ分析手法の改善
データ分析能力向上 の取組み
データ分析能力向上の取り組み • スナックミー では⾮エンジニアの⼈がSQLを実⾏している • 現状開発者に依頼してSQL書いてもらって実⾏ • どうしてそのSQLになるのか • どんなデータが⼊っているのか
等がわからないため • 開発者に負担が寄っている構造だと感じた
データ分析能力向上の取り組み • SQL 勉強会を通じて⽬指したい姿 • エンジニアへの問い合わせを減らし⾃⼰解決の割合を増やす • 遅い SQL を分析する⽅法等を知ってエンジニアと会話ができ
るようにする • redash での習熟度向上
まとめ
まとめ • 弊社でのデータ活⽤のための取り組みを紹介させていただきまし た • データ分析⼿法の改善 • データ分析能⼒の向上のための⾮エンジニアとの勉強会 • 課題はまだまだあるので改善、克服していきます💪
Thank you!