Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
June 27, 2019
Technology
0
1.3k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
800
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
220
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
0
270
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
4k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
3.3k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
69
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
800
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
2.9k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.1k
Other Decks in Technology
See All in Technology
You're M̶u̶t̶e̶d̶ Rooted
patrickwardle
0
1.2k
疎ベクトル検索と密ベクトル検索: 第68回 Machine Learning 15minutes! Broadcast
keyakkie
1
250
ECS on EC2 で Auto Scaling やってみる!
sayjoy
1
210
DMMプラットフォーム ゼロから始めるKubernetes運用 課題と改善
pospome
0
400
#awsbasics [LT] サーバレスECにおける Step Functions の使い方
miu_crescent
0
840
年700万円損するサーバレスの 認可システムをご紹介します!!
higuuu
3
330
20220803投資先CXO候補者向け 会社紹介資料_合同会社BLUEPRINT
hik
0
310
Trusted Web プロトタイプ
finengine
0
330
Backlog × RPAでいろいろ捗った話
z_tetsu
0
380
eBPF-based Container Networking
johnlin
2
1.1k
金融領域のマルチプロダクトを効率よく開発・運用するためのシステム基盤と組織設計について / 2022-07-28-multi-product-platform
stajima
0
150
金融スタートアップの上場準備で大事にしたマインドセット / 2022-08-04-the-mindset-in-preparing-for-ipo
stajima
0
320
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
60
3.9k
Stop Working from a Prison Cell
hatefulcrawdad
262
17k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
10k
Three Pipe Problems
jasonvnalue
89
8.7k
5 minutes of I Can Smell Your CMS
philhawksworth
196
18k
The Invisible Customer
myddelton
110
11k
Large-scale JavaScript Application Architecture
addyosmani
499
110k
Teambox: Starting and Learning
jrom
123
7.7k
What's in a price? How to price your products and services
michaelherold
229
9.4k
Infographics Made Easy
chrislema
233
17k
Bash Introduction
62gerente
598
210k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
21
1.4k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします