Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Search
tetsuroito
June 27, 2019
Technology
0
1.9k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.8k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
810
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
600
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.6k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.7k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
120
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.4k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.7k
Other Decks in Technology
See All in Technology
Classmethod AI Talks(CATs) #16 司会進行スライド(2025.02.12) / classmethod-ai-talks-aka-cats_moderator-slides_vol16_2025-02-12
shinyaa31
0
110
全文検索+セマンティックランカー+LLMの自然文検索サ−ビスで得られた知見
segavvy
2
110
レビューを増やしつつ 高評価維持するテクニック
tsuzuki817
1
710
Oracle Cloud Infrastructure:2025年2月度サービス・アップデート
oracle4engineer
PRO
1
210
開発組織のための セキュアコーディング研修の始め方
flatt_security
3
2.4k
プロダクトエンジニア構想を立ち上げ、プロダクト志向な組織への成長を続けている話 / grow into a product-oriented organization
hiro_torii
1
190
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
140
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
400
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
13
3.4k
データの品質が低いと何が困るのか
kzykmyzw
6
1.1k
Cloud Spanner 導入で実現した快適な開発と運用について
colopl
1
650
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Side Projects
sachag
452
42k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Music & Morning Musume
bryan
46
6.3k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
174
51k
Rails Girls Zürich Keynote
gr2m
94
13k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
How GitHub (no longer) Works
holman
314
140k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします