Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

tetsuroito
June 27, 2019
Technology
0
1.4k

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

tetsuroito

June 27, 2019
Tweet

More Decks by tetsuroito

See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
960
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
350
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
0
340
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
4.3k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
3.5k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
76
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
910
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
2.9k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.1k

Other Decks in Technology

See All in Technology
LINE iOSエンジニアの日々 / LINE iOS Engineer Days
line_developers
PRO
1
130
ECテックカンファレンス2023 EC事業部のモバイル開発2023
tatsumi0000
0
180
PHPのimmutable arrayとは
hnw
1
140
日経電子版だけじゃない！ 日経の新規Webメディアの開発 - NIKKEI Tech Talk #3
sztm
0
140
Deep dive in Reserved Instance ~脳死推奨量購入からの脱却~
kzkmaeda
0
390
ERC3525 Semi-Fungible token
sbtechnight
0
330
Cloudflare Workersで動くOG画像生成器
aiji42
1
460
創業1年目のスタートアップでAWSコストを抑えるために取り組んでいること / How to Keep AWS Costs Down at a Startup
yuj1osm
3
1.9k
私見「UNIXの考え方」/20230124-kameda-unix-phylosophy
opelab
0
160
日本ディープラーニング協会主催 NeurIPS 2022 技術報告会講演資料
tdailab
0
1k
Startup Studio Sereal / Culture Deck
sereal
0
630
Raspberry Pi Camera 3 介紹
piepie_tw
PRO
0
110

Featured

See All Featured
The Brand Is Dead. Long Live the Brand.
mthomps
48
2.9k
Fontdeck: Realign not Redesign
paulrobertlloyd
74
4.3k
Web Components: a chance to create the future
zenorocha
304
40k
BBQ
matthewcrist
75
8.1k
The Mythical Team-Month
searls
210
40k
Typedesign – Prime Four
hannesfritz
34
1.5k
Build your cross-platform service in a week with App Engine
jlugia
221
17k
Building an army of robots
kneath
301
40k
YesSQL, Process and Tooling at Scale
rocio
159
12k
The Cult of Friendly URLs
andyhume
68
5.1k
The Invisible Side of Design
smashingmag
292
48k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
318
19k

Transcript

  1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

  2. みなさん こんばんは！ DPCT Vol.3です

  3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  6. 申込者属性割合

  7. 申込者属性割合(前回比較)

  8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

  9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

  10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

  11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

  12. というわけで、今日のお品書き

  13. 今日も 張り切って いきましょう！

  14. 最後に イベントアンケートにご協力お願いします