Data Pipeline Casual Talk Vol.3 for Ready #DPCT

by tetsuroito

Slide 1

Slide 1 text

Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

Slide 2

Slide 2 text

みなさんこんばんは！ DPCT Vol.3です

Slide 3

Slide 3 text

会場提供＆スポンサーエウレカさん本当にありがとうございます！！

Slide 4

Slide 4 text

カジュアルとは引用 https://twitter.com/con_mame/status/457130929270435840

Slide 5

Slide 5 text

#DPCTの狙い ● データの処理工程であるパイプラインがまだ軽視されている ● パイプラインの技術情報の共有 ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) ● 様々なツールの情報 ● 担い手のスキル情報 ● チームビルディング ● 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

Slide 6

Slide 6 text

申込者属性割合

Slide 7

Slide 7 text

申込者属性割合(前回比較)

Slide 8

Slide 8 text

DPCT Vol.3に期待すること今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

Slide 9

Slide 9 text

DPCT Vol.3に期待すること本勉強会が、つらみの共有であることに期待している人が増加！！

Slide 10

Slide 10 text

ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい - 1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えないうちのデータエンジニアが書き連ねたツラミ

Slide 11

Slide 11 text

(再掲)#DPCTの狙い ● データの処理工程であるパイプラインがまだ軽視されている ● パイプラインの技術情報の共有 ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) ● 様々なツールの情報 ● 担い手のスキル情報 ● チームビルディング ● 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！狙いと期待がシンクロしてきています