Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Transcript

1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
2. みなさん こんばんは！ DPCT Vol.3です
3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！
4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 • 担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！
6. 申込者属性割合
7. 申込者属性割合(前回比較)
8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！
10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい - 1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 • 担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています
12. というわけで、今日のお品書き
13. 今日も 張り切って いきましょう！
14. 最後に イベントアンケートにご協力お願いします