Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Transcript

1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

2. みなさん こんばんは！ DPCT Vol.3です

3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

   担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

6. 申込者属性割合

7. 申込者属性割合(前回比較)

8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

12. というわけで、今日のお品書き

13. 今日も 張り切って いきましょう！

14. 最後に イベントアンケートにご協力お願いします