Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Transcript

1. Data Pipeline Casual Talk Vol.3
   for Ready 2019/06/27(Thu) @エウレカ
   

   View Slide

2. みなさん
   こんばんは！
   DPCT Vol.3です
   

   View Slide

3. 会場提供＆スポンサー
   エウレカさん
   本当にありがとうございます！！
   

   View Slide

4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
   

   View Slide

5. #DPCTの狙い
   ● データの処理工程であるパイプラインがまだ軽視されている
   ● パイプラインの技術情報の共有
   ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン)
   ● 様々なツールの情報
   ● 担い手のスキル情報
   ● チームビルディング
   ● 運用における課題
   etc
   こんなことをカジュアルに話すのは#DPCTです！
   

   View Slide

6. 申込者属性割合
   

   View Slide

7. 申込者属性割合(前回比較)
   

   View Slide

8. DPCT Vol.3に期待すること
   今回はDataPipelineの具体的なツール名がよく出てくるようになった
   MLOpsの話も期待されているようです
   

   View Slide

9. DPCT Vol.3に期待すること
   本勉強会が、つらみの共有であることに期待している人が増加！！
   

   View Slide

10. ここがつらいよワークフローエンジンの例
    - 公式ドキュメントが微妙
    - まだまだ有用記事が少ない
    - DAGを定義するファイルが柔軟じゃない
    - 動的変数が使いたい
    - 1階層しか..ない..だと？
    - DAG of DAG
    - ユーザー権限管理設定をさせてくれ！
    - BigQueryのTokyo リージョンでは使えない
    うちのデータエンジニアが書き連ねたツラミ
    

    View Slide

11. (再掲)#DPCTの狙い
    ● データの処理工程であるパイプラインがまだ軽視されている
    ● パイプラインの技術情報の共有
    ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン)
    ● 様々なツールの情報
    ● 担い手のスキル情報
    ● チームビルディング
    ● 運用における課題
    etc
    こんなことをカジュアルに話すのは#DPCTです！
    狙いと期待がシンクロ
    してきています
    

    View Slide

12. というわけで、今日のお品書き
    

    View Slide

13. 今日も
    張り切って
    いきましょう！
    

    View Slide

14. 最後に
    イベントアンケートにご協力お願いします
    

    View Slide