$30 off During Our Annual Pro Sale. View Details »

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

tetsuroito

June 27, 2019
Tweet

More Decks by tetsuroito

Other Decks in Technology

Transcript

  1. Data Pipeline Casual Talk Vol.3
    for Ready 2019/06/27(Thu) @エウレカ

    View Slide

  2. みなさん
    こんばんは!
    DPCT Vol.3です

    View Slide

  3. 会場提供&スポンサー
    エウレカさん
    本当にありがとうございます!!

    View Slide

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

    View Slide

  5. #DPCTの狙い
    ● データの処理工程であるパイプラインがまだ軽視されている
    ● パイプラインの技術情報の共有
    ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン)
    ● 様々なツールの情報
    ● 担い手のスキル情報
    ● チームビルディング
    ● 運用における課題
    etc
    こんなことをカジュアルに話すのは#DPCTです!

    View Slide

  6. 申込者属性割合

    View Slide

  7. 申込者属性割合(前回比較)

    View Slide

  8. DPCT Vol.3に期待すること
    今回はDataPipelineの具体的なツール名がよく出てくるようになった
    MLOpsの話も期待されているようです

    View Slide

  9. DPCT Vol.3に期待すること
    本勉強会が、つらみの共有であることに期待している人が増加!!

    View Slide

  10. ここがつらいよワークフローエンジンの例
    - 公式ドキュメントが微妙
    - まだまだ有用記事が少ない
    - DAGを定義するファイルが柔軟じゃない
    - 動的変数が使いたい
    - 1階層しか..ない..だと?
    - DAG of DAG
    - ユーザー権限管理設定をさせてくれ!
    - BigQueryのTokyo リージョンでは使えない
    うちのデータエンジニアが書き連ねたツラミ

    View Slide

  11. (再掲)#DPCTの狙い
    ● データの処理工程であるパイプラインがまだ軽視されている
    ● パイプラインの技術情報の共有
    ● 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン)
    ● 様々なツールの情報
    ● 担い手のスキル情報
    ● チームビルディング
    ● 運用における課題
    etc
    こんなことをカジュアルに話すのは#DPCTです!
    狙いと期待がシンクロ
    してきています

    View Slide

  12. というわけで、今日のお品書き

    View Slide

  13. 今日も
    張り切って
    いきましょう!

    View Slide

  14. 最後に
    イベントアンケートにご協力お願いします

    View Slide