Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for tetsuroito tetsuroito
June 27, 2019
Technology
2.2k
0

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Avatar for tetsuroito

tetsuroito

June 27, 2019

More Decks by tetsuroito

See All by tetsuroito
白金鉱業meetup発表資料
Avatar for tetsuroito tetsuroito
1
310
Data Engineering Study#30 LT資料
Avatar for tetsuroito tetsuroito
2
2k
データエンジニアリングの潮流を俯瞰する
Avatar for tetsuroito tetsuroito
1
1.9k
Classiが取り組んできた 機械学習の試行錯誤
Avatar for tetsuroito tetsuroito
0
900
事業会社でのデータマネジメントのプラクティス #TechMar
Avatar for tetsuroito tetsuroito
1
700
Data Engineering Study #9 Classiのデータ組織の歩み
Avatar for tetsuroito tetsuroito
5
6.3k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Avatar for tetsuroito tetsuroito
4
5.2k
Subscription Meetup Vol.2 Opening Talk Slide
Avatar for tetsuroito tetsuroito
0
180
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
Avatar for tetsuroito tetsuroito
0
1.7k

Other Decks in Technology

See All in Technology
なぜハノーバーメッセに行くべきなのか 〜初参加だから語れること〜
Avatar for 田中 聖也 tanakaseiya
0
190
テストコードのないプロジェクトにテストを根付かせる
Avatar for Toru Takahashi tttol
1
240
探して_入れて_作って_使う_Agent_Skills___LT.pdf
Avatar for 松尾淳平 peintangos
2
130
Oracle Cloud Infrastructure：2026年5月度サービス・アップデート
Avatar for oracle4engineer oracle4engineer
PRO
1
300
オンコールの負荷軽減のためのBits Assistant 活用方法 / How to Use Bits Assistant to Reduce the Workload on On-Call Staff
Avatar for SMS tech sms_tech
1
360
JEP 522 Deep Dive - G1 GC同期コスト削減によるスループット向上を徹底検証&解説
Avatar for Daishi Tabata tabatad
1
510
開発を止めない CI/CD ~CI Visibilityによる継続的最適化~
Avatar for Ryosuke Tsuruda pensuke628
0
220
AIガバナンス実践 - 生成AIコネクタのデータ漏洩リスクと実務対策
Avatar for 西岡 賢一郎 (Kenichiro Nishioka) knishioka
0
150
新規ゲーム開発におけるAI駆動開発のリアル
Avatar for ENSAPIA Engineering株式会社 202409e2
0
440
「気づいたら仕事が終わっている」バクラクAIエージェント本番運用の裏側 / layerx-bakuraku-aie2026
Avatar for Yuya Matsumura yuya4
0
240
Strands Agents超入門
Avatar for KintoTech_Dev kintotechdev
1
150
チームで実践する AI-DLC 思考の軌跡を残すチェックポイント設計
Avatar for Belong inc. belongadmin
0
350

Featured

See All Featured
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
The Curious Case for Waylosing
Avatar for Cassini Nazir cassininazir
1
370
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.3k
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
Avatar for Akihiro Kokubo akihiro_kokubo
PRO
70
39k
From π to Pie charts
Avatar for Rasagy Sharma rasagy
0
190
Deep Space Network (abreviated)
Avatar for Tony Rice tonyrice
0
160
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
55k
Tell your own story through comics
Avatar for letsgokoyo letsgokoyo
1
940
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
1.8k
Test your architecture with Archunit
Avatar for Yoan thirion
1
2.3k
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
187
22k
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
120

Transcript

  1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

  2. みなさん こんばんは！ DPCT Vol.3です

  3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  6. 申込者属性割合

  7. 申込者属性割合(前回比較)

  8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

  9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

  10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

  11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

  12. というわけで、今日のお品書き

  13. 今日も 張り切って いきましょう！

  14. 最後に イベントアンケートにご協力お願いします