Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for tetsuroito tetsuroito
June 27, 2019
Technology
0
2.1k

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Avatar for tetsuroito

tetsuroito

June 27, 2019
Tweet

More Decks by tetsuroito

See All by tetsuroito
Data Engineering Study#30 LT資料
Avatar for tetsuroito tetsuroito
2
1.7k
データエンジニアリングの潮流を俯瞰する
Avatar for tetsuroito tetsuroito
1
1.9k
Classiが取り組んできた 機械学習の試行錯誤
Avatar for tetsuroito tetsuroito
0
880
事業会社でのデータマネジメントのプラクティス #TechMar
Avatar for tetsuroito tetsuroito
1
690
Data Engineering Study #9 Classiのデータ組織の歩み
Avatar for tetsuroito tetsuroito
5
6.1k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Avatar for tetsuroito tetsuroito
4
5.1k
Subscription Meetup Vol.2 Opening Talk Slide
Avatar for tetsuroito tetsuroito
0
160
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
Avatar for tetsuroito tetsuroito
0
1.7k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
Avatar for tetsuroito tetsuroito
3
3.4k

Other Decks in Technology

See All in Technology
AIと新時代を切り拓く。これからのSREとメルカリIBISの挑戦
Avatar for ktykogm 0gm
2
3.1k
~Everything as Codeを諦めない~ 後からCDK
Avatar for mu7889yoon / Yuta Nakamura mu7889yoon
3
500
[CV勉強会@関東 World Model 読み会] Orbis: Overcoming Challenges of Long-Horizon Prediction in Driving World Models (Mousakhan+, NeurIPS 2025)
Avatar for abemii_ abemii
0
150
顧客の言葉を、そのまま信じない勇気
Avatar for yamatai12 yamatai1212
1
360
マーケットプレイス版Oracle WebCenter Content For OCI
Avatar for oracle4engineer oracle4engineer
PRO
5
1.6k
10Xにおける品質保証活動の全体像と改善 #no_more_wait_for_test
Avatar for nihonbuson nihonbuson
PRO
2
330
マネージャー視点で考えるプロダクトエンジニアの評価 / Evaluating Product Engineers from a Manager's Perspective
Avatar for hiro-torii hiro_torii
0
180
AWS DevOps Agent x ECS on Fargate検証 / AWS DevOps Agent x ECS on Fargate
Avatar for Masanori Yamaguchi kinunori
2
100
SREのプラクティスを用いた3領域同時 マネジメントへの挑戦 〜SRE・情シス・セキュリティを統合した チーム運営術〜
Avatar for coconala_engineer coconala_engineer
2
770
Kiro IDEのドキュメントを全部読んだので地味だけどちょっと嬉しい機能を紹介する
Avatar for khmoryz khmoryz
0
210
日本の85%が使う公共SaaSは、どう育ったのか
Avatar for たけだ taketakekaho
1
240
20260208_第66回 コンピュータビジョン勉強会
Avatar for KeiichiIto1978 keiichiito1978
0
190

Featured

See All Featured
We Analyzed 250 Million AI Search Results: Here's What I Found
Avatar for Josh Blyskal joshbly
1
750
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
71
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
Avatar for UX Y'all uxyall
0
390
Amusing Abliteration
Avatar for ianozsvald ianozsvald
0
100
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.2k
Joys of Absence: A Defence of Solitary Play
Avatar for Sebastian Deterding codingconduct
1
290
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
191
11k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
Avatar for Ines Montani inesmontani
PRO
3
3.1k
The Curse of the Amulet
Avatar for Matthew Lei leimatthew05
1
8.7k
From π to Pie charts
Avatar for Rasagy Sharma rasagy
0
130
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
9.7k
WCS-LA-2024
Avatar for Leonardo Collado-Torres lcolladotor
0
450

Transcript

  1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

  2. みなさん こんばんは！ DPCT Vol.3です

  3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  6. 申込者属性割合

  7. 申込者属性割合(前回比較)

  8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

  9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

  10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

  11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

  12. というわけで、今日のお品書き

  13. 今日も 張り切って いきましょう！

  14. 最後に イベントアンケートにご協力お願いします