Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Cb7edd153cf503f44c727b73647558bf?s=47 tetsuroito
June 27, 2019
Technology
0
1.3k

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Cb7edd153cf503f44c727b73647558bf?s=128

tetsuroito

June 27, 2019
Tweet

More Decks by tetsuroito

See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
1
800
Classiが取り組んできた 機械学習の試行錯誤
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
220
事業会社でのデータマネジメントのプラクティス #TechMar
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
270
Data Engineering Study #9 Classiのデータ組織の歩み
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
5
4k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
4
3.3k
Subscription Meetup Vol.2 Opening Talk Slide
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
69
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
800
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
3
2.9k
サブスクリプションミートアップOPトークスライド
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
4.1k

Other Decks in Technology

See All in Technology
You're M̶u̶t̶e̶d̶ Rooted
Cc23340e1d811f083fb8d2dd1213c42b?s=48 patrickwardle
0
1.2k
疎ベクトル検索と密ベクトル検索: 第68回 Machine Learning 15minutes! Broadcast
B773daeab435018f26c39bb4e964804a?s=48 keyakkie
1
250
ECS on EC2 で Auto Scaling やってみる！
5a6e159c3f74fb7bd85e62efe5f34e2b?s=48 sayjoy
1
210
DMMプラットフォーム ゼロから始めるKubernetes運用 課題と改善
F91225895fc7411d415604147af75cab?s=48 pospome
0
400
#awsbasics [LT] サーバレスECにおける Step Functions の使い方
74cec195bfb6cb5165256d88cb7fcf0f?s=48 miu_crescent
0
840
年700万円損するサーバレスの 認可システムをご紹介します！！
Fb0a40e5e7a9dc85520f1646fd41eb44?s=48 higuuu
3
330
20220803投資先CXO候補者向け 会社紹介資料_合同会社BLUEPRINT
08b07f5e5f554c4f4a6a30ef1cca28ad?s=48 hik
0
310
Trusted Web プロトタイプ
525442fc70ca92f82ae503f826956137?s=48 finengine
0
330
Backlog × RPAでいろいろ捗った話
87470304247051028bed32895e4816cd?s=48 z_tetsu
0
380
eBPF-based Container Networking
98b5759510e487ade4145247bc856366?s=48 johnlin
2
1.1k
金融領域のマルチプロダクトを効率よく開発・運用するためのシステム基盤と組織設計について / 2022-07-28-multi-product-platform
0251532f4fb413ea1a026efe6eb16b87?s=48 stajima
0
150
金融スタートアップの上場準備で大事にしたマインドセット / 2022-08-04-the-mindset-in-preparing-for-ipo
0251532f4fb413ea1a026efe6eb16b87?s=48 stajima
0
320

Featured

See All Featured
How to train your dragon (web standard)
053e75a5b48b44d6dd0612795dfb326d?s=48 notwaldorf
60
3.9k
Stop Working from a Prison Cell
C1daf20e5c49ff910745198ef9869ac2?s=48 hatefulcrawdad
262
17k
Creatively Recalculating Your Daily Design Routine
48c098b6579220a67a6ba949be6e4b5a?s=48 revolveconf
207
10k
Three Pipe Problems
11c84dff30266b907714802088852677?s=48 jasonvnalue
89
8.7k
5 minutes of I Can Smell Your CMS
465724d73fe3a92c0879fdfb43a3a6f3?s=48 philhawksworth
196
18k
The Invisible Customer
4262b9cfacfb6b2c77f23e1d0310cd3e?s=48 myddelton
110
11k
Large-scale JavaScript Application Architecture
96270e4c3e5e9806cf7245475c00b275?s=48 addyosmani
499
110k
Teambox: Starting and Learning
Aebc2d07a50011e2a30d38435fde564a?s=48 jrom
123
7.7k
What's in a price? How to price your products and services
Dad095ea7038f89f760419ce475d5d14?s=48 michaelherold
229
9.4k
Infographics Made Easy
282d599b414022eba5096510f675b6e2?s=48 chrislema
233
17k
Bash Introduction
812e1705ff0f8bc1bcf18587bde687d5?s=48 62gerente
598
210k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
A9a491b0fcbe0fbce3d64063a37add99?s=48 rmw
21
1.4k

Transcript

  1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

  2. みなさん こんばんは！ DPCT Vol.3です

  3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  6. 申込者属性割合

  7. 申込者属性割合(前回比較)

  8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

  9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

  10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

  11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

  12. というわけで、今日のお品書き

  13. 今日も 張り切って いきましょう！

  14. 最後に イベントアンケートにご協力お願いします