Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

Avatar for tetsuroito tetsuroito
June 27, 2019
Technology
2.2k
0

Data Pipeline Casual Talk Vol.3 for Ready #DPCT

2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です

Avatar for tetsuroito

tetsuroito

June 27, 2019

More Decks by tetsuroito

See All by tetsuroito
白金鉱業meetup発表資料
Avatar for tetsuroito tetsuroito
1
410
Data Engineering Study#30 LT資料
Avatar for tetsuroito tetsuroito
2
2.2k
データエンジニアリングの潮流を俯瞰する
Avatar for tetsuroito tetsuroito
1
2k
Classiが取り組んできた 機械学習の試行錯誤
Avatar for tetsuroito tetsuroito
0
910
事業会社でのデータマネジメントのプラクティス #TechMar
Avatar for tetsuroito tetsuroito
1
720
Data Engineering Study #9 Classiのデータ組織の歩み
Avatar for tetsuroito tetsuroito
5
6.4k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Avatar for tetsuroito tetsuroito
4
5.3k
Subscription Meetup Vol.2 Opening Talk Slide
Avatar for tetsuroito tetsuroito
0
190
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
Avatar for tetsuroito tetsuroito
0
1.8k

Other Decks in Technology

See All in Technology
AIで開発は速くなったのに、なぜ現場は楽にならないのか 〜あなたの組織のボトルネックを突き止めるワークショップ〜
Avatar for Kazuto Kusama jacopen
1
280
AI 駆動 Terraform 開発/SRE_BizReach_MIXI_2
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
2
1.9k
多摩川(.dev)ランニング入門 / Tamagawa.dev#3
Avatar for FUJIWARA Shunichiro fujiwara3
3
400
コスト最適化の「めんどくさい」を AWS FinOps Agent でチョット楽にする
Avatar for kaz classmethod_kaz
0
280
生成AI時代の クレデンシャルとパーミッション設計
Avatar for NRI Netcom nrinetcom
PRO
4
1.6k
作り直せるコードは迅速に 作り直せないDBは慎重に - AI時代のプロダクトエンジニアが「判断の不可逆性」で開発速度を変える話
Avatar for kinosuke01 kinosuke01
0
280
Azure App Service / Container Apps の組み込み認証
Avatar for Kuniteru Asami kuniteru
0
210
omasushiというライブラリを作った
Avatar for polidog polidog
PRO
0
140
synctest時代のhttptest Go 1.27で変わるHTTPサーバテストの裏側 / go conference2026 synctest and httptest
Avatar for Yoichiro Shimizu budougumi0617
0
190
[DroidKaigi 2026] Making UI specifications visible: Android UI development in the AI agent era supported by Compose Screenshot Testing and galleries
Avatar for syarihu syarihu
0
600
「重なり」は迎える側がつくる ― 人もAIエージェントも歓迎するプロダクトエンジニアリング ―
Avatar for Go Akazawa go0517go
PRO
0
270
Amazon Quick on DesktopがIAM Identity Centerで動かない理由
Avatar for YukiOgawa yukiogawa
0
110

Featured

See All Featured
The browser strikes back
Avatar for Jono Alderson jonoalderson
0
1.6k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
7k
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
540
Everyday Curiosity
Avatar for Cassini Nazir cassininazir
0
310
Lightning Talk: Beautiful Slides for Beginners
Avatar for Ines Montani inesmontani
PRO
2
680
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
Avatar for Tomoya Matsuura tomoyanonymous
3
1.2k
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
270
14k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
10k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
56k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
287
14k
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
39
3.4k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
55
13k

Transcript

  1. Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ

  2. みなさん こんばんは！ DPCT Vol.3です

  3. 会場提供＆スポンサー エウレカさん 本当にありがとうございます！！

  4. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  5. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  6. 申込者属性割合

  7. 申込者属性割合(前回比較)

  8. DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです

  9. DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加！！

  10. ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -

    1階層しか..ない..だと？ - DAG of DAG - ユーザー権限管理設定をさせてくれ！ - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ

  11. (再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！ 狙いと期待がシンクロ してきています

  12. というわけで、今日のお品書き

  13. 今日も 張り切って いきましょう！

  14. 最後に イベントアンケートにご協力お願いします