Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.2 for Ready
Search
tetsuroito
April 08, 2019
Technology
0
4.3k
Data Pipeline Casual Talk Vol.2 for Ready
2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド
tetsuroito
April 08, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.7k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
790
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
590
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.5k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.6k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
110
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.4k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
1.8k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
Other Decks in Technology
See All in Technology
どちらを使う?GitHub or Azure DevOps Ver. 24H2
kkamegawa
0
720
re:Invent 2024 Innovation Talks(NET201)で語られた大切なこと
shotashiratori
0
310
Wantedly での Datadog 活用事例
bgpat
1
440
コンテナセキュリティのためのLandlock入門
nullpo_head
2
320
開発生産性向上! 育成を「改善」と捉えるエンジニア育成戦略
shoota
2
330
Jetpack Composeで始めるServer Cache State
ogaclejapan
2
170
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
0
140
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
20241214_WACATE2024冬_テスト設計技法をチョット俯瞰してみよう
kzsuzuki
3
450
株式会社ログラス − エンジニア向け会社説明資料 / Loglass Comapany Deck for Engineer
loglass2019
3
32k
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
5
38k
2024年にチャレンジしたことを振り返るぞ
mitchan
0
130
Featured
See All Featured
It's Worth the Effort
3n
183
28k
A Philosophy of Restraint
colly
203
16k
Raft: Consensus for Rubyists
vanstee
137
6.7k
Thoughts on Productivity
jonyablonski
67
4.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Code Review Best Practice
trishagee
65
17k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
Writing Fast Ruby
sferik
628
61k
Transcript
Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース
何者ですか? • 名前:伊藤 徹郎 (@tetsuroito) • 所属:Classi株式会社 データAI部 データサイエンティスト •
分野:Educational Technology , Learning Analytics • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り!!
というわけで、今日のお品書き
Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加
Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています
Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です
Appendix:DPCT Vol.2に期待すること
会場提供&スポンサー スマートニュースさん 本当にありがとうございます!!