Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.2 for Ready
Search
tetsuroito
April 08, 2019
Technology
0
4.4k
Data Pipeline Casual Talk Vol.2 for Ready
2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド
tetsuroito
April 08, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.8k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
850
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
640
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.8k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.8k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
140
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.5k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
1.9k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.3k
Other Decks in Technology
See All in Technology
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
240
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
160
キャディでのApache Iceberg, Trino採用事例 -Apache Iceberg and Trino Usecase in CADDi--
caddi_eng
0
170
Observability infrastructure behind the trillion-messages scale Kafka platform
lycorptech_jp
PRO
0
120
新規プロダクト開発、AIでどう変わった? #デザインエンジニアMeetup
bengo4com
0
490
OAuth/OpenID Connectで実現するMCPのセキュアなアクセス管理
kuralab
5
720
ローカルLLMでファインチューニング
knishioka
0
120
Uniadex__公開版_20250617-AIxIoTビジネス共創ラボ_ツナガルチカラ_.pdf
iotcomjpadmin
0
140
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
53
31k
20250623 Findy Lunch LT Brown
3150
0
710
活きてなかったデータを活かしてみた話 / Shirokane Kougyou vol 19
sansan_randd
1
400
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
710
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
GitHub's CSS Performance
jonrohan
1031
460k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
123
52k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Practical Orchestrator
shlominoach
188
11k
Code Review Best Practice
trishagee
68
18k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
137
34k
Site-Speed That Sticks
csswizardry
10
640
Typedesign – Prime Four
hannesfritz
42
2.7k
The Cost Of JavaScript in 2023
addyosmani
50
8.4k
Transcript
Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース
何者ですか? • 名前:伊藤 徹郎 (@tetsuroito) • 所属:Classi株式会社 データAI部 データサイエンティスト •
分野:Educational Technology , Learning Analytics • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り!!
というわけで、今日のお品書き
Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加
Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています
Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です
Appendix:DPCT Vol.2に期待すること
会場提供&スポンサー スマートニュースさん 本当にありがとうございます!!