Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Pipeline Casual Talk Vol.2 for Ready

Cb7edd153cf503f44c727b73647558bf?s=47 tetsuroito
April 08, 2019
Technology
0
3.2k

Data Pipeline Casual Talk Vol.2 for Ready

2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド

Cb7edd153cf503f44c727b73647558bf?s=128

tetsuroito

April 08, 2019
Tweet

More Decks by tetsuroito

See All by tetsuroito
Classiが取り組んできた 機械学習の試行錯誤
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
170
事業会社でのデータマネジメントのプラクティス #TechMar
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
250
Data Engineering Study #9 Classiのデータ組織の歩み
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
5
3.8k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
4
3.1k
Subscription Meetup Vol.2 Opening Talk Slide
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
65
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
750
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
1.2k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
3
2.9k
サブスクリプションミートアップOPトークスライド
Cb7edd153cf503f44c727b73647558bf?s=48 tetsuroito
0
4k

Other Decks in Technology

See All in Technology
モダンデータスタックとかの話(データエンジニアのお仕事とは)
95be3c1812a3ae53c2d81cc7ea2eeb3d?s=48 foursue
0
430
5分で完全理解するGoのiota
9c23bec5e8b0aa1d9458d40800987347?s=48 uji
3
2.1k
Dagu | オンプレ向けワークフローエンジン（WebUI 同梱）
2a80a0a6f834a75cc418ef59175ecbb0?s=48 yohamta
0
180
次期LTSに備えよ！AOS 6.1 HCI Core 編
A4d5b3aae2e67f31b513c88c726514c2?s=48 smzksts
0
180
YAMLを書くだけで構築できる分散ストレージ
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
PRO
0
190
GitHub Actionsを使用してGoogle Play Consoleに自動アップロード
27f4269488672f20b6e6fbd5069caa98?s=48 takenaga7
0
200
成長を続ける組織でのSRE戦略：プレモーテムによる信頼性の認識共有 SRE Next 2022
Dccc861c47a9a7bfc7f71a86e1245897?s=48 niwatakeru
7
2.7k
BFFとmicroservicesアーキテクチャ
8feecda0ab340ae974eea7f1d86b85ff?s=48 hirac1220
0
110
Building smarter apps with machine learning, from magic to reality
7e6a435700dda6cdb22105d601f20892?s=48 picardparis
4
3.1k
家の明るさ制御 / Brightness Control in My House
2174bd20a68bf55c494a424ad3790f4a?s=48 1024jp
0
120
testing journey / テストが嫌いでIT業界を離れるはずだったのに〜テスト嫌いが現場で品質改善を実施するまでの物語〜
055e63a40190884fdc17b918c6f6aa7e?s=48 aki_moon
1
370
[SRE NEXT 2022]KaaS桶狭間の戦い 〜Yahoo! JAPANのSLI/SLOを用いた統合監視〜
667ad57b416187cb22589158805603b4?s=48 srenext
0
350

Featured

See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
A9a491b0fcbe0fbce3d64063a37add99?s=48 rmw
19
1.4k
Keith and Marios Guide to Fast Websites
E14f55d3f939977cecbf51b64ff6f861?s=48 keithpitt
404
21k
Product Roadmaps are Hard
7cbd3f5f922d798cc312eaf596de7ae6?s=48 iamctodd
34
6.1k
Art, The Web, and Tiny UX
D67fff74178013024d833b3eec6cf27f?s=48 lynnandtonic
280
17k
5 minutes of I Can Smell Your CMS
465724d73fe3a92c0879fdfb43a3a6f3?s=48 philhawksworth
196
18k
Designing with Data
F57e2136eb9895eb95ff5dc8a1c02677?s=48 zakiwarfel
91
3.9k
Fight the Zombie Pattern Library - RWD Summit 2016
9fa239b3154a0169d99ab7bf1422dd12?s=48 marcelosomers
226
15k
Testing 201, or: Great Expectations
A9704266587836f7e784235e5073b93e?s=48 jmmastey
21
5.4k
Become a Pro
828ace851b606e1206900f26459f55ad?s=48 speakerdeck
PRO
3
780
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
C44e1f7e22c3f23cff7bc130871047ef?s=48 eileencodes
119
28k
The Power of CSS Pseudo Elements
5b6a2bd86ef643786a381a212e0ef2f1?s=48 geoffreycrofte
46
3.9k
The Straight Up "How To Draw Better" Workshop
Aff5641764408271f7bc398f2097edd0?s=48 denniskardys
225
120k

Transcript

  1. Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース

  2. 何者ですか？ • 名前：伊藤 徹郎 (@tetsuroito) • 所属：Classi株式会社 データAI部 データサイエンティスト •

    分野：Educational Technology , Learning Analytics • 著書：データサイエンティスト養成読本ビジネス活用編 • 運営： ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など

  3. カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840

  4. #DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •

    担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです！

  5. 前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/

  6. 前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り！！

  7. というわけで、今日のお品書き

  8. Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加

  9. Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています

  10. Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です

  11. Appendix:DPCT Vol.2に期待すること

  12. 会場提供＆スポンサー スマートニュースさん 本当にありがとうございます！！