Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Jupyter Notebook Ops
Search
Atsushi Sumita
February 26, 2021
1
210
Jupyter Notebook Ops
効率よくJuptyer Notebookで開発したいよねというお話
Atsushi Sumita
February 26, 2021
Tweet
Share
More Decks by Atsushi Sumita
See All by Atsushi Sumita
Redshift Serverless vs Snowflake 徹底比較!
yummydum
1
2.3k
最強?のデータ組織アーキテクチャ
yummydum
2
560
データチームの境界を考える
yummydum
0
930
データを開発するためのDataOps
yummydum
1
920
SNLP presentation 20190928
yummydum
0
330
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Gamification - CAS2011
davidbonilla
80
5.1k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
8
270
The Language of Interfaces
destraynor
156
24k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Raft: Consensus for Rubyists
vanstee
137
6.8k
The Invisible Side of Design
smashingmag
299
50k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Designing for humans not robots
tammielis
250
25k
Transcript
Copyright(C) Nowcast, Inc. All rights reserved. Nowcast Jupyter Notebook Ops
2021年02⽉26⽇ 株式会社 Nowcast 隅⽥ 敦
Copyright(C) Nowcast, Inc. All rights reserved. 2 ⾃⼰紹介 @yummydum
Copyright(C) Nowcast, Inc. All rights reserved. 3 株式会社ナウキャストの紹介 資料はこちら→
Copyright(C) Nowcast, Inc. All rights reserved. 4 nParametrization by Papermill
lノートブックをパラメタ化し使い回せるようにする nCommunication by Commuter lノートブックを素早く⼿軽に共有する Jupyter Notebookによる分析や実験を効率よく運⽤・管理したい まだあるよ→
Copyright(C) Nowcast, Inc. All rights reserved. 5 n ナウキャストではPOSデータやクレジットカードデータを⽤いて企業の売上予測をしています l
証券コード毎に詳細な分析(企業,事業,商品,イベント…) l 対象とする証券コードが200個,1つのノートブックの実⾏に15分なら50時間かかってしまう l データセットはどんどん新しくなるので定期的に再実⾏する必要がある Parametrization by Papermill パラメタを⼀つのセル にまとめparameters タグをつけておく Papermillが 挿⼊したセル ノートブックをパラメタ化して並列分散処理しよう! Papermill: ノートブックにパラメタを設定し実⾏してくれるライブラリ
Copyright(C) Nowcast, Inc. All rights reserved. 6 Parametrization by Papermill
Copyright(C) Nowcast, Inc. All rights reserved. 7 n ノートブックの共有は地味に⾯倒くさい l
誰もが.ipynbを開けるとは限らない l ノートブックを開くたびにファイルの差分が⽣じるのでGitと相性が悪い l Githubに上げるにはファイルサイズが⼤きい l 数百のノートブックを⼿渡しするのは… n Commuter l ローカル・S3からノートブックを読み込みhtmlに変換してくれるwebサーバー l 誰でもブラウザからノートブックを閲覧出来る! Communication by Commuter
Copyright(C) Nowcast, Inc. All rights reserved. 8 Demo: diamond EDA
for different colors
Copyright(C) Nowcast, Inc. All rights reserved. 9 https://github.com/yummydum/jupyter-notebook-ops ⼿元で動かしてみよう! サンプルコード
Copyright(C) Nowcast, Inc. All rights reserved. 10 Notebook infrastructure example
ブラウザから最新の ノートブック⼀覧を いつでも⾒れる! データの更新に 合わせてノートブック を定期的に更新 ワークステーションで アドホック分析 (EFSをマウント) パラメタ化+ 並列分散処理
Copyright(C) Nowcast, Inc. All rights reserved. 11 参考: Netflixのノートブックインフラ https://netflixtechblog.com/notebook-innovation-591ee3221233?gi=19cdf66a04b4
Copyright(C) Nowcast, Inc. All rights reserved. 12 We are hiring!
資料はこちら(⼤事なことなので以下略)→
None