Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Jupyter Notebook Ops
Search
Atsushi Sumita
February 26, 2021
1
220
Jupyter Notebook Ops
効率よくJuptyer Notebookで開発したいよねというお話
Atsushi Sumita
February 26, 2021
Tweet
Share
More Decks by Atsushi Sumita
See All by Atsushi Sumita
Redshift Serverless vs Snowflake 徹底比較!
yummydum
1
2.5k
最強?のデータ組織アーキテクチャ
yummydum
2
600
データチームの境界を考える
yummydum
0
1k
データを開発するためのDataOps
yummydum
1
1k
SNLP presentation 20190928
yummydum
0
340
Featured
See All Featured
The Invisible Side of Design
smashingmag
301
51k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Unsuck your backbone
ammeep
671
58k
RailsConf 2023
tenderlove
30
1.1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Documentation Writing (for coders)
carmenintech
72
4.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Designing for humans not robots
tammielis
253
25k
Transcript
Copyright(C) Nowcast, Inc. All rights reserved. Nowcast Jupyter Notebook Ops
2021年02⽉26⽇ 株式会社 Nowcast 隅⽥ 敦
Copyright(C) Nowcast, Inc. All rights reserved. 2 ⾃⼰紹介 @yummydum
Copyright(C) Nowcast, Inc. All rights reserved. 3 株式会社ナウキャストの紹介 資料はこちら→
Copyright(C) Nowcast, Inc. All rights reserved. 4 nParametrization by Papermill
lノートブックをパラメタ化し使い回せるようにする nCommunication by Commuter lノートブックを素早く⼿軽に共有する Jupyter Notebookによる分析や実験を効率よく運⽤・管理したい まだあるよ→
Copyright(C) Nowcast, Inc. All rights reserved. 5 n ナウキャストではPOSデータやクレジットカードデータを⽤いて企業の売上予測をしています l
証券コード毎に詳細な分析(企業,事業,商品,イベント…) l 対象とする証券コードが200個,1つのノートブックの実⾏に15分なら50時間かかってしまう l データセットはどんどん新しくなるので定期的に再実⾏する必要がある Parametrization by Papermill パラメタを⼀つのセル にまとめparameters タグをつけておく Papermillが 挿⼊したセル ノートブックをパラメタ化して並列分散処理しよう! Papermill: ノートブックにパラメタを設定し実⾏してくれるライブラリ
Copyright(C) Nowcast, Inc. All rights reserved. 6 Parametrization by Papermill
Copyright(C) Nowcast, Inc. All rights reserved. 7 n ノートブックの共有は地味に⾯倒くさい l
誰もが.ipynbを開けるとは限らない l ノートブックを開くたびにファイルの差分が⽣じるのでGitと相性が悪い l Githubに上げるにはファイルサイズが⼤きい l 数百のノートブックを⼿渡しするのは… n Commuter l ローカル・S3からノートブックを読み込みhtmlに変換してくれるwebサーバー l 誰でもブラウザからノートブックを閲覧出来る! Communication by Commuter
Copyright(C) Nowcast, Inc. All rights reserved. 8 Demo: diamond EDA
for different colors
Copyright(C) Nowcast, Inc. All rights reserved. 9 https://github.com/yummydum/jupyter-notebook-ops ⼿元で動かしてみよう! サンプルコード
Copyright(C) Nowcast, Inc. All rights reserved. 10 Notebook infrastructure example
ブラウザから最新の ノートブック⼀覧を いつでも⾒れる! データの更新に 合わせてノートブック を定期的に更新 ワークステーションで アドホック分析 (EFSをマウント) パラメタ化+ 並列分散処理
Copyright(C) Nowcast, Inc. All rights reserved. 11 参考: Netflixのノートブックインフラ https://netflixtechblog.com/notebook-innovation-591ee3221233?gi=19cdf66a04b4
Copyright(C) Nowcast, Inc. All rights reserved. 12 We are hiring!
資料はこちら(⼤事なことなので以下略)→
None