Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Jupyter Notebook Ops
Search
Atsushi Sumita
February 26, 2021
1
220
Jupyter Notebook Ops
効率よくJuptyer Notebookで開発したいよねというお話
Atsushi Sumita
February 26, 2021
Tweet
Share
More Decks by Atsushi Sumita
See All by Atsushi Sumita
Redshift Serverless vs Snowflake 徹底比較!
yummydum
1
2.4k
最強?のデータ組織アーキテクチャ
yummydum
2
580
データチームの境界を考える
yummydum
0
970
データを開発するためのDataOps
yummydum
1
960
SNLP presentation 20190928
yummydum
0
340
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Site-Speed That Sticks
csswizardry
5
490
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
GraphQLの誤解/rethinking-graphql
sonatard
71
10k
Code Review Best Practice
trishagee
67
18k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Adopting Sorbet at Scale
ufuk
76
9.3k
A Tale of Four Properties
chriscoyier
158
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
5
550
Transcript
Copyright(C) Nowcast, Inc. All rights reserved. Nowcast Jupyter Notebook Ops
2021年02⽉26⽇ 株式会社 Nowcast 隅⽥ 敦
Copyright(C) Nowcast, Inc. All rights reserved. 2 ⾃⼰紹介 @yummydum
Copyright(C) Nowcast, Inc. All rights reserved. 3 株式会社ナウキャストの紹介 資料はこちら→
Copyright(C) Nowcast, Inc. All rights reserved. 4 nParametrization by Papermill
lノートブックをパラメタ化し使い回せるようにする nCommunication by Commuter lノートブックを素早く⼿軽に共有する Jupyter Notebookによる分析や実験を効率よく運⽤・管理したい まだあるよ→
Copyright(C) Nowcast, Inc. All rights reserved. 5 n ナウキャストではPOSデータやクレジットカードデータを⽤いて企業の売上予測をしています l
証券コード毎に詳細な分析(企業,事業,商品,イベント…) l 対象とする証券コードが200個,1つのノートブックの実⾏に15分なら50時間かかってしまう l データセットはどんどん新しくなるので定期的に再実⾏する必要がある Parametrization by Papermill パラメタを⼀つのセル にまとめparameters タグをつけておく Papermillが 挿⼊したセル ノートブックをパラメタ化して並列分散処理しよう! Papermill: ノートブックにパラメタを設定し実⾏してくれるライブラリ
Copyright(C) Nowcast, Inc. All rights reserved. 6 Parametrization by Papermill
Copyright(C) Nowcast, Inc. All rights reserved. 7 n ノートブックの共有は地味に⾯倒くさい l
誰もが.ipynbを開けるとは限らない l ノートブックを開くたびにファイルの差分が⽣じるのでGitと相性が悪い l Githubに上げるにはファイルサイズが⼤きい l 数百のノートブックを⼿渡しするのは… n Commuter l ローカル・S3からノートブックを読み込みhtmlに変換してくれるwebサーバー l 誰でもブラウザからノートブックを閲覧出来る! Communication by Commuter
Copyright(C) Nowcast, Inc. All rights reserved. 8 Demo: diamond EDA
for different colors
Copyright(C) Nowcast, Inc. All rights reserved. 9 https://github.com/yummydum/jupyter-notebook-ops ⼿元で動かしてみよう! サンプルコード
Copyright(C) Nowcast, Inc. All rights reserved. 10 Notebook infrastructure example
ブラウザから最新の ノートブック⼀覧を いつでも⾒れる! データの更新に 合わせてノートブック を定期的に更新 ワークステーションで アドホック分析 (EFSをマウント) パラメタ化+ 並列分散処理
Copyright(C) Nowcast, Inc. All rights reserved. 11 参考: Netflixのノートブックインフラ https://netflixtechblog.com/notebook-innovation-591ee3221233?gi=19cdf66a04b4
Copyright(C) Nowcast, Inc. All rights reserved. 12 We are hiring!
資料はこちら(⼤事なことなので以下略)→
None