Jupyter Notebookを納品した話

Slide 1

Slide 1 text

Jupyter Notebookを納品した話 2016/11/10 Acroquest Technology 株式会社山本大輝

Slide 2

Slide 2 text

自己紹介 1. 名前：山本大輝（やまもとひろき） 2. Twitter：@tereka114 3. Blog:のんびりしているエンジニアの日記  http://nonbiri-tereka.hatenablog.com/ 4. 専門：画像処理、異常検知 5. 普段はCV勉強会やPyData等で活動しています。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2

Slide 3

Slide 3 text

目次 1. はじめに 2. Jupyter Notebookとは 3. Jupyter Notebookを選んだ理由 4. Jupyter NotebookのPlugin 5. Jupyter Notebookの罠 6. まとめ 3

Slide 4

Slide 4 text

こんなことありませんか？ 1. 「データを分析して欲しい」と言われたけど、分析結果をどんな形式で提出しようか悩んでいる。 2. 分析の思考過程とコードをバラバラに管理しており、後から分析過程を追跡できなくなる。  そのため、思考過程とコードを一緒に残したいが、コードを Word等に貼り付けたくない。 3. コードの動作確認結果を可視化したいが、対話式に確認ができない。（デバッガでは画像は面倒） 4

Slide 5

Slide 5 text

5 この問題全部解決できます！

Slide 6

Slide 6 text

6 そう Jupyter ならね

Slide 7

Slide 7 text

Jupyter Notebook 1. Jupyter Notebookは作成したコードやドキュメントを簡単に共有できる。 ① 様々な言語をサポート（Rも使えるよ！） ② Notebook自体の共有 ③ インタラクティブな実行 2. 可視化したグラフを掲載できる。 3. Markdownを使える。 7

Slide 8

Slide 8 text

何ができるの？ 1. コードを実行できる。基本はPythonですが、カーネルを追加すれば他の言語も実行可能。 2. 当然、出力結果を可視化できる。  %matplotlib inlineを記述すれば、Matplotlib（グラフ）も出力可能 3. Markdownで文章を記述できる。コードをドキュメントに組み込める。 4. 様々なPluginを利用できる。 5. Githubが.ipynb（Jupyter Notebookの拡張子）に対応している。 8

Slide 9

Slide 9 text

Jupyter Notebookの例 9

Slide 10

Slide 10 text

Markdown 図ソースコード Jupyter Notebookの例 10 Jupyterの特殊コマンド（Magic Command）

Slide 11

Slide 11 text

なぜ、Jupyter Notebook？ 1. Jupyter Notebookは分析の過程を残せる。  なぜ、そのコードを書いたのか、途中経過を残すことができる。 2. Jupyter Notebookは環境を整えれば再現が可能 ① 環境を整えれば、同じ状況を再現をすることが可能できる。 ② 手順を追実験できる。（手順書としても使える！） 3. Jupyter Notebookは結果をエビデンスとして残せる。  これを納品しよう！ 11

Slide 12

Slide 12 text

実際にJupyter Notebookの良かったところ 1. 実行結果を見ながら説明ができる。  ソースコードの実行過程を見ながら説明ができる。 2. 実行結果を逐一確認できる。  現状の実行結果を見て、次にどうするか思考できる。 3. アルゴリズムの検証結果を見ることができる。 4. 便利なPluginがある。 12

Slide 13

Slide 13 text

Jupyter Notebookの活用例 1. 分析レポートとして使う。  今回の利用用途、過程とコードが一緒でわかりやすい。 2. アルゴリズムの過程を残す。  画像処理のコードで処理後の結果を残す。 3. 手順書  基本的にはその通りやれば動くので手順書として実行コマンド、結果、説明を同居させて残せる！  例えば、Hadoopの構築手順書 https://github.com/NII-cloud-operation/Literate-computing- Basics 13

Slide 14

Slide 14 text

Jupyter Notebookの例 14 出展：https://github.com/NII-cloud-operation/Literate-computing-Basics/blob/master/D03_KVM%20-%20Ready!%20on%20CentOS.ipynb

Slide 15

Slide 15 text

Jupyter Notebookの例 15 【説明】コードややることに関する内容を記述できる出展：https://github.com/NII-cloud-operation/Literate-computing-Basics/blob/master/D03_KVM%20-%20Ready!%20on%20CentOS.ipynb 【コード】実際のコマンドがわかりやすい【実行結果】説明と結果が同時に見える上から順に手順を追える！

Slide 16

Slide 16 text

Plugin導入の方法 1. nbextensionsを使うと、よく使うPluginは入ります。 2. インストール方法 ① git clone https://github.com/ipython-contrib/IPython- notebook-extensions ② cd IPython-notebook-extensions ③ python setup.py install ④ sudo jupyter contrib nbextension install --user 今の日本語ページだとあまりこの情報がない 16

Slide 17

Slide 17 text

nbextensions 17

Slide 18

Slide 18 text

nbextensions Plugin一覧のテーブル Plugin名 18

Slide 19

Slide 19 text

おすすめのPlugin 1. Table of Contents (2)  見出しから目次を作成して表示する。 2. Python Markdown  MarkdownにPythonの変数等を埋め込める。 3. Hide input  入力したセルを隠せる。 19

Slide 20

Slide 20 text

Jupyter Notebookいい面いっぱいあるよね！

Slide 21

Slide 21 text

でも・・・・・

Slide 22

Slide 22 text

Jupyterで苦労したこともあります。

Slide 23

Slide 23 text

html出力時と見た目が異なることが発覚した 1. Pluginが使えない場合がある、Markdownが機能しない等、問題が発生する。 2. Jupyter Notebookの機能にhtmlを出力する機能があるが、出力結果がNotebookと異なる。 3. Table of Contents (2)の機能を使っていたが、ナンバリングがなくなった。 4. 変数埋め込み機能が使えない。 etc 23

Slide 24

Slide 24 text

Table of Contents(2)の場合～notebook～ 24

Slide 25

Slide 25 text

Table of Contents(2)の場合～html～インデントがないナンバリングされていない 25

Slide 26

Slide 26 text

その他いくつかの場合～notebook～

Slide 27

Slide 27 text

その他いくつかの場合～html～ Notebook上でhideにしたcellも、html出力されてしまう（Hide Cell）埋め込んだ変数名が可視化される（Python Markdown） 27

Slide 28

Slide 28 text

印刷が難しい 1. WebページやNotebookのまま印刷しようとすると、グラフや表が画面から消える。 2. Jupyter Notebookをpdf化するために、LaTeXを必要とするのが面倒。（印刷機能を使えば別の方法で可能） 28

Slide 29

Slide 29 text

印刷が難しい横スクロールで印刷が途切れる 29

Slide 30

Slide 30 text

ファイルの分割ができない 1. ファイルの分割が難しい要因は次の2つ ① ファイルの結合をサポートしていない。 Issueはありました。 https://github.com/jupyter/nbconvert/issues/253 ② ソースコードが必要である。 2. 複数人開発の構成管理が難しい。  複数人で開発すると必ずconflictが起こる状況へ・・ 3. ファイル構成の設計が必要である。 ① Notebook自体を分割した状況を作る。 ② 結合するスクリプトを書く（できるかわからない。） 30

Slide 31

Slide 31 text

可能な限り情報は一つのファイルにまとめる 1. csvやExcel形式についてはpandasを使うと可視化可能となるので、うまくコードを書いて埋め込むことが可能 2. 表示形式を表で出力したい場合はpandas.DataFrame 形式で変数を保持するのも良い。 3. あまりに長くなってくると見通しが悪化するので可能な限り影響範囲は狭い方が良い。 4. （ちゃんと設計しましょう） 31

Slide 32

Slide 32 text

まとめ 1. Jupyter Notebookを使うとコードや過程、手順を Notebookとして残せる。  納品可能なレベル 2. ただし、プラグイン等のカスタマイズ機能を使う場合は気をつける必要がある。 32

Slide 33

Slide 33 text

33 Jupyter Notebookを使おうぜ！ Infrastructures Evolution