Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Geek Bar #3

Geek Bar #3

Python × データ解析

KOYAMA Hiroshi

October 31, 2017
Tweet

More Decks by KOYAMA Hiroshi

Other Decks in Programming

Transcript

  1. ジェシカフェ Geek  Bar  #3  1130
    Python+データ解析
    産業技術⼤大学院⼤大学 情報アーキテクチャ専攻
    専攻⻑⾧長・教授 ⼩小⼭山 裕司

    View full-size slide

  2. ⾞車車輪輪の活⽤用
    • ⾞車車輪輪の再発明(reinventing  the  wheel) →  無駄
    ª
    既存のAPI(Appliction Programming  Interface)の活⽤用
    ª
    ⾼高機能
    ª
    開発効率率率及び実⾏行行効率率率の改善
    • Python(約300種類)
    ª batteries    included(電池付属)
    ª
    例例(http://www.larssono.com/musings/matmatpy/)
    • Java(2,000クラス以上)
    • C/C++
    2

    View full-size slide

  3. 電池は別売です

    View full-size slide

  4. 標準ライブラリ
    • sys、os、shutil、glob、zlib
    • math、cmath、random
    • re
    • urllib、urllib2、urlparse
    • time、calendar、datetime
    • timeit、doctest
    • string、 array、collections
    4
    • StringIO、shelve
    • csv、sha、base64、struct
    • poplib、smtplib、email
    • threading
    • xmlrpc
    • cgi、cgitb
    • decimal
    • logging
    • weakref
    • repr、textwarp

    View full-size slide

  5. 標準ライブラリの例例
    5
    >>>  import  math
    >>>  math.pi
    >>>  math.e
    >>>  math.sqrt(81)
    >>>  math.log10(10000)
    >>> math.exp(2) * (math.cos(3))
    >>> math.exp(2) * (math.sin(3))
    >>> import  cmath
    >>> cmath.exp(2+3j)
    >>>  import  random
    >>>  random.random()
    >>>  random.randint(1, 100)
    >>>  random.uniform(1, 100)
    >>>  import  os
    >>>  os.name
    >>>  os.system('date')
    >>>  os.getcwd()
    >>>  os.mkdir('test')
    >>>  os.chdir('test')
    >>>  os.getcwd()
    >>>  os.chdir('..')
    >>>  os.rmdir('test')
    >>>  import  glob
    >>>  glob.glob('*.py')
    >>>  import  time
    >>>  time.ctime()
    >>>  from  time  import  ctime
    >>>  ctime()

    View full-size slide

  6. データ解析
    • データ解析(Data  Analysis)
    ª Data(事実、資料料)を
    ª Analysis(分析、解析)し、
    ª
    知⾒見見を得ること
    (特徴・傾向等を調べる)
    • データ解析の⼿手順
    6
    収集 整理理 解析
    データ探し
    データ作成
    データ集め
    数値への変換
    正規変換
    必要箇所の抽出
    ノイズの取り除き
    相関
    グラフ(可視)
    統計
    AI・機械学習

    View full-size slide

  7. BD:  Big  Data
    • 情報爆発(たくさんのデータ)
    ª ICT技術の指数関数的発展(Moore‘s  Law)
    ª
    私(個)からの情報の発信・蓄積
    • 1998年年から2008年年までの10年年間
    →  情報の量量は約1,000倍、インターネットの普及率率率は10%から80%
    ª IoTデバイスからの情報
    ª
    数値、テキスト、画像、
    ⾳音声、動画、時系列列 等
    ª
    相対・絶対、
    定量量的・定性的 等
    7

    View full-size slide

  8. BD:  Big  Data
    • たくさんのデータ(⽟玉⽯石混交の情報)を整理理する技術
    ª Google等の検索索 →  砂漠から宝⽯石を探しだす技術(群衆の叡智)
    ª
    ソーシャルフィルタ →  ⼈人間関係を活⽤用する仕組み(仲間の叡智)
    ª
    データマイニング
    ª
    保管
    ª
    可視
    ª AI:  Artificial  Intelligence
    8

    View full-size slide

  9. Lies,  Damned  Lies,  and  Statistics
    • 平均値
    ª
    相加平均、相乗平均、調和平均
    • 最頻値
    • 中央値
    9

    View full-size slide

  10. Data  Visualization
    • D3.js(http://d3js.org/)
    10

    View full-size slide

  11. ⾃自治体の経済通信簿
    • http://yasufumisaito.github.io/japan_map/
    11

    View full-size slide

  12. データの代表
    12
    • 平均値(=AVERAGE) 62.15
    ª
    相加平均、相乗平均、調和平均
    • 最頻値(=MODE) 65.0
    • 中央値(=MEDIAN) 67.5
    • 最⼤大値(=MAX) 97
    • 最⼩小値(=MIN) 0

    View full-size slide

  13. データのバラツキ
    • 偏差
    ª
    データの中央からの差
    • 分散(=VARPA)
    ª
    中央からの差の⼆二乗の総和
    • 標準偏差(=STDEVPA)
    ª
    分散の平⽅方根
    • 共分散(=COVAR)
    ª 2つのデータのばらつき
    • 相関(=CORREL)
    ª
    共分散(-­‐1〜~1の範囲) 13

    View full-size slide

  14. 準備1
    • Python    
    ª https://www.python.org/
    • Numpy(数値計算)
    • Pandas(Python  Data  Analysis  Library、データ解析)
    • Matplotlib(2D描画)
    • Scipy(Numpyの科学技術計算)
    • Statsmodels(統計、時系列列)
    • Jupyter Notebook    
    ª http://jupyter.org/    
    ª https://try.jupyter.org/
    • Anaconda    
    ª https://www.anaconda.com/ 14

    View full-size slide

  15. 準備2
    % ~/anaconda2/bin/conda install  -­‐c  anaconda  pandas-­‐datareader
    % ~/anaconda2/bin/jupyter-­‐notebook
    15

    View full-size slide

  16. Pythonの例例
    • #  乱数の⾏行行列列の⽣生成(Numpy)
    • import  numpy as  np
    • data1  =  np.random.randn(4,  2)
    • data1
    • #  グラフ描画(Math)
    • data2  =  np.random.randn(40,  2)  +  [3,  0]
    • data2=  np.append(data2,  np.random.randn(40,  2)  +  [-­‐1,  3],  axis=0)
    • data2=  np.append(data2,  np.random.randn(40,  2)  +  [-­‐1,  -­‐3],  axis=0)
    • import  matplotlib.pyplot as  plt
    • plt.scatter(data2[:,0],  data2[:,1])
    • plt.show()
    16

    View full-size slide

  17. 株価の取得
    • #  FREDから⽇日経平均の取得
    • import  pandas_datareader.data as  pdr
    • %matplotlib inline
    • nikkei225  =  pdr.DataReader("NIKKEI225",  'fred',  '1949/5/16')
    • nikkei225.plot()
    • #  ⽇日経平均及びダウ平均の取得
    • stocks  =  pdr.DataReader(["NIKKEI225",  "DJIA"],  "fred",  '2007/1/1')
    • stocks.plot()
    • #  Yahooから⽇日経平均(4本値)の取得
    • n225  =  pdr.DataReader("^N225",  'yahoo',  '1965/1/5')
    17

    View full-size slide

  18. 企業の株価
    • f1  =  pdr.DataReader(['SNE',  'AAPL',  'NTDOY'],  'yahoo',  '2010/1/1')
    • f1['Adj Close']['SNE']  /=  f1['Adj Close']['SNE'][0]
    • f1['Adj Close']['AAPL']  /=  f1['Adj Close']['AAPL'][0]
    • f1['Adj Close']['NTDOY']  /=  f1['Adj Close']['NTDOY'][0]
    • f1['Adj Close'].plot()
    • plt.show()
    • f2  =  pdr.DataReader(['TM',  'NSANY'],  'yahoo',  '2010/1/1')
    • f2['Adj Close']['TM']  /=  f2['Adj Close'][’TM'][0]
    • f2['Adj Close']['NSANY']  /=  f2['Adj Close'][’NSANY'][0]
    • f2['Adj Close'].plot()
    • plt.show()
    18

    View full-size slide

  19. 国別⼈人⼝口
    • from  pandas_datareader import  wb
    • f3  =  wb.download(indicator='SP.POP.TOTL',  country=['JP',  'US'],                                
    start=1960)
    • f3  =  f3.unstack(level=0)
    • f3.columns  =  ['Japan',  'United  States']
    • f3.plot()
    • plt.show()
    19

    View full-size slide

  20. Pandasの型
    • DataFrame:  ⾏行行列列
    • Series:  DataFrameの1列列
    20

    View full-size slide

  21. 相関:  ⽇日経平均 vs.  ドル円為替
    • import  pandas  as  pd
    • jpus =  pdr.DataReader("DEXJPUS",  'fred',  '1984/1/4')
    • n225  =  pdr.DataReader("^N225",  'yahoo',  '1984/1/4')
    • #  連結及び削除
    • port  =  pd.concat([n225.Close,  jpus],  axis=1).dropna()
    • #  値から変動率率率への変換及び削除
    • n  =  port.Close.pct_change().dropna()
    • f  =  port.DEXJPUS.pct_change().dropna()
    • #  25営業⽇日
    • f.rolling(window=25).corr(n).plot()
    21

    View full-size slide

  22. ⽇日経移動平均
    • import  pandas  as  pd
    • n225  =  pdr.DataReader("^N225",  'yahoo',  '2010/1/1')
    • #  mean()、max()、median()、std()
    • m  =  pd.Series.rolling(n225.Close,  window=25).mean()
    • n225.Close.plot(label='N225  Close')
    • m.plot(label='25days')
    • plt.legend()
    22

    View full-size slide