Share
Embed
Transcript
33 slides
-
4 スモールデータとは ビッグデータに比べて少ないデータ。 スモールデータはとはデータの発生自体がまれであったり、デ ータの収集やアノーテションのコストが高かったりして、大量 のデータをAIの学習に使うのが困難なデータ。 ・異常検知の業務における異常側のデータ ・データを取るコストが高いデータ。 装置が壊れる前後のデータ等。 ・アノーテションに非常にコストがかかるデータ
医者など専門家で無いと判断できないデータ ・契約が進むまででこれしか出せませんと言われた極一部のデ ータ https://www.ohmsha.co.jp/book/9784274227783/ -
9 データの標準化 実際のコード std_x = (x - np.mean(x, axis=0)) /
np.std(x, axis=0)) グラフのコードはgithubに上げています https://github.com/natsutan/WorkshopHub -
10 標準偏差メモ その1 1σに含まれる割合(正規分布の場合)は感覚として掴んでおこう 範囲 確率(1次元) ±1σ 68.3% ±2σ 95.4%
±3σ 99.7% ±1σで68%、3σで99%くらいは感覚として持っていても良い。 標準化されたデータに対して半径1(1σ)の円を描い たとき、その中に含まれるデータは上の表より少ない 気がするけど、理由わかるかな? -
11 標準偏差メモ その2 サンプリングしたデータの分散の計算はN-1で割る。 標本分散 (sample variance) for n in
[10, 20, 100]: x = gaussian_sampling(0, 2.0, n) print(f'n={n}, variance={np.var(x, ddof=0)}, sample variance={np.var(x, ddof=1)}') n variance sample variance 10 3.00 3.33 20 3.45 3.64 100 4.18 4.23 σ=2.0なので、4.0になって欲しい 実際にパラメータがわかっている確率分布からサンプリングして試してみる。 サンプリングすると実際の分散よりも小さい値になりがち。それをN-1で補正している。 ライブラリを使うときは、どちらの値が出てくるのかを確認する。キーワードddofをつけて検索する。 例えばscikit-learnの標準化では標本分散は使われない(ddof=0) -
17 PCAの例 テストの結果(国語、英語、数学、物理、化学) https://estat.sci.kagoshima-u.ac.jp/data/cgi-bin/data/whats_data/data/img/932722923_9821.xls からダウンロードしました。 # データをutf-8で読み込む data = np.loadtxt('grade.csv',
delimiter=',', skiprows=1, usecols=[1, 2, 3, 4, 5], encoding="utf-8") # データを標準化する。 std_data = (data - np.mean(data, axis=0)) / np.std(data, axis=0) # 主成分分析を行う pca = PCA() pca.fit(std_data) -
27 分類問題と不均衡データ問題 不均衡データの例 ・医療データは健康なデータはいくらでも集まるが、患者のデータは集めにくい。 ・災害時のデータ ・地下資源のデータ 不均衡データの問題 10000人に一人しか発症しない病気の場合、全て病気無しと回答すれば精度が99.99% になる。 実際に病気
実際に健康 病気と推論 TP(True Positiv) FP(False Positive) 健康と推論 FN(False Negatve) FN(False Negative) ROC曲線とか実際のアルゴリムは省略。 興味ある人は本を読んでください。 データにフォーカスします。 -
28 データの不均衡度 2つのクラス分類の時の、少数派データの割合を不均衡度という。 2つのクラスが同じ数であれば0.5になる。 r = 0.2程度まで低下すると通常の方法では学習が困難 r < 0.1となると十分に不均衡なデータといえる。
データのサンプリングを工夫して、不均衡度を制御する。 𝑟 = 𝑁𝑚𝑖𝑛 𝑁𝑚𝑎𝑗 + 𝑁𝑚𝑖𝑛 -
29 アンダーサンプリング 多数派データを間引く ・ランダムに間引く。単純だがまあまあ上手く行く ・クラスタ基準アンダーサンプリング。クラスタリングしてから間引く。 ・トメクリンク Human-in-the-loop機械学習勉強会おさらい。 Human-in-the-loop機械学習では、クラスタリングし て外れ値を見つけて学習データとした。 不均衡データでは、多数派データをクラスタリングし
て、それぞれのクラスタからサンプリングする。 クラスターのセンターをサンプルした値にする手法も ある。 -
33 データ収集の心構え 正しく問題を設定する。 何のためにスモールデータ解析をするのかを明確にする。それにより求める精度が変ってくる。 ベースラインを定義してベースラインと比較する 三現主義 ・現場に足を運び、現場の状況を把握する ・現物を触れて、物の状態を確認する ・現実をこの目で見て、事実を知る データを一つ一つ確認する
スモールデータの意義 解析対象に対する知識(ドメイン知識)が重要。 データが不足しがちな為、あらかじめ妥当な仮説を立て、仮説に基づいてデータを収集、解析す る。表面的な機械学習やプログラミングの知識では駄目。 スモールデータだと対象や手法の深い理解が必要で、それが差別化要因となる。