Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習プロジェクトの進め方 /howtoproceedwithmlproject

機械学習プロジェクトの進め方 /howtoproceedwithmlproject

5e8c7a93f4cd63b62ced5dd347f1a8e0?s=128

Miyakawa Taku

March 18, 2018
Tweet

Transcript

  1. 機械学習プロジェクトの進め方 2018-03-19 宮川 拓

  2. #ccc_e4 2/105 背景と動機  機械学習プロジェクトは、繰り返し的にシ ステムを改善していくプロセスらしい  繰り返しごとに、どこのツマミを回せば良 いのか? デ

    ー タ 収 集 特 徴 抽 出 モ デ ル 構 築 ハ イ パ ー パ ラ メ ー タ 調 整 学 習 ・ 評 価 評 価 軸 設 計
  3. #ccc_e4 3/105 ネタ元  Coursera「Machine Learning」  機械学習の基礎を学ぶ実務者向け講義  厳密な根拠づけは省いて、「直観的には

    こんな感じ、やり方はこう」という内容  「実務上どう実現すればいいの?」とい う話もちょいちょい出てくる  今回は第6週、第11週がネタ元
  4. 題材1 (第6週) 線形回帰による住宅価格予測 #ccc_e4 4/105

  5. #ccc_e4 5/105 題材1: 線形回帰  説明変数 (x)  広さ 

    部屋数  階数  築年数  ……  目的変数 (y)  住宅価格
  6. #ccc_e4 6/105 次にどの手を打つべきか?  「予測がうまくいかない」とき  そもそもそれはどういう時?  何をするべき? 

    データをもっと集める?  説明変数を増やす?減らす?  1 2 + 2 みたいな多項式を新たな説明変 数にする?  正則化を強くする?弱くする?
  7. def. 予測がうまくいっていない #ccc_e4 7/105 一般的なデータに対する予測の誤差が 大きい 訓練データセットに対する予測の誤差 が大きい ◦ ×

  8. データセットの分割 #ccc_e4 8/105 モデルのパラメータの推定のため に使うデータセット 最適な説明変数群、ハイパーパラ メータなどを選択する基準として 使うデータセット 最終的な予測の性能を測る 一般的なデータとして

    使うデータセット 訓練セット バリデーション セット テストセット
  9. 説明変数の数と誤差の関係 #ccc_e4 9/105 誤差 説明変数の数 訓練誤差 バリデーション誤差 ←underfit overfit→

  10. 説明変数の数と誤差の関係 #ccc_e4 10/105 誤差 正則化項の係数λ 訓練誤差 バリデーション誤差 ←overfit underfit→

  11. 訓練セット量と誤差の関係 #ccc_e4 11/105 誤差 訓練データセットの量 Learning Curve 訓練誤差 バリデーション誤差 ←overfit

    誤差が過大なら underfit→
  12. #ccc_e4 12/105 状況ごとのやるべきこと Underfit: データに対してモデルが単純過ぎ  説明変数を増やす  正則化項の係数を小さくする Overfit:

    データに対してモデルが複雑過ぎ  訓練セットの量を増やす  説明変数を減らす  正則化項の係数を大きくする
  13. 題材2 (第6週) spamフィルタ #ccc_e4 13/105

  14. #ccc_e4 14/105 基本的な進め方  まずは簡単なモデルを作ってみる  Learning Curve (訓練セット量vs誤差)を プロットしてみる

     誤差が充分に小さければOK!  誤差が大きければ  underfit → モデルを複雑に  overfit → データを集める → モデルを単純に
  15. #ccc_e4 15/105 エラー分析  具体的に打つ手を決めるためには、 分類エラーを分析することが有用  例: “med1cine”のような意図的なミスス ペルを持つメールがspamとして分類で

    きていない → 未知語の数を説明変数に追加
  16. 題材3 (第11週) Photo OCR #ccc_e4 16/105

  17. 題材: OCRパイプライン #ccc_e4 17/105 画像 テキスト検出 文字分割 文字認識(分類)

  18. #ccc_e4 18/105 Ceiling Analysis  やみくもに各ステップを改善するのは 非効率的  Ceiling Analysisを行って、どのステップを

    改善するべきか突き止めよう
  19. Ceiling Analysis #ccc_e4 19/105 最終的な accuracy 改善 現行のパイプライン 70% -

    + 完璧なテキスト検出器 75% +5% + 完璧な文字分割器 90% +15% + 完璧な文字認識器 100% +10% → 最も改善が見込める文字分割器の改善に 労力をそそぐべき