Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第三章-分類と周辺の知識【数学嫌いと学ぶデータサイエンス・統計的学習入門】

 第三章-分類と周辺の知識【数学嫌いと学ぶデータサイエンス・統計的学習入門】

第三章【数学嫌いと学ぶデータサイエンス・統計的学習入門】

Ringa_hyj

June 15, 2020
Tweet

More Decks by Ringa_hyj

Other Decks in Technology

Transcript

  1. 第三章 5 第三章 5 ・どうやって機械に判断させる? 身体データから男女分類を例に考える ラベル 身長 体重 男

    170 75 男 180 90 女 160 50 女 155 45 以前ダミー変数の話をした 男を1としてダミー変数に変換する ラベル 身長 体重 1 170 75 1 180 90 0 160 50 0 155 45 1,0を100%,0%と考えると、 ラベル列が「男である確率」となる
  2. 第三章 6 第三章 6 ・どうやって機械に判断させる? ラベル 身長 体重 1 170

    75 1 180 90 0 160 50 0 155 45 ・身⾧,体重のデータに手を加えて、何とか「確率」を計算したい。 ・アルゴリズムには男なら確率を高く、女なら低くしてもらいたい。 ・確率は1から0の間の値を必ずとる ・学習の関数を確率の間違い具合で更新する
  3. 第三章 8 第三章 8 ・ロジスティック回帰 – ロジスティック方程式 「回帰」だけど「分類」に使う ・確率は1から0の間の値を必ずとる ロジスティック方程式

    フェルフルストさんが1838年に発見 生物個体数の変化をモデル化 - 環境収容力(上限)と最小存続可能個体数(下限)がある - 増殖力は種によって変化させられる 回帰の例として SNS登録者数予測などにも使う 増加率:a 環境収容力:k 開始時の個体数:n0 時点:t
  4. 第三章 10 第三章 10 ・ロジスティック回帰 – シグモイド関数 ・確率は1から0の間の値を必ずとる シグモイド関数のZに入れた数字は ・大きいほど1

    ・小さいほど0 ・0のとき0.5 になる 男のデータは0より大きくなり、 女のデータは0より小さくなるように変換する係数wを考えたい
  5. 第三章 11 第三章 11 ・ロジスティック回帰 – シグモイド関数 と 尤度 ・確率は1から0の間の値を必ずとる

    ・学習の関数を確率の間違い具合で更新する この式で確率っぽい値に変換できる 尤度(likelihood)の話 尤度 = (y=1の時σ(wx)が出した男である確率)× (y=0の時1-σ(wx)がだした男でない確率)× ・・・ 上記の計算が最大になるようなwの時が、 最も綺麗に σ(wx)を男のデータの時1,女のデータの時0に出力できている 「パラメータの尤もらしさ」の度合いを測る指標を「尤度」と呼ぶ
  6. 第三章 12 第三章 12 ・ロジスティック回帰 – 尤度関数 ・学習の関数を確率の間違い具合で更新する 尤度 =

    (y=1の時σ(wx)が出した男である確率)× (y=0の時1-σ(wx)が計算する男でない確率)× ・・・ 数式で表現すると 尤度 = × × ・・・ 2つも式が必要で、計算するときに厄介 1つの式で表現したい 尤度関数
  7. 第三章 13 第三章 13 ・ロジスティック回帰 – 尤度関数 ・学習の関数を確率の間違い具合で更新する yが1の時(sex=1)、後項は0乗となり1になる yが0の時(sex=0)、前項が0乗となり1になる

    都合よく場合分けしてくれる式ができた sexをsに変える。 尤度の計算を一般化して書き直すと ௡ ௜ୀଵ ௦ ଵି௦ ௡ ௜ୀଵ 尤もらしい値を求める関数 尤度関数
  8. 第三章 14 第三章 14 ・ロジスティック回帰 – 対数尤度関数 ・学習の関数を確率の間違い具合で更新する ௡ ௜ୀଵ

    ௦ ଵି௦ ௡ ௜ୀଵ 複雑な値の掛け算を繰り返すより、 足し引きのほうが計算しやすいので、 対数をとって掛け算を足し算に変換する。(対数ってそういう性質) log(尤度) = + + ・・・ 対数尤度関数 尤度関数が最大の時のwを求める 対数尤度関数が最大の時のwを求める どちらも同じwになる 最適なwのこと:最尤推定量 ௡ ௜ୀଵ = ௡ ௜ୀଵ
  9. 第三章 15 第三章 15 ・ロジスティック回帰 – 負の対数尤度関数 ・学習の関数を確率の間違い具合で更新する ௡ ௜ୀଵ

    対数尤度関数の最大値を求める 数学的に最大化問題を解くのは少し厄介 対数尤度関数が最大のxのとき 負の対数尤度関数は最小になる よって最小化問題として解ける 最小化は微分して0を求めればいい 負の対数尤度関数(交差エントロピー関数) ௡ ௜ୀଵ
  10. 第三章 16 第三章 16 ・ロジスティック回帰 – 負の対数尤度関数の最小化(微分して0) ・学習の関数を確率の間違い具合で更新する ௡ ௜ୀଵ

    負の対数尤度関数を目的の関数(コスト関数)と考え、 パラメータWに関する関数 J(W)と置く s=1の時も、s=0の時も、下に凸なので、微分して0の点がJ(W)の最小値である
  11. 第三章 20 第三章 20 ・ロジスティック回帰 – シグモイド関数のwでの微分 ・学習の関数を確率の間違い具合で更新する = ୢ

    ୢ௭ ୢ௭ ୢ௪ wx=Zとおく。連鎖率の性質より、複数回の微分を順番に計算していく。 = ୢ ୢ௭ ୢ ୢ௪ ここで である ୢ ୢ௭ = シンプルに1変数の微分を考えて ୢ ୢ௭ ଵ ଵାୣష೥ = ି௭ ିଵ ି௭ ିଶ ି௭ ି௭ ିଶ ି௭
  12. 第三章 21 第三章 21 ・学習の関数を確率の間違い具合で更新する = ୢ ୢ௭ ୢ௭ ୢ௪

    = ୢ ୢ௭ ୢ ୢ௪ ୢ ୢ௭ = ୢ ୢ௭ ଵ ଵାୣష೥ = ି௭ ିଵ ି௭ ିଶ ି௭ ି௭ ିଶ ି௭ ି௭ ି௭ ି௭ = ଵ ଵାୣష೥ ିଵାଵାୣష೥ ଵାୣష೥ = ଵ ଵାୣష೥ ଵ ଵାୣష೥ ି௭ に書き直すと より ୢ ୢ௭ ୢ ୢ௪ ・ロジスティック回帰 – シグモイド関数のwでの微分
  13. 第三章 23 第三章 23 ・ロジスティック回帰 – 使う 今回は計算の都合上Z=wxとしましたが、 実際にはwx+bと切片項をつけます 切片項に関してもwと同じようにbに関し

    て微分して求めます y=(1,0) x=(180,155) σ(wx + b)を使って微分を求め代入 w=-315.78 b=1.885 それぞれのxの地点で綺麗に1,0へ変換できています 分類ラベルが複数の場合 1対全で分類