Upgrade to Pro — share decks privately, control downloads, hide ads and more …

反実仮想機械学習とは何か

 反実仮想機械学習とは何か

@『反実仮想機械学習』出版記念イベント#1 https://cfml.connpass.com/event/313112/

Amazon: https://www.amazon.co.jp/dp/4297140292

質疑応答: https://docs.google.com/document/d/1P9C6ajiJZVGL0u77TbHvspJs_vfLE_b9puTxlSrVVuM/edit?usp=sharing

概要: 反実仮想(Counterfactual)─ 起こり得たけれども実際には起こらなかった状況 ─ に関する正確な情報を得ることは、機械学習や意思決定最適化の応用において必要不可欠です。例えば、「現在運用している推薦アルゴリズムを仮に別のアルゴリズムに変えたとしたら、ユーザの行動はどのように変化するだろうか?」や「仮に個々の生徒ごとに個別化されたカリキュラムを採用したら、1年後の平均成績はどれほど改善するだろうか」などのビジネス・実社会でよくある問いに答えるためには、反実仮想に関する正確な情報を得る必要があります。こうした反実仮想の推定や比較に基づく意思決定の最適化を可能にするのが、反実仮想機械学習(CFML)と総称される機械学習と因果推論の融合技術です。

本講演では、未だその定義がはっきりと定まっていない感のある反実仮想機械学習を、教師あり学習や強化学習との比較を行いながら明確に位置付けることを目指します。 また反実仮想機械学習の重要な基礎技術である『オフ方策評価(Off-Policy Evaluation; OPE)』についてその典型的な定式化と基本手法を紹介します。 最後に、本書で扱っているさまざまな問題設定について、その有用性と技術的な面白さ、応用事例などを網羅的に解説します。

usaito

April 17, 2024
Tweet

More Decks by usaito

Other Decks in Technology

Transcript

  1. ؆୯ʹࣗݾ঺հ ໊લɿᜊ౻ ༏ଠ !VTBJU ܦྺɿ๺ւಓੜ·Ε ౦޻େ ถίʔωϧ ςοΫاۀʹજೖ͠ڞಉݚڀ ݚڀྖҬɿػցֶश ҼՌਪ࿦

    ਪનɾݕࡧγεςϜ ڞಉݚڀ౳ɿ$ZCFS"HFOU ιχʔ %.. -*/&Ϡϑʔ ϦΫϧʔτͳͲ ͦͷଞ  'PSCFT+BQBO6OEFS XJUIࠤʑ໦࿕ر౤खΒ  'PSCFT+BQBO6OEFSΞυόΠβϦʔϘʔυ  ೔ຊΦʔϓϯΠϊϕʔγϣϯେ৆಺ֳ૯ཧେਉ৆  ଙਖ਼ٛҭӳࡒஂୈظੜ ધҪ৘ใՊֶৼڵࡒஂ঑ֶੜ  5XP4JHNB1I%'FMMPXTIJQ`3VOOFSVQ 5PQ  ࢪࡦσβΠϯͷͨΊͷػցֶशೖ໳ ൓࣮Ծ૝ػցֶश ͷࣥච
  2. $'.-తͳࢹ఺Ͱݟͨڭࢣ͋Γֶश ˔ ڭࢣ͋Γֶशͱ͸ಛ௃ྔYͱ໨తม਺ZͷରԠؔ܎Λ τϨʔχϯάσʔλʹج͖ͮ໌Β͔ʹ͢Δ໰୊ ˔ ͦͷͨΊཧ૝తʹ͸ਅͷ໨తؔ਺ʹج͖ͮ༧ଌؔ਺Λֶश͍ͨ͠ͱ͜Ζ͕ͩɺ ਅͷ໨తؔ਺ʹ͸جຊతʹະ஌ͷ΋ͷ͕ઃఆ͞ΕΔ օ͞Μ࣍ୈͰ͕͢ ˔ ΑͬͯτϨʔχϯάσʔλʹج͖ͮਅͷ໨తؔ਺Λࣄલʹਪఆ͠ɺ

    ͦΕΛ࢓ํͳ͘࠷దԽ͢Δ͜ͱͰਅͷ໨తؔ਺Λؒ઀తʹ࠷దԽ͢Δ $'.-ʹशख़͢Δ্Ͱ͸ɺಛʹҎԼΛҙࣝ͢Δ͜ͱ͕ॏཁ ˔ ໨తؔ਺΍σʔλͷੜ੒աఔ͸օ͞Μࣗ਎͕ಠࣗʹఆࣜԽ͢΂͖΋ͷ ˔ ఆࣜԽʹΑͬͯద੾ͳਪఆྔ͸มԽ͢ΔͨΊɺ౎౓ઃܭ෼ੳ͕ඞཁ
  3. ༧ଌͰ͸ͳ͘ɺҙࢥܾఆͷ໰୊Λߟ͑Δͷ͕$'.- ˔ ϢʔβଐੑYΛ΋ͱʹɺ͋Δಈըίϯςϯπͷࢹௌ࣌ؒZΛ༧ଌ͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺ͋Δ޿ࠂʹର͢ΔΫϦοΫ֬཰ZΛ༧ଌ͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺ͋Δϝʔϧ௨஌ͷ໊݅ʹର͢Δ։෧཰ZΛ༧ଌ͢Δ ˔ ױऀͷݕࠪ݁ՌYΛ΋ͱʹɺ֤छ౤ༀޙͷ࣏༊཰ZΛ༧ଌ͢Δ ˔

    ੜెͷ੒੷YΛ΋ͱʹɺ͋ΔΫϥε෼͚Λͨ͠ͱ͖ͷ੒੷վળ཰ZΛ༧ଌ͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺࢹௌ࣌ؒSΛ࠷େʹ͢ΔίϯςϯπBΛબ୒͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺΫϦοΫ֬཰SΛ࠷େʹ͢Δ޿ࠂBΛબ୒͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺϝʔϧ௨஌ͷ։෧཰SΛ࠷େʹ͢Δ໊݅BΛબ୒͢Δ ˔ ױऀͷݕࠪ݁ՌYΛ΋ͱʹɺ࣏༊཰SΛ࠷େʹ͢Δ࣏ྍༀ౤ༀྔBΛબ୒͢Δ ˔ ੜెͷ੒੷YΛ΋ͱʹɺ੒੷վળ཰SΛ࠷େʹ͢ΔΫϥε෼͚BΛબ୒͢Δ ࣮ࡍͷͱ͜Ζɺҙࢥܾఆͷ໰୊Λղ͍ͯ͸͍ͳ͍͔ʁ
  4. ϩάσʔλʹجͮ͘ ༧ଌ WTҙࢥܾఆ τϨʔχϯάϩάσʔλ ςετকདྷσʔλ ڭࢣ ͋Γ ֶश ϩάσʔλ ಛ௃ྔͱ໨తม਺ͷ૊ͷू߹

    ৽ͨͳಛ௃ྔʹରԠ͢Δ໨తม਺ ΛΑΓਖ਼֬ʹ༧ଌ͢Δ ൓࣮ Ծ૝ ػց ֶश ϩάσʔλ աڈͷҙࢥܾఆͷ݁Ռͷू߹ ҙࢥܾఆؔ਺ Λֶश ৽ͨͳಛ௃ྔʹରͯ͠ ࠷దͳߦಈΛબ୒͢Δ ༧ଌؔ਺ Λֶश
  5. ϩάσʔλʹجͮ͘ ༧ଌ WTҙࢥܾఆ τϨʔχϯάϩάσʔλ ςετকདྷσʔλ ϩάσʔλ ಛ௃ྔͱ໨తม਺ͷ૊ͷू߹ ϩάσʔλʹ͓͍ͯ͸ਖ਼ղ ໨తม਺ ͕൑໌

    ൓࣮Ծ૝తͳঢ়گ͸ଘࡏ͠ͳ͍ ৽ͨͳಛ௃ྔʹରԠ͢Δ໨తม਺ ΛΑΓਖ਼֬ʹ༧ଌ͢Δ ൓࣮ Ծ૝ ػց ֶश ϩάσʔλ աڈͷҙࢥܾఆͷ݁Ռͷू߹ ϩάσʔλʹ͓͍ͯ΋ਖ਼ղ ࠷దߦಈ ͕ෆ໌ ൓࣮Ծ૝తͳঢ়گ͕ଘࡏ͢Δ ҙࢥܾఆؔ਺ Λֶश ৽ͨͳಛ௃ྔʹରͯ͠ ࠷దͳߦಈΛબ୒͢Δ ༧ଌؔ਺ Λֶश ڭࢣ ͋Γ ֶश
  6. ϢʔβJͷ ଐੑͳͲ ҙࢥܾఆ࠷దԽ໰୊ͷϩάσʔλʹଘࡏ͢Δl൓࣮Ծ૝z ϢʔβJʹ ਪનͨ͠өը өըͷ ࢹௌ࣌ؒͳͲ өը ߦಈ өը

    ߦಈ өը ߦಈ ਪનʂ ෼ ? ࣮ࡍʹਪનͨ͠ өըʹؔ͢Δ݁Ռ͸ ؍ଌ͞ΕΔ ਪન͠ͳ͔ͬͨ өըʹؔ͢Δ݁Ռ͸ ؍ଌ͞Εͳ͍ ൓࣮Ծ૝ ͜͜Ͱ͸ɺөըdͷ͏ͪ ͲΕ͕࠷దߦಈ Ͱ͋Δ͔ෆ໌Ͱ͋Δ
  7. ൓࣮Ծ૝ػցֶशͱ͸ τϨʔχϯάσʔλΛ΋ͱʹಛ௃ྔYͱߦಈB ใुSͷରԠؔ܎Λ ໌Β͔ʹ͠ɺ৽ͨͳಛ௃ྔʹରͯ͠ΑΓྑ͍ߦಈΛબ୒͢Δ໰୊ ൓࣮Ծ૝ػցֶश ϩάσʔλʹجͮ͘ҙࢥܾఆֶश ͷ໰୊ͷ۩ମྫ ˔ ϢʔβଐੑYΛ΋ͱʹɺࢹௌ࣌ؒSΛ࠷େʹ͢ΔίϯςϯπBΛબ୒͢Δ ˔

    ϢʔβଐੑYΛ΋ͱʹɺΫϦοΫ֬཰SΛ࠷େʹ͢Δ޿ࠂBΛબ୒͢Δ ˔ ϢʔβଐੑYΛ΋ͱʹɺϝʔϧ௨஌ͷ։෧཰SΛ࠷େʹ͢Δ໊݅BΛબ୒͢Δ ˔ ױऀͷݕࠪ݁ՌYΛ΋ͱʹɺ࣏༊཰SΛ࠷େʹ͢Δ࣏ྍༀ౤ༀྔBΛબ୒͢Δ ˔ ੜెͷ੒੷YΛ΋ͱʹɺ੒੷վળ཰SΛ࠷େʹ͢ΔΫϥε෼͚BΛબ୒͢Δ
  8. ൓࣮Ծ૝ػցֶशʹ͓͚ΔlయܕతͳzτϨʔχϯάσʔλ ಛ௃ྔ ߦಈ ใु ͷ؍ଌσʔλ ಛ௃ྔ ߦಈ ใु Λੜ੒͢Δ ະ஌ͷಉ࣌෼෍

    چํࡦ զʑࣗ਎͕ಋೖ͢Δҙࢥܾఆؔ਺͕σʔλੜ੒աఔͷҰ෦Λ੒͢ ͲͷΑ͏ͳσʔλΛੜ੒͢Δ͔ʹ͍ͭͯɺզʑ͕ҰఆͷݖݶΛ࣋ͭ ڭࢣ͋Γֶशʹ͓͍ͯ͸ɺσʔλੜ੒͸׬શʹ؀ڥґଘͩͬͨ
  9. ൓࣮Ծ૝ػցֶशͷجຊखॱ  ҙࢥܾఆؔ਺ͷྑ͞ɾਖ਼֬͞ ໨తؔ਺ Λఆٛ͢Δ  τϨʔχϯάσʔλʹج͖ͮɺͰఆٛͨ͠໨తؔ਺Λਪఆ  Λ ࢓ํͳ͘

    ࠷దԽ͢Δ͜ͱͰҙࢥܾఆؔ਺Λ৽ͨʹಘΔ ̍ɾ൪໨ͷखॱΛҙࣝ͢Δ͜ͱ͕ΑΓҰ૚ॏཁʹͳΔ ൓࣮Ծ૝ػցֶशʹ͓͍ͯҙࢥܾఆؔ਺ΛಘΔجຊखॱ ΑΓ ॏཁ
  10. $'.-ຊͷߏ੒ ˔ ୈষɿجૅ஌ࣝͷ੔ཧ ˔ ୈষɿඪ४తͳΦϑํࡦධՁ ˔ ୈষɿϥϯΩϯάʹ͓͚ΔΦϑํࡦධՁ ˔ ୈষɿߦಈಛ௃ྔΛ༻͍ͨΦϑํࡦධՁ ˔

    ୈষɿΦϑํࡦධՁʹؔ͢Δ࠷৽ͷ࿩୊ ˔ ୈষɿΦϑํࡦධՁ͔ΒΦϑํࡦֶश΁ ˔ ୈষɿΦϑํࡦධՁɾֶशͷݱ৔׆༻
  11. $'.-ຊͷߏ੒ • ୈষɿجૅ஌ࣝͷ੔ཧ ◦ ֬཰ɾ౷ܭɾڭࢣ͋ΓֶशɾҼՌਪ࿦ͷجૅΛ $'.-ͱͷ઀ଓʹಛԽ͢ΔܗͰ෮श • ୈষɿඪ४తͳΦϑํࡦධՁ ◦ ΦϯϥΠϯ࣮ݧʹ͓͚Δ"7(ਪఆྔ

    ◦ ΦϑํࡦධՁʹ͓͚Δ%.*14%3ਪఆྔ ◦ ΦϑํࡦධՁʹ͓͚ΔجຊతͳԾఆ͕ ຬͨ͞Εͳ͍৔߹ͷ෼ੳͱ࣮ݧൺֱ ◦ جຊਪఆྔΛվળ͢ΔςΫχοΫू $'.-ʹ͓͚Δجૅதͷجૅ
  12. $'.-ຊͷߏ੒ • ୈষɿϥϯΩϯάʹ͓͚ΔΦϑํࡦධՁ ◦ ݕࡧ΍ਪનͷ໰୊ʹΑ͘ग़ݱ͢Δ ϥϯΩϯάͷઃఆʹ͓͚ΔΦϑํࡦධՁ ◦ σʔλͷߏ଄ʹ༷ʑͳԾఆΛஔ͘͜ͱͰ ਪఆྔͷόΠΞεɾόϦΞϯεΛࣗࡏʹ੍ޚ •

    ୈষɿߦಈಛ௃ྔΛ༻͍ͨΦϑํࡦධՁ ◦ ߦಈʹؔ͢Δಛ௃ྔΛ׆༻͢Δ͜ͱͰɺ ·ͬͨ͘৽ͨͳ*14ਪఆྔΛಋग़͢Δ ◦ ᜊ౻ࣗ਎͕೥͔ΒߦͬͨݚڀͷΈͰߏ੒ యܕతͳҼՌਪ࿦ʹ͸ແ͍࢐৽ͳ࿩
  13. $'.-ຊͷߏ੒ • ୈষɿΦϑํࡦධՁʹؔ͢Δ࠷৽ͷ࿩୊ ◦ ڧԽֶशʹ͓͚ΔΦϑํࡦධՁͳͲ • ୈষɿΦϑํࡦධՁ͔Βֶश΁ ◦ ΦϑํࡦධՁͷٕज़Λҙࢥܾఆͷֶश΁֦ு •

    ୈষɿΦϑํࡦධՁɾֶशͷݱ৔׆༻ ◦ έʔε໰୊ΛҰ͔ΒఆࣜԽ͠ɺ $'.-ٕज़Λ׆༻͢ΔྲྀΕΛମݧ͢Δ ◦ ͦͷ͍ͭͰʹֶज़తʹ΋৽͍͠ख๏Λ࡞Δ ֶश΁ͷ֦ுͱ$'.-ͷ࣮ફ
  14. $'.-ຊͷಛ௃ ˔ ੈքॳͷ$'.-ʹؔ͢ΔڭՊॻ ˔ ΦϑํࡦධՁͷجૅͷపఈղઆ  ষ ˔ యܕతͳҼՌਪ࿦ʹ͸ແ͍ ࠷৽Ͱ࢐৽ͳਪఆྔઃܭ෼ੳज़

     ষ ˔ ຊจதʹొ৔͢Δ࣮ݧ݁Ռ͸ ͢΂͔ͯΒ࣮૷ ࣮૷΋ެ։ ˔ ষͰ͸ɺ͠Α͏ͱࢥ͑͹࿦จʹͰ͖Δ ఆࣜԽɾख๏Λষ಺Ͱ৽ͨʹ։ൃ *https://github.com/ghmagazine/cfml_book
  15. ৭ʑͳ໰୊ҙࣝ ˔ ͜Ε·Ͱʹ͋Δఔ౓ͷ਺ͷ࿦จΛॻ͍͖͕ͯͨɺ ୯ʹ࿦จΛॻ͚ͩ͘Ͱ͸ݚڀ͍ͯ͠Δҙຯ͕ͳ͍ͱײͨ͡ ˓ ࿦จ͚ͩॻ͍͍ͯͯ΋ݱ৔ͷਓʹಡ·Εͳ͍ ˓ ࿦จ͸ख๏Λ࣮ફऀʹ఻͑ΔͨΊʹద੾ͳϑΥʔϚοτͰ͸ͳ͍ ˓ ख๏ͷద੾ͳར༻ํ๏͸ݱ৔ʹΑͬͯҟͳΔ

    ˔ ػցֶशͷॏཁͳ෦෼͕΄ͱΜͲख෇͔ͣɺඇৗʹ໪ମແ͍ ˓ ໨తؔ਺΍σʔλੜ੒աఔͷఆࣜԽɺਪఆྔઃܭ෼ੳɺֶशͷྲྀΕΛ ݎ࣮ʹճ͍ͤͯΔਓݱ৔ʹະͩग़ձͬͨ͜ͱ͕ͳ͍ ˓ ࠷దԽ͕ਐΉํ޲Λܾఆ෇͚Δ෦෼ͳͷͰɺ༰қʹ੒Ռ͕ग़΍͍͢ ͋͘·Ͱᜊ౻ݸਓͷᅂ޷ੑͰ͋Γɺ ଞͷݚڀऀͷํʑ΁ͷࢦఠͰ͸ͳ͍
  16. ͱ͍͏͜ͱͰݚڀҎ֎ʹ৭ʑ΍͍ͬͯΔ ˔ ॻ੶ࣥච ˓ ࣗ෼͕࡞ͬͨख๏΍ͦͷաఔͰಘͨצॴΛ࣮຿޲͚ʹ࠶ฤूͯ͠ग़൛ ˓ ʮຊʹͯ͠ചΕΔ͔ʁʯ͕ݚڀΞΠσΞΛߟ͑ΔҰͭͷج४ ˔ ίϯαϧɾडୗ෼ੳɾڞಉݚڀ ˓

    اۀ͞ΜʹࣗΒೖ͍ͬͯͬͯϞσϦϯάͷิॿɺ෼ੳͷ࣮ߦ ˓ Ͳͷݱ৔Ͱ΋΄ͱΜͲख෇͔ͣͳͷͰɺ༰қʹ੒Ռ͕ग़΍͍͢ ˓ ࣗ෼ͰखΛಈ͔ͯ͠෼ੳͰ͖ͳ͚Ε͹ɺ࿦จॻ͍ͯ΋આಘྗ͕ͳ͍ ˔ ֶੜࢦಋ ˓ ֶ෦ֶੜͰݚڀνʔϜΛ࡞Γڞಉݚڀʹ౤ೖɺւ֎Ӄ߹֨ऀ΋ഐग़
  17. • ݚڀɺίϯαϧͳͲͱฒߦ͠ͳ͕Β ೥΄ͲͰࣥච ࣥච։࢝ ೥݄೔ • dׂ͸ᜊ౻ͷݚڀ੒ՌͰߏ੒ • ஶऀओಋͷຊॻษڧձ΋։࠵༧ఆ •

    ᜊ౻ͷݚڀ಺༰͕dׂΛ઎ΊΔ ࣍ճ࡞ʹ΋औΓֻ͔Δ༧ఆ ͜ͷϞνϕʔγϣϯͷҰ؀Ͱ͏·Εͨͷ͕$'.-ຊ