WWW2020論文読み会 / 秋葉原ラボ 山本悠二

Transcript

1. 2020/08/05 Yuji Yamamoto (@y_yammt) WWW2020 ࿦จಡΈձ (@CyberAgent, Inc.)

2. ࠓճ঺հ͢Δ಺༰ • WWW2020͔Βؾʹͳͬͨ࿦จΛ2ຊ঺հ͠·͢ɻ • ख๏ͷఏҊʹؔͯ͠ The POLAR Framework: Polar Opposite

   Enable Interpretability of Pre-Trained Word Embeddings • ࣮σʔλͷ෼ੳࣄྫʹؔͯ͠ "What Apps Did You Use?": Understanding the Long-term Evolution of Mobile App Usage ※ ࢲ͸WWW2020ࢀՃ͍ͯ͠·ͤΜͷͰɺձٞͷงғؾΛ͓఻͑͢Δ͜ͱ͸Ͱ͖ͳ͍Ͱ͢ 2

3. The POLAR Framework: Polar Opposite Enable Interpretability of Pre-Trained Word

   Embeddings

4. ࿦จ֓ཁ • ܇࿅ࡁΈ୯ޠຒΊࠐΈʹରͯ͠ղऍੑΛՃ͑ΔϑϨʔϜϫʔΫ ‘POLAR’ ΛఏҊɻ • ରۃͱͳΔ2ޠؒͰͷҐஔ෇͚Λ෼ੳ͢Δ͜ͱͰɺ͋Δ୯ޠͷҙຯΛධՁ͢Δ΍Γํ (ҙຯࠩ൑ผ)Λ࠾༻͍ͯ͠Δ (Լਤࢀর)ɻ ※

   ରۃͱͳΔ୯ޠϖΞ͸ࣄલʹ༻ҙ͢Δඞཁ͕͋Δɻ͜Ε͸σϝϦοτͰ͸ͳ͘ɺ υϝΠϯʹԠͨ͡ൺֱର৅ͷ୯ޠϖΞΛೖΕΒΕΔͳͲͷϝϦοτ͕͋Δɻ 4 10-"3ϑϨʔϜϫʔΫͰ-JHIU
   (PEͷ୯ޠΛ
   ਺஋Խͨ͠΋ͷ

5. ه߸ͷಋೖ • ͋ΔຒΊࠐΈख๏(ΞϧΰϦζϜ) a ʹΑͬͯಘΒΕͨ୯ޠ v ͷϕΫτϧ (d࣍ݩ): • ରۃͱͳΔ୯ޠϖΞ(ྫ

   ॵ͍-פ͍)ͷू߹ (Nݸͷ୯ޠϖΞ): • 1൪໨ͷ୯ޠϖΞʹ͓͍ͯ -z ͔Β z ʹ޲͔͏ϕΫτϧ: • ্ͷϕΫτϧΛNݸͷ୯ޠϖΞͰ·ͱΊͯߦྻͰදͨ͠΋ͷ: 5 (୯ҐϕΫτϧʹਖ਼نԽ͞Ε͍ͯΔ΋ͷͱ͢Δ)

6. ͲͷΑ͏ͯ͠୯ޠϖΞͷॏΈ(ͲͬͪΑΓ͔)ΛٻΊΔͷ͔? • dir1 , …, dirn ͷઢܗ݁߹Ͱݩͷ୯ޠΛ෮ݩ͢Δ͜ͱΛߟ͑Δɻ • ෮ݩޙͷϕΫτϧ͸ c1

   dir1 + … + cn dirn ͱදͤΔͷͰɺ c1 , …, cn Λ֤୯ޠϖΞͷॏΈͱͯ͠࢖͏ɻ 6 'JHVSF
   
   C
   ΑΓҾ༻

7. ॏΈͷܭࢉʹ͍ͭͯͷಋग़ 7 T E
   º
   / /
   º
    E
   º
    ҰൠԽٯߦྻ
   EJS5
   
   Λܭࢉ͢Δͱ͜ΖͰ
   0 /

   
   ͔͔Δ͕ɺ
   ݱ୅ͷܭࢉػͰ͸ݱ࣮తͳ࣌ؒͰܭࢉͰ͖Δɻ

8. POLARϑϨʔϜϫʔΫͷྲྀΕ 8 P: ࣄલʹ༻ҙͨ͠Nݸͷ୯ޠϖΞ Algorithm 1 (୯ޠϖΞͷߜΓࠐΈ) O: Kݸͷ୯ޠϖΞ (K

   ≦ N) ୯ޠϖΞͷॏΈΛٻΊΔ (લϖʔδࢀর) ղऍΛ༩͍͑ͨ୯ޠ ՄࢹԽͳͲ

9. ࣮ݧ಺༰ • େ·͔ʹ͸ҎԼͷ2ͭɻ 1. ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷԠ༻λεΫͷੑೳධՁ (5અ) a) ݩͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͱൺֱͯͦ͠Ε΄ͲੑೳΛམͱͣ͞ղऍੑ ΋Ճ͑Δ͜ͱΛࣔ͢ͱ͍͏ҙਤɻ 2.

   ղऍੑͷධՁ (6અ) a) ରۃͱͳΔ2ޠؒͰͷҐஔ෇͚͕ଥ౰ͳͷ͔ʹ͍ͭͯͷධՁɻ 9

10. ࣮ݧ݁Ռ: ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷԠ༻λεΫͷੑೳධՁ 10 • 5.8અͷ݁ՌͷΈൈਮ (Լਤ)ɻ • ֤Ԡ༻λεΫͰݩͷ୯ޠϕΫτϧΛ༻͍ͨ৔߹ͷੑೳͱɺม׵ޙͷ΋ͷΛ༻͍ͨ৔߹ͷੑೳΛൺֱɻ • Word2Vec,

    GloVeʹରԠ͢Δ௚ઢ͕ݩͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷੑೳɻ • ͦΕҎ֎͸ม׵ޙͷϕΫτϧΛ༻͍ͨ৔߹ͷੑೳɻԿݸͷ୯ޠϖΞΛऔಘͨ͠ͱ͖(ԣ࣠)ͷ ਖ਼ղ཰(ॎ࣠)͔Λද͍ͯ͠Δ → λεΫʹ΋ΑΔ͕ͦΕ΄ͲੑೳΛམͱ͍ͯ͠ͳ͍͜ͱ͸ݴ͑ͦ͏ɻ 'JHVSF
    ΑΓҰ෦ൈਮ

11. ࣮ݧ݁Ռ: ղऍੑͷධՁ 11 • 6.3અͷ݁ՌͷΈൈਮ (Լਤ)ɻ • ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͯफڭʹؔ͢Δχϡʔεͷ෼ྨΛߦ͍ɺ෼ྨʹد༩ͨ͠จ ΛLIMEΛ༻͍ͯநग़͠ɺ୯ޠϖΞͷॏΈΛࣔͨ͠ɻ •

    (a) ͕ແਆ࿦ऀͱ൑ఆ͞Εͨ΋ͷͷ݁Ռɺ(b) ͕ΩϦετڭͱ൑ఆ͞Εͨ΋ͷͷ݁Ռɻ 'JHVSF
    ΑΓҰ෦ൈਮ

12. ࡶײ • ۃੑΛऔΓ͍ͨ୯ޠϖΞΛਓखͰೖΕΔ͜ͱ͕Ͱ͖ΔͨΊɺ υϝΠϯґଘͷจॻʹ΋ରԠͰ͖Δͱ͜Ζ͕Α͍ɻ • Good (Positive) - Bad (Negative)

    Ҏ্ͷۃੑΛ༩͑ΒΕΔ͜ͱ͕Ͱ͖ΔͷͰ ൚༻ੑ͕ߴ͍ɻ • ۃੑ஋͕ਖ਼نԽ͞Ε͍ͯͳ͍ͷͰͪΐͬͱѻ͍ͮΒ͍͔΋͠Εͳ͍ɻ 12

13. "What Apps Did You Use?": Understanding the Long-term Evolution of

    Mobile App Usage

14. ࿦จ֓ཁ • ͲͷΑ͏ͳεϚʔτϑΥϯΞϓϦ͕࢖ΘΕ͍ͯΔ͔ʹ͍ͭͯͷݚڀɻ • ΞϓϦར༻ऩूϓϥοτϑΥʔϜͷσʔλΛجʹͯ͠ɺ ௕ظؒ(6೥ؒ)ͷΞϓϦར༻ͷਐలΛॳΊͯௐࠪ͢Δ͜ͱ͕Ͱ͖ͨɻ • ௐ͔ࠪΒಘΒΕͨ஌ݟʹ͍ͭͯ͸ޙ΄Ͳ঺հɻ 14

15. ௕ظؒʹ͓͚ΔΞϓϦར༻ͷਐల͕Θ͔ΔͱԿ͕خ͍͠ͷ͔? • UXվળ΍ΞϓϦͷڝ૪ྗڧԽɺࢢ৔ػձͷ೺ѲΛޮ཰తʹਐΊΒΕΔɻ • ϚʔέςΟϯά஥հۀऀɺαʔϏεఏڙऀଆ εϚϗར༻ऀͷΞϓϦᅂ޷ͷτϥοΩϯά΍ɺେਓؾʹͳΔΞϓϦͷ༧ଌ → ΞϓϦϚʔέοτશମͷվળʹ͍ͭͯͷҙࢥܾఆͷޮ཰ԽͰ͖Δɻ • ΞϓϦ։ൃऀଆ

    ௕ଓ͖͍ͯ͠ΔΞϓϦΧςΰϦʔ΍ΞϓϦͷཪʹ͋Δ๏ଇΛ೺Ѳ → ΞϓϦ։ൃ΍ΞϓϦͷڝ૪ྗڧԽʹ͍ͭͯΑΓΑ͍ҙࢥܾఆΛԼͤΔɻ 15

16. ΞϓϦར༻ऩूϓϥοτϑΥʔϜ 16 • ΞϓϦར༻ऩूϓϥοτϑΥʔϜ: carat • ΞϓϦར༻ه࿥ + όοςϦʔফඅ਍அΞϓϦ •

    σʔλऩूʹ͋ͨͬͯɺऩू߲໨Λࣄલ௨஌ ͢ΔͳͲྙཧ໘ʹे෼഑ྀ͍ͯ͠Δɻ • σʔλऩू߲໨: • ར༻தͷΞϓϦͷϦετɺϢʔβID (ΞϓϦ ಺Ͱੜ੒)ɺόοςϦʔঢ়گɺ࣌ࠁɺλΠϜ κʔϯɺܞଳి࿩ࠃผίʔυɺ௨৴ωοτ ϫʔΫͷλΠϓ (3G, 4GͳͲ) IUUQDBSBUDTIFMTJOLJp

17. ऩूͨ͠σʔλʹ͍ͭͯ • Android൛caratͷϩάͷ͏ͪͰ3೥ΑΓ௕͍ظؒه࿥͕͋ΔϢʔβʹݶఆɻ • 1,465Ϣʔβɺ1,245,7867Ϩίʔυ (2012/01ʙ2017/12) • 2012೥ 965Ϣʔβɺ2013೥ 836Ϣʔβɺ2014೥

    1,010Ϣʔβ 2015೥ 1,197Ϣʔβɺ2016೥ 1,114Ϣʔβɺ2017೥ 916Ϣʔβ • ΞϓϦͷΧςΰϦʔ͸Google Play͔Βऔಘɻ 17

18. ෼ੳ݁Ռ: ར༻ΞϓϦͷΧςΰϦʔ਺ͷมԽ • ར༻͍ͯ͠ΔΞϓϦΛΧςΰϦʔʹ·ͱΊͯ ݟͯΈΔɻ • Ϣʔβ͋ͨΓͷΧςΰϦʔ਺ͷมભ • ୈ1ஈ֊ (2012ʙ2014೥)

    ೥౓͝ͱʹΧςΰϦʔ਺͕૿Ճɻ • ୈ2ஈ֊ (2014ʙ2017೥) มԽ͕͋·Γͳ͘ͳͬͨɻ • ୈ1ஈ֊ʹ͓͍ͯɺ4GωοτϫʔΫ͕ల։͞ Εͨ͜ͱʹΑͬͯΞϓϦͷछผ͕૿͑ͨͷͰ ͸ͳ͍͔ͱஶऀΒ͸ߟ͍͑ͯΔɻ 18 'JHVSF
    
    C ͔ΒҾ༻ • ར༻ΞϓϦΛΧςΰϦʔͰݟͨ৔߹ͷɺ ೥౓ผͷΧςΰϦʔ਺ͷശͻ͛ਤ • ΦϨϯδ৭ͷઢ͕தԝ஋ɺ྘৭ͷ఺͕ฏۉ

19. ෼ੳ݁Ռ: ར༻ΞϓϦ਺ͷมԽ • Ϣʔβ͋ͨΓͷར༻ΞϓϦ਺ͷมભ • ୈ1ஈ֊ (2012ʙ2014೥) ೥౓͝ͱʹΞϓϦ਺͕૿Ճɻ • ୈ2ஈ֊

    (2014ʙ2017೥) ೥౓͝ͱʹΞϓϦ਺͕ݮগɻ • Ϣʔβશମͷར༻ΞϓϦͷ૯਺Ͱݟͯ΋ ୈ2ஈ֊Ͱݮগʹస͍ͯ͡Δ(Fig. 8 (d))ɻ ࣭ͷ௿͍ΞϓϦ͕Ϣʔβ͔ΒݟݶΒΕͨ ͜ͱΛҙຯ͍ͯ͠Δɻ 19 'JHVSF
    
    D ΑΓҾ༻
    ॎ࣠ͱԣ࣠ͷ$BQUJPO͕ٯʹͳ͍ͬͯΔ • ೥౓ผͷར༻ΞϓϦ਺ͷശͻ͛ਤ • ΦϨϯδ৭ͷઢ͕தԝ஋ɺ྘৭ͷ఺͕ฏۉ

20. ෼ੳ݁Ռ: ΧςΰϦʔͷར༻มԽ • ੒௕ஈ֊(ͦͷΧςΰϦʔͷΞϓϦΛ1ͭҎ ্ೖΕ͍ͯΔϢʔβͷׂ߹͕૿͑Δஈ֊)ͱ ҆ఆஈ֊(Ϣʔβͷׂ߹͕΄΅มԽ͕ͳ͍ ஈ֊)ͷ2ͭͷஈ֊͕͋Δɻ • ໌֬ʹਰୀͨ͠ΧςΰϦʔ͸ͳ͍ɻ ཁҼͷਪ࡯͸ҎԼͷͱ͓Γɻ

    1. ಉҰΧςΰϦʔͷෳ਺ͷΞϓϦͷଘࡏɻ 2. ΧςΰϦʔผϢʔβίϛϡχςΟͷܗ੒ɻ 3. ଞΧςΰϦʔͱͷґଘؔ܎ͷӨڹɻ 20 Ұ෦ൈਮ • ԣ͕࣠೥౓ɺॎ͕࣠ΞϓϦͷΧςΰϦʔ • ਺஋͸֘౰ͷΧςΰϦʔͷΞϓϦΛ 1ͭҎ্ೖΕ͍ͯΔϢʔβͷׂ߹

21. ෼ੳ݁Ռ: ΧςΰϦʔ಺ͷΞϓϦͷར༻มԽ (1/2) • NEWS_AND_MAGAZINEΧςΰϦʔͱ SOCIALΧςΰϦʔͰٞ࿦͢Δɻ • ΞϓϦͷ਺ • 2014೥Λڥʹݮগɻ

    • ੒௕ஈ֊ → ࡟আஈ֊ͱ͍͏มભɻ • (NEWS_AND_MAGAZINE, SOCIALͩ ͚Ͱͳ͘) ͲͷΧςΰϦʔͰ΋Ұ؏ͯ͠ ಉ͡܏޲͕͋ͬͨɻ 21 'JHVSF
    ΑΓҾ༻

22. ෼ੳ݁Ռ: ΧςΰϦʔ಺ͷΞϓϦͷར༻มԽ (2/2) • ΧςΰϦʔ಺Ͱͷར༻ΞϓϦͷूதԽΛଌ Δࢦඪͱͯ͠ΤϯτϩϐʔΛ࢖͏ɻ • Τϯτϩϐʔ͕௿͍: ಛఆͷ΋ͷʹूத •

    Τϯτϩϐʔ͕ߴ͍: ۉҰʹར༻ • ΤϯτϩϐʔͰݟͨ৔߹ • NEWS_AND_MAGAZINEΧςΰϦʔͰ͸ ݮগ͕ݟΒΕΔɻ • SOCIALΧςΰϦʔͰ͸҆ఆஈ֊ɻ 22 'JHVSF
    ΑΓҾ༻

23. ෼ੳ݁Ռ: ΧςΰϦʔɺΞϓϦͷଟ༷ੑมԽ • ΞϓϦͷΧςΰϦʔͷଟ༷ੑมԽ (ڊࢹత) • ଟ༷ੑ (͋ΔϢʔβͷར༻ΞϓϦͷΧςΰϦʔ ू߹͕ଞϢʔβͷ΋ͷͱͲΕ͘Β͍ҟͳ͍ͬͯ Δ͔)

    ͕ݮ͖͍ͬͯͯΔɻ • ΞϓϦͷଟ༷ੑมԽ (ඍࢹత) • ଟ༷ੑ (ར༻ΞϓϦू߹͕ଞϢʔβͷ΋ͷͱͲ Ε͘Β͍ҟͳ͍ͬͯΔ͔) ͕૿͍͑ͯΔɻ • ڊࢹతʹ͸Ϣʔβ͸εϚϗػೳΛ୳͠ٻΊͯଞ Ϣʔβͱࣅ௨ͬͨΞϓϦͷΧςΰϦʔΛ࢖͏͜ͱ ʹͳΔɻ͔͠͠ɺඍࢹతʹ͸ᅂ޷ੑ͕ҟͳ͍ͬͯ ͯଟ༷ͳΞϓϦ͕࢖ΘΕ͍ͯΔ͜ͱʹͳΔɻ 23

24. ෼ੳ݁Ռ: ৽͍ٕ͠ज़ͷग़ݱͱΞϓϦར༻มԽ • ৽͍ٕ͠ज़͕ൃද͞ΕΔ͜ͱͰɺΞϓϦͷΧςΰϦʔ΍ΞϓϦͦͷ΋ͷ͕੒௕ஈ֊ ʹҠߦ͠͏Δ (ஶऀΒͷਪ࡯)ɻ • (ྫ1) 4GωοτϫʔΫͷల։ ϨΠςϯγʔ͕ॏཁͱͳΔΞϓϦ΍σʔλফඅ͕େ͖͍ΞϓϦΛ

    ͨΊΒΘͣʹར༻͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨ → ΞϓϦͷΧςΰϦʔ͕ଟ༷ʹɻ • (ྫ2) CPUͷߴੑೳԽɺεϚϗΧϝϥͷߴղ૾౓Խ ࣸਅΞϓϦͷࣸਅॲཧ΍ϨϯμϦϯά͕ϦΞϧλΠϜʹߦ͑ΔΑ͏ʹͳͬͨ → PhotographyΧςΰϦʔͷϢʔβׂ߹͕૿େɻ 24

25. ࡶײ • ௕ظؒͷϩάσʔλΛೖखͰ͖͍ͯΔͱ͜Ζ͕͍͢͝ɻ • ߴ౓ͳ෼ੳख๏Λ࢖Θͳͯ͘΋༗༻ͳ஌ݟΛಋ͖ग़͢͜ͱ͕Ͱ͖͍ͯΔɻ • ٕज़ֵ৽ͰΞϓϦͷΧςΰϦʔ΍ΞϓϦࣗମʹར༻มԽ͕ੜ͡Δͱ͍͏ߟ࡯͕ ڵຯਂ͍ɻ • ௚ۙͩͱ5GαʔϏεͷ։͕࢝͜Εʹ֘౰ͦ͠͏͕ͩɺ

    Կ͔มԽ͕ى͜ΔͷͩΖ͏͔ 25

26. ·ͱΊ

27. ·ͱΊ • WWW2020͔Βؾʹͳͬͨ࿦จΛ2ຊ঺հ͠·ͨ͠ɻ • The POLAR Framework: Polar Opposite Enable

    Interpretability of Pre- Trained Word Embeddings → ຒΊࠐΈϕΫτϧʹղऍੑΛ༩͑Δख๏ͷఏҊ • "What Apps Did You Use?": Understanding the Long-term Evolution of Mobile App Usage → εϚʔτϑΥϯ ΞϓϦͷར༻มભʹؔ͢Δ෼ੳࣄྫ 27