WWW2020論文読み会 / 秋葉原ラボ 山本悠二

WWW2020で発表された論文から、以下の2つについて紹介しています。

The POLAR Framework: Polar Opposite Enable Interpretability of Pre-Trained Word Embeddings

"What Apps Did You Use?": Understanding the Long-term Evolution of
Mobile App Usage

Transcript

1. 2020/08/05 Yuji Yamamoto (@y_yammt) WWW2020 ࿦จಡΈձ (@CyberAgent, Inc.)
2. ࠓճ঺հ͢Δ಺༰ • WWW2020͔Βؾʹͳͬͨ࿦จΛ2ຊ঺հ͠·͢ɻ • ख๏ͷఏҊʹؔͯ͠ The POLAR Framework: Polar Opposite Enable Interpretability of Pre-Trained Word Embeddings • ࣮σʔλͷ෼ੳࣄྫʹؔͯ͠ "What Apps Did You Use?": Understanding the Long-term Evolution of Mobile App Usage ※ ࢲ͸WWW2020ࢀՃ͍ͯ͠·ͤΜͷͰɺձٞͷงғؾΛ͓఻͑͢Δ͜ͱ͸Ͱ͖ͳ͍Ͱ͢ 2
3. The POLAR Framework: Polar Opposite Enable Interpretability of Pre-Trained Word Embeddings
4. ࿦จ֓ཁ • ܇࿅ࡁΈ୯ޠຒΊࠐΈʹରͯ͠ղऍੑΛՃ͑ΔϑϨʔϜϫʔΫ ‘POLAR’ ΛఏҊɻ • ରۃͱͳΔ2ޠؒͰͷҐஔ෇͚Λ෼ੳ͢Δ͜ͱͰɺ͋Δ୯ޠͷҙຯΛධՁ͢Δ΍Γํ (ҙຯࠩ൑ผ)Λ࠾༻͍ͯ͠Δ (Լਤࢀর)ɻ ※ ରۃͱͳΔ୯ޠϖΞ͸ࣄલʹ༻ҙ͢Δඞཁ͕͋Δɻ͜Ε͸σϝϦοτͰ͸ͳ͘ɺ υϝΠϯʹԠͨ͡ൺֱର৅ͷ୯ޠϖΞΛೖΕΒΕΔͳͲͷϝϦοτ͕͋Δɻ 4 10-"3ϑϨʔϜϫʔΫͰ-JHIU
   (PEͷ୯ޠΛ
   ਺஋Խͨ͠΋ͷ
5. ه߸ͷಋೖ • ͋ΔຒΊࠐΈख๏(ΞϧΰϦζϜ) a ʹΑͬͯಘΒΕͨ୯ޠ v ͷϕΫτϧ (d࣍ݩ): • ରۃͱͳΔ୯ޠϖΞ(ྫ ॵ͍-פ͍)ͷू߹ (Nݸͷ୯ޠϖΞ): • 1൪໨ͷ୯ޠϖΞʹ͓͍ͯ -z ͔Β z ʹ޲͔͏ϕΫτϧ: • ্ͷϕΫτϧΛNݸͷ୯ޠϖΞͰ·ͱΊͯߦྻͰදͨ͠΋ͷ: 5 (୯ҐϕΫτϧʹਖ਼نԽ͞Ε͍ͯΔ΋ͷͱ͢Δ)
6. ͲͷΑ͏ͯ͠୯ޠϖΞͷॏΈ(ͲͬͪΑΓ͔)ΛٻΊΔͷ͔? • dir1 , …, dirn ͷઢܗ݁߹Ͱݩͷ୯ޠΛ෮ݩ͢Δ͜ͱΛߟ͑Δɻ • ෮ݩޙͷϕΫτϧ͸ c1 dir1 + … + cn dirn ͱදͤΔͷͰɺ c1 , …, cn Λ֤୯ޠϖΞͷॏΈͱͯ͠࢖͏ɻ 6 'JHVSF
   
   C
   ΑΓҾ༻
7. ॏΈͷܭࢉʹ͍ͭͯͷಋग़ 7 T E
   º
   / /
   º
    E
   º
    ҰൠԽٯߦྻ
   EJS5
   
   Λܭࢉ͢Δͱ͜ΖͰ
   0 /
   ͔͔Δ͕ɺ
   ݱ୅ͷܭࢉػͰ͸ݱ࣮తͳ࣌ؒͰܭࢉͰ͖Δɻ
8. POLARϑϨʔϜϫʔΫͷྲྀΕ 8 P: ࣄલʹ༻ҙͨ͠Nݸͷ୯ޠϖΞ Algorithm 1 (୯ޠϖΞͷߜΓࠐΈ) O: Kݸͷ୯ޠϖΞ (K ≦ N) ୯ޠϖΞͷॏΈΛٻΊΔ (લϖʔδࢀর) ղऍΛ༩͍͑ͨ୯ޠ ՄࢹԽͳͲ
9. ࣮ݧ಺༰ • େ·͔ʹ͸ҎԼͷ2ͭɻ 1. ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷԠ༻λεΫͷੑೳධՁ (5અ) a) ݩͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͱൺֱͯͦ͠Ε΄ͲੑೳΛམͱͣ͞ղऍੑ ΋Ճ͑Δ͜ͱΛࣔ͢ͱ͍͏ҙਤɻ 2. ղऍੑͷධՁ (6અ) a) ରۃͱͳΔ2ޠؒͰͷҐஔ෇͚͕ଥ౰ͳͷ͔ʹ͍ͭͯͷධՁɻ 9
10. ࣮ݧ݁Ռ: ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷԠ༻λεΫͷੑೳධՁ 10 • 5.8અͷ݁ՌͷΈൈਮ (Լਤ)ɻ • ֤Ԡ༻λεΫͰݩͷ୯ޠϕΫτϧΛ༻͍ͨ৔߹ͷੑೳͱɺม׵ޙͷ΋ͷΛ༻͍ͨ৔߹ͷੑೳΛൺֱɻ • Word2Vec, GloVeʹରԠ͢Δ௚ઢ͕ݩͷ୯ޠϕΫτϧΛ༻͍ͨͱ͖ͷੑೳɻ • ͦΕҎ֎͸ม׵ޙͷϕΫτϧΛ༻͍ͨ৔߹ͷੑೳɻԿݸͷ୯ޠϖΞΛऔಘͨ͠ͱ͖(ԣ࣠)ͷ ਖ਼ղ཰(ॎ࣠)͔Λද͍ͯ͠Δ → λεΫʹ΋ΑΔ͕ͦΕ΄ͲੑೳΛམͱ͍ͯ͠ͳ͍͜ͱ͸ݴ͑ͦ͏ɻ 'JHVSF
    ΑΓҰ෦ൈਮ
11. ࣮ݧ݁Ռ: ղऍੑͷධՁ 11 • 6.3અͷ݁ՌͷΈൈਮ (Լਤ)ɻ • ม׵ޙͷ୯ޠϕΫτϧΛ༻͍ͯफڭʹؔ͢Δχϡʔεͷ෼ྨΛߦ͍ɺ෼ྨʹد༩ͨ͠จ ΛLIMEΛ༻͍ͯநग़͠ɺ୯ޠϖΞͷॏΈΛࣔͨ͠ɻ • (a) ͕ແਆ࿦ऀͱ൑ఆ͞Εͨ΋ͷͷ݁Ռɺ(b) ͕ΩϦετڭͱ൑ఆ͞Εͨ΋ͷͷ݁Ռɻ 'JHVSF
    ΑΓҰ෦ൈਮ
12. ࡶײ • ۃੑΛऔΓ͍ͨ୯ޠϖΞΛਓखͰೖΕΔ͜ͱ͕Ͱ͖ΔͨΊɺ υϝΠϯґଘͷจॻʹ΋ରԠͰ͖Δͱ͜Ζ͕Α͍ɻ • Good (Positive) - Bad (Negative) Ҏ্ͷۃੑΛ༩͑ΒΕΔ͜ͱ͕Ͱ͖ΔͷͰ ൚༻ੑ͕ߴ͍ɻ • ۃੑ஋͕ਖ਼نԽ͞Ε͍ͯͳ͍ͷͰͪΐͬͱѻ͍ͮΒ͍͔΋͠Εͳ͍ɻ 12
13. "What Apps Did You Use?": Understanding the Long-term Evolution of Mobile App Usage
14. ࿦จ֓ཁ • ͲͷΑ͏ͳεϚʔτϑΥϯΞϓϦ͕࢖ΘΕ͍ͯΔ͔ʹ͍ͭͯͷݚڀɻ • ΞϓϦར༻ऩूϓϥοτϑΥʔϜͷσʔλΛجʹͯ͠ɺ ௕ظؒ(6೥ؒ)ͷΞϓϦར༻ͷਐలΛॳΊͯௐࠪ͢Δ͜ͱ͕Ͱ͖ͨɻ • ௐ͔ࠪΒಘΒΕͨ஌ݟʹ͍ͭͯ͸ޙ΄Ͳ঺հɻ 14
15. ௕ظؒʹ͓͚ΔΞϓϦར༻ͷਐల͕Θ͔ΔͱԿ͕خ͍͠ͷ͔? • UXվળ΍ΞϓϦͷڝ૪ྗڧԽɺࢢ৔ػձͷ೺ѲΛޮ཰తʹਐΊΒΕΔɻ • ϚʔέςΟϯά஥հۀऀɺαʔϏεఏڙऀଆ εϚϗར༻ऀͷΞϓϦᅂ޷ͷτϥοΩϯά΍ɺେਓؾʹͳΔΞϓϦͷ༧ଌ → ΞϓϦϚʔέοτશମͷվળʹ͍ͭͯͷҙࢥܾఆͷޮ཰ԽͰ͖Δɻ • ΞϓϦ։ൃऀଆ ௕ଓ͖͍ͯ͠ΔΞϓϦΧςΰϦʔ΍ΞϓϦͷཪʹ͋Δ๏ଇΛ೺Ѳ → ΞϓϦ։ൃ΍ΞϓϦͷڝ૪ྗڧԽʹ͍ͭͯΑΓΑ͍ҙࢥܾఆΛԼͤΔɻ 15
16. ΞϓϦར༻ऩूϓϥοτϑΥʔϜ 16 • ΞϓϦར༻ऩूϓϥοτϑΥʔϜ: carat • ΞϓϦར༻ه࿥ + όοςϦʔফඅ਍அΞϓϦ • σʔλऩूʹ͋ͨͬͯɺऩू߲໨Λࣄલ௨஌ ͢ΔͳͲྙཧ໘ʹे෼഑ྀ͍ͯ͠Δɻ • σʔλऩू߲໨: • ར༻தͷΞϓϦͷϦετɺϢʔβID (ΞϓϦ ಺Ͱੜ੒)ɺόοςϦʔঢ়گɺ࣌ࠁɺλΠϜ κʔϯɺܞଳి࿩ࠃผίʔυɺ௨৴ωοτ ϫʔΫͷλΠϓ (3G, 4GͳͲ) IUUQDBSBUDTIFMTJOLJp
17. ऩूͨ͠σʔλʹ͍ͭͯ • Android൛caratͷϩάͷ͏ͪͰ3೥ΑΓ௕͍ظؒه࿥͕͋ΔϢʔβʹݶఆɻ • 1,465Ϣʔβɺ1,245,7867Ϩίʔυ (2012/01ʙ2017/12) • 2012೥ 965Ϣʔβɺ2013೥ 836Ϣʔβɺ2014೥ 1,010Ϣʔβ 2015೥ 1,197Ϣʔβɺ2016೥ 1,114Ϣʔβɺ2017೥ 916Ϣʔβ • ΞϓϦͷΧςΰϦʔ͸Google Play͔Βऔಘɻ 17
18. ෼ੳ݁Ռ: ར༻ΞϓϦͷΧςΰϦʔ਺ͷมԽ • ར༻͍ͯ͠ΔΞϓϦΛΧςΰϦʔʹ·ͱΊͯ ݟͯΈΔɻ • Ϣʔβ͋ͨΓͷΧςΰϦʔ਺ͷมભ • ୈ1ஈ֊ (2012ʙ2014೥) ೥౓͝ͱʹΧςΰϦʔ਺͕૿Ճɻ • ୈ2ஈ֊ (2014ʙ2017೥) มԽ͕͋·Γͳ͘ͳͬͨɻ • ୈ1ஈ֊ʹ͓͍ͯɺ4GωοτϫʔΫ͕ల։͞ Εͨ͜ͱʹΑͬͯΞϓϦͷछผ͕૿͑ͨͷͰ ͸ͳ͍͔ͱஶऀΒ͸ߟ͍͑ͯΔɻ 18 'JHVSF
    
    C ͔ΒҾ༻ • ར༻ΞϓϦΛΧςΰϦʔͰݟͨ৔߹ͷɺ ೥౓ผͷΧςΰϦʔ਺ͷശͻ͛ਤ • ΦϨϯδ৭ͷઢ͕தԝ஋ɺ྘৭ͷ఺͕ฏۉ
19. ෼ੳ݁Ռ: ར༻ΞϓϦ਺ͷมԽ • Ϣʔβ͋ͨΓͷར༻ΞϓϦ਺ͷมભ • ୈ1ஈ֊ (2012ʙ2014೥) ೥౓͝ͱʹΞϓϦ਺͕૿Ճɻ • ୈ2ஈ֊ (2014ʙ2017೥) ೥౓͝ͱʹΞϓϦ਺͕ݮগɻ • Ϣʔβશମͷར༻ΞϓϦͷ૯਺Ͱݟͯ΋ ୈ2ஈ֊Ͱݮগʹస͍ͯ͡Δ(Fig. 8 (d))ɻ ࣭ͷ௿͍ΞϓϦ͕Ϣʔβ͔ΒݟݶΒΕͨ ͜ͱΛҙຯ͍ͯ͠Δɻ 19 'JHVSF
    
    D ΑΓҾ༻
    ॎ࣠ͱԣ࣠ͷ$BQUJPO͕ٯʹͳ͍ͬͯΔ • ೥౓ผͷར༻ΞϓϦ਺ͷശͻ͛ਤ • ΦϨϯδ৭ͷઢ͕தԝ஋ɺ྘৭ͷ఺͕ฏۉ
20. ෼ੳ݁Ռ: ΧςΰϦʔͷར༻มԽ • ੒௕ஈ֊(ͦͷΧςΰϦʔͷΞϓϦΛ1ͭҎ ্ೖΕ͍ͯΔϢʔβͷׂ߹͕૿͑Δஈ֊)ͱ ҆ఆஈ֊(Ϣʔβͷׂ߹͕΄΅มԽ͕ͳ͍ ஈ֊)ͷ2ͭͷஈ֊͕͋Δɻ • ໌֬ʹਰୀͨ͠ΧςΰϦʔ͸ͳ͍ɻ ཁҼͷਪ࡯͸ҎԼͷͱ͓Γɻ 1. ಉҰΧςΰϦʔͷෳ਺ͷΞϓϦͷଘࡏɻ 2. ΧςΰϦʔผϢʔβίϛϡχςΟͷܗ੒ɻ 3. ଞΧςΰϦʔͱͷґଘؔ܎ͷӨڹɻ 20 Ұ෦ൈਮ • ԣ͕࣠೥౓ɺॎ͕࣠ΞϓϦͷΧςΰϦʔ • ਺஋͸֘౰ͷΧςΰϦʔͷΞϓϦΛ 1ͭҎ্ೖΕ͍ͯΔϢʔβͷׂ߹
21. ෼ੳ݁Ռ: ΧςΰϦʔ಺ͷΞϓϦͷར༻มԽ (1/2) • NEWS_AND_MAGAZINEΧςΰϦʔͱ SOCIALΧςΰϦʔͰٞ࿦͢Δɻ • ΞϓϦͷ਺ • 2014೥Λڥʹݮগɻ • ੒௕ஈ֊ → ࡟আஈ֊ͱ͍͏มભɻ • (NEWS_AND_MAGAZINE, SOCIALͩ ͚Ͱͳ͘) ͲͷΧςΰϦʔͰ΋Ұ؏ͯ͠ ಉ͡܏޲͕͋ͬͨɻ 21 'JHVSF
    ΑΓҾ༻
22. ෼ੳ݁Ռ: ΧςΰϦʔ಺ͷΞϓϦͷར༻มԽ (2/2) • ΧςΰϦʔ಺Ͱͷར༻ΞϓϦͷूதԽΛଌ Δࢦඪͱͯ͠ΤϯτϩϐʔΛ࢖͏ɻ • Τϯτϩϐʔ͕௿͍: ಛఆͷ΋ͷʹूத • Τϯτϩϐʔ͕ߴ͍: ۉҰʹར༻ • ΤϯτϩϐʔͰݟͨ৔߹ • NEWS_AND_MAGAZINEΧςΰϦʔͰ͸ ݮগ͕ݟΒΕΔɻ • SOCIALΧςΰϦʔͰ͸҆ఆஈ֊ɻ 22 'JHVSF
    ΑΓҾ༻
23. ෼ੳ݁Ռ: ΧςΰϦʔɺΞϓϦͷଟ༷ੑมԽ • ΞϓϦͷΧςΰϦʔͷଟ༷ੑมԽ (ڊࢹత) • ଟ༷ੑ (͋ΔϢʔβͷར༻ΞϓϦͷΧςΰϦʔ ू߹͕ଞϢʔβͷ΋ͷͱͲΕ͘Β͍ҟͳ͍ͬͯ Δ͔) ͕ݮ͖͍ͬͯͯΔɻ • ΞϓϦͷଟ༷ੑมԽ (ඍࢹత) • ଟ༷ੑ (ར༻ΞϓϦू߹͕ଞϢʔβͷ΋ͷͱͲ Ε͘Β͍ҟͳ͍ͬͯΔ͔) ͕૿͍͑ͯΔɻ • ڊࢹతʹ͸Ϣʔβ͸εϚϗػೳΛ୳͠ٻΊͯଞ Ϣʔβͱࣅ௨ͬͨΞϓϦͷΧςΰϦʔΛ࢖͏͜ͱ ʹͳΔɻ͔͠͠ɺඍࢹతʹ͸ᅂ޷ੑ͕ҟͳ͍ͬͯ ͯଟ༷ͳΞϓϦ͕࢖ΘΕ͍ͯΔ͜ͱʹͳΔɻ 23
24. ෼ੳ݁Ռ: ৽͍ٕ͠ज़ͷग़ݱͱΞϓϦར༻มԽ • ৽͍ٕ͠ज़͕ൃද͞ΕΔ͜ͱͰɺΞϓϦͷΧςΰϦʔ΍ΞϓϦͦͷ΋ͷ͕੒௕ஈ֊ ʹҠߦ͠͏Δ (ஶऀΒͷਪ࡯)ɻ • (ྫ1) 4GωοτϫʔΫͷల։ ϨΠςϯγʔ͕ॏཁͱͳΔΞϓϦ΍σʔλফඅ͕େ͖͍ΞϓϦΛ ͨΊΒΘͣʹར༻͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨ → ΞϓϦͷΧςΰϦʔ͕ଟ༷ʹɻ • (ྫ2) CPUͷߴੑೳԽɺεϚϗΧϝϥͷߴղ૾౓Խ ࣸਅΞϓϦͷࣸਅॲཧ΍ϨϯμϦϯά͕ϦΞϧλΠϜʹߦ͑ΔΑ͏ʹͳͬͨ → PhotographyΧςΰϦʔͷϢʔβׂ߹͕૿େɻ 24
25. ࡶײ • ௕ظؒͷϩάσʔλΛೖखͰ͖͍ͯΔͱ͜Ζ͕͍͢͝ɻ • ߴ౓ͳ෼ੳख๏Λ࢖Θͳͯ͘΋༗༻ͳ஌ݟΛಋ͖ग़͢͜ͱ͕Ͱ͖͍ͯΔɻ • ٕज़ֵ৽ͰΞϓϦͷΧςΰϦʔ΍ΞϓϦࣗମʹར༻มԽ͕ੜ͡Δͱ͍͏ߟ࡯͕ ڵຯਂ͍ɻ • ௚ۙͩͱ5GαʔϏεͷ։͕࢝͜Εʹ֘౰ͦ͠͏͕ͩɺ Կ͔มԽ͕ى͜ΔͷͩΖ͏͔ 25
26. ·ͱΊ
27. ·ͱΊ • WWW2020͔Βؾʹͳͬͨ࿦จΛ2ຊ঺հ͠·ͨ͠ɻ • The POLAR Framework: Polar Opposite Enable Interpretability of Pre- Trained Word Embeddings → ຒΊࠐΈϕΫτϧʹղऍੑΛ༩͑Δख๏ͷఏҊ • "What Apps Did You Use?": Understanding the Long-term Evolution of Mobile App Usage → εϚʔτϑΥϯ ΞϓϦͷར༻มભʹؔ͢Δ෼ੳࣄྫ 27