主成分分析(PCA)は教師なし学習のアルゴリズムで、よく次元削減のための手法として使われます。また、変数間の関係を可視化し、データの中にあるパターンや相関関係を探索的に理解してくときにもよく使われます。
このセミナーでは、主成分分析(PCA)の紹介と、さらにそれを使ってどのようなインサイトが得られるのかを様々なデータを使ったデモをもとに説明していきます。
ओੳʢPCAʣͷհExploratory Seminar #18
View Slide
EXPLORATORY
3εϐʔΧʔా צҰCEOEXPLORATORYུྺ2016ɺσʔλαΠΤϯεͷຽओԽͷͨΊɺExploratory, Inc Λ্ཱͪ͛ΔɻExploratory, Inc.ͰCEOΛΊΔ͔ͨΘΒɺσʔλαΠΤϯεɾϒʔτΩϟϯϓɾτϨʔχϯάͳͲΛ௨ͯ͠γϦίϯόϨʔͰߦΘΕ͍ͯΔ࠷ઌͷσʔλαΠΤϯεͷීٴͱڭҭʹऔΓΉɻถΦϥΫϧຊࣾͰɺ16ʹΘͨΓσʔλαΠΤϯεͷ։ൃνʔϜΛ͍ɺػցֶशɺϏοάɾσʔλɺϏδωεɾΠϯςϦδΣϯεɺσʔλϕʔεʹؔ͢Δଟ͘ͷΛੈʹૹΓग़ͨ͠ɻ@KanAugust
VisionΑΓΑ͍ҙࢥܾఆΛ͢ΔͨΊʹσʔλΛ͏͜ͱ͕ͨΓલʹͳΔ
MissionσʔλαΠΤϯεͷຽओԽ
6ୈ̏ͷσʔλαΠΤϯεɺAIɺػցֶश౷ܭֶऀɺ։ൃऀͷͨΊ͚ͩͷͷͰ͋Γ·ͤΜɻσʔλʹڵຯͷ͋ΔਓͳΒ୭͕ੈքͰ࠷ઌͷΞϧΰϦζϜΛͬͯϏδωεσʔλΛ؆୯ʹੳͰ͖Δ͖Ͱ͢ɻExploratory͕ͦ͏ͨ͠ੈքΛՄೳʹ͠·͢ɻ
ୈ1ͷ ୈ̎ͷ ୈ̏ͷϓϥΠϕʔτ(ߴ͍/ݹ͍) Φʔϓϯɾιʔε(ແྉ/࠷ઌ)UI & ϓϩάϥϛϯά ϓϩάϥϛϯά201620001976ϚωλΠθʔγϣϯ ίϞσΟςΟԽ ຽओԽ౷ܭֶऀ σʔλαΠΤϯςΟετExploratoryΞϧΰϦζϜϢʔβʔɾମݧπʔϧΦʔϓϯɾιʔε(ແྉ/࠷ઌ)UI & ࣗಈԽϏδωεɾϢʔβʔςʔϚσʔλαΠΤϯεͷຽओԽ
質問ExploratoryɹϞμϯˍγϯϓϧ UI伝えるデータアクセスデータラングリング可視化アナリティクス統計/機械学習
質問 伝えるデータアクセスデータラングリング可視化アナリティクス統計/機械学習
PCA• ڭࢣͳֶ͠शͷΞϧΰϦζϜɻ• Α࣍͘ݩݮͷख๏ͱͯ͠ΘΕΔɻݩͷσʔλʹؚ·ΕΔใྔΛۃྗࣦΘͳ͍Α͏ʹ͠ͳ͕Βগͳ͍ͷʮ࣍ݩʢมʣʯͰදݱ͠Α͏ͱ͢Δख๏ɻ• ෳͷมؒͷؔΛՄࢹԽͨ͠Γɺݩͷσʔλͷதʹ͋ΔύλʔϯಛΛՄࢹԽͨ͠Γ͢Δ͜ͱʹΑ͘ΘΕΔɻ
σʔλΒͭ͘12
$6,503Β͖ͭฏۉ$15,000$1,000
$6,503ฏۉ
15ྸڅྉCorrelation
16ڧ͍ਖ਼ͷ ૬ؔؔ૬ؔؔͳ͠ڧ͍ෛͷ ૬ؔؔ0 1-1 0.5-0.5૬ؔʢCorrelationʣ
มؒͷ૬ؔΛௐΔ
Job Levelʢ৬Ґʣvs. Monthly Incomeʢڅྉʣ
૬ؔͷߴ͍ม͕ෳ͋Δ࣌ɺશ͓ͯͯ͘͠ඞཁ͕͋Δͷ͔ʁ
ڵຯͷରʢྫɿސ٬ɺैۀһɺͳͲʣͷಛΛઆ໌͢Δ࣌ɺશͯͷมΛ͏ඞཁ͕͋Δ͔ʁ
ΧϦϑΥϧχΞͷॅຽථʢ2016ʣ
ͦΕͧΕͷ๏Ҋʹର͢ΔࢍΛՄࢹԽ੨͕ຽओౘͷ܈ɺΦϨϯδڞౘͷ܈ࢍର
ڧ͍ਖ਼ͷ૬͕ؔ͋Δ๏ҊͷΈ߹Θͤɻ੨ڧ͍ෛͷ૬͕ؔ͋Δ๏ҊͷΈ߹Θͤɻ
Cigarette Taxʢλόίͷ૿੫ʣ vs. Firearms AmmunitionʢॐثͷൢചΛ͘͢͠Δ๏Ҋʣ
Cigarette Tax vs. Firearms AmmunitionͦΕͧΕͷΧϦϑΥϧχΞͷ܈Λද͢ɻ
શͯͷมؒͷؔΛݟ͍ͯ͘ඞཁ͕͋Δͷ͔ʁ
࣮ɺ̏ͭ͘Β͍ͷมͷάϧʔϓʹΘ͚Δ͜ͱ͕Ͱ͖ΔͷͰͳ͍͔ɻ
ຽओౘܥͷ܈ͷࢧ͕࣋ߴ͍๏Ҋ
ຽओౘܥͷ܈ͷࢧ͕͍࣋๏Ҋ
ຽओౘܥͱڞౘܥͱݴ͑ͳ͍๏Ҋ
গͳ͍࣭Ͱ͋Ε͑ͯ͘ΕΔՄೳੑߴ͘ͳΔɻ
গͳ͍࣭Ͱ͋Ε͑ͯ͘ΕΔՄೳੑߴ͘ͳΔɻΞϯέʔτͷ࣭ͷΛݮΒ͢͜ͱ͕Ͱ͖Δɻ
·ͨɻɻɻ
ΑΓগͳ͍ͷมͰσʔλΛදݱ͢Δ͜ͱ͕Ͱ͖Εɺ
ΑΓগͳ͍ͷมͰσʔλΛදݱ͢Δ͜ͱ͕Ͱ͖ΕɺσʔλͷதͷؔΛՄࢹԽ͘͢͠ͳΔɻ
ΑΓগͳ͍ͷมͰσʔλΛදݱ͢Δ͜ͱ͕Ͱ͖ΕɺσʔλͷதͷؔΛՄࢹԽ͘͢͠ͳΔɻσʔλͷதͷؔੑಛΛཧղ͘͢͠ͳΔɻ
σʔλΛՄࢹԽ͢Δ͍͍࣌ͨͯͷ߹2࣍ݩʢX࣠ɺY࣠ʣͷεϖʔεͰߦ͍ͬͯΔɻ
ओੳ
PCA(Principal Component Analysis)ओੳ
σʔλΛͱʹ͓ޓ͍͕૬ؔ͠ͳ͍ಠཱͨ͠৽͍͠มʢ࣍ݩʣΛਓతʹ࡞ΓɺͰ͖Δ͚ͩগͳ͍ͷมͰݩͷશͯͷมʢ࣍ݩʣͰද͍ͯͨ͠ใΛ࠷େݶදݱ͠Α͏ͱ͢ΔΞϧΰϦζϜɻओੳʢPCAʣ
࣍ݩͷ࡞Γํ1. શσʔλͷɺଟ࣍ݩۭؒதͰͷॏ৺ΛٻΊΔ2. ॏ৺͔ΒͷΒ͖͕ͭ࠷େ͖͍ํΛٻΊΔʢୈҰʣ3. ୈҰͱަ͢ΔํͷதͰɺΒ͖͕ͭ࠷େ͖͍ํΛٻΊΔʢୈೋʣ4. ୈҰɺୈೋͱަ͢ΔํͷதͰɺΒ͖͕ͭ࠷େ͖͍ํΛٻΊΔʢୈࡾʣ5. ҎԼɺ࣍ݩ͕ͳ͘ͳΔ·Ͱ܁Γฦ͠ɻ1 2 3 4
ྫ• US Baby σʔλ• ΧϦϑΥϧχΞͷॅຽථσʔλ• ैۀһσʔλ
US Babyʂ
·ͣMother_AgeʢͷྸʣͱFather_Ageʢͷྸʣͷ2ͭͷมΛ1ͭͷ࣍ݩʢมʣͰද͢ͱͨ͠Βɻɻɻ
·ͣMother_AgeʢͷྸʣͱFather_Ageʢͷྸʣͷ2ͭͷมΛPCAʹ͔͚ͯΈΔɻ
·ͣࢄਤΛͬͯ2࣍ݩͰදݱɻ
ਅΜதʹʮઢܗճؼʯͷτϨϯυϥΠϯΛඳ͍ͯΈΔɻ
ճసͤ͞Δ
৽͘͠Ͱ͖ͨʮX࣠ʯΛͱʹͦΕͧΕͷͪΌΜΛߟ͑ͯΈΔɻ
X࣠ͷӈͷํʹߦ͘ͱͷྸͷྸߴ͘ͳΔɻ
ٯʹɺX࣠ͷࠨͷํʹߦ͘ͱͷྸͷྸ͘ͳΔɻ
ͷྸͱͷྸ͕ߴ͍૬ؔؔʹ͋Δͱ͖ɺ͜ͷ৽͍͠ʮX࣠ʯͷΈΛݟ͍ͯΕɺͷྸͱͷྸͷ2ͭΛͬͯઆ໌Ͱ͖ͨͷͱಉ͡ϨϕϧͷใΛઆ໌Ͱ͖ΔͷͰͳ͍͔ɻ
͜Ε͕جຊతͳPCAͷߟ͑ํɻ
Let’s Try!
࣮ࡍʹɺͷྸͱͷྸΛPCAʹ͔͚ͯΈΔɻ
ߴ͍ͷྸ͍
ߴ͍ͷྸ͍
ߴ͍PC1͍PC1Λݟ͍ͯΕͷྸͱͷྸͷߴΛઆ໌Ͱ͖Δɻ
ߴ͍PC2͍PC2Λ͏ͱPC1Ͱઆ໌Ͱ͖ͳ͔ͬͨΒ͖ͭΛઆ໌Ͱ͖Δɻ
PC2PC188ˋPC1͚ͩͰσʔλͷΒ͖ͭͷ90ˋۙ͘Λઆ໌Ͱ͖Δɻ
PC2PC1100%PC1ͱPC2ͰσʔλͷΒ͖ͭͷ100ˋΛઆ໌Ͱ͖Δɻ
ͦΕͧΕͷσʔλʢBabyʣͱͷྸ/ͷྸͷؔΛΘ͔Γ͘͢͢ΔͨΊʹ2ͭͷྸ͕ೖͬͨྻΛ࡞ͬͯϥϕϧͱׂͯ͠ΓͯΔɻ
͜ͷ͋ͨΓͷBabyͷྸͱͷྸ͕ߴ͍ɻߴ͍͍
͜ͷ͋ͨΓͷBabyͷྸͱͷྸ͕͍ɻߴ͍͍
͜ͷ͋ͨΓͷBabyͷྸͱͷྸ͕ฏۉʹ͍ۙɻߴ͍͍
͜ͷ͋ͨΓͷBabyͷྸ͕͘ɺͷྸ͕ߴΊɻߴ͍͍ ߴ͍͍
͜ͷ͋ͨΓͷBabyͷྸ͕ߴ͘ɺͷྸ͕͍ɻߴ͍͍ ߴ͍͍
͜ͷ͋ͨΓͷBabyͷྸ͕ฏۉʹۙ͘ɺͷྸ͕ߴ͍ɻߴ͍͍ ߴ͍͍
भʹΑͬͯͷྸͷΒ͖ͭʹ͕ࠩ͋Δɻ
ϫγϯτϯD.C.ϫΠΦϛϯάʢWyomingʣ͍ߴ͍
ϫγϯτϯD.C. (Blue)ͱϫΠΦϛϯά (Orange)͚ͩʹߜͬͯPCAΛ͔͚Δɻ
ϫΠΦϛϯάͷྸͷྸ͍
D.C.ͷྸͷྸ͍
σʔλ͕ूੵ͍ͯ͠Δ࣌ɺಁ໌Λௐઅ͢Δͷ͕͓͢͢Ίɻ
ͦΕͰɺ͏Ұͭͷมɺweight_poundsʢମॏʣΛՃ͑ͯΈ·͠ΐ͏ɻ
ͷྸͷྸಉ͡ํΛ͍͍ͯΔɻ͜Ε͜ͷ2ͭͷม͕ڧ͍ਖ਼ͷ૬ؔؔʹ͋Δ͔Βɻ
ͷྸͱͷྸڧ͍ਖ਼ͷ૬ؔؔʹ͋Δɻ
ͷྸͱͷྸͷํʹରͯ͠ɺମॏʢweight_poundʣ֯ʹҧ͏ํΛ͍͍ͯΔɻମॏͱͷྸ͘͠ͷྸ૬͕ؔؔͳ͍͔Βɻ
ͪΌΜͷମॏͱͷྸͷؒʹ΄΅૬ؔؔͳ͍ɻ
PC1ͷྸͱͷྸͷΒ͖ͭΛද͠ɺͱͷσʔλʢͷྸͱͷྸͱମॏʣͷΒ͖ͭͷ60ˋۙ͘Λઆ໌Ͱ͖͍ͯΔɻHighPC1Low
HighPC2LowPC2ମॏͷΒ͖ͭΛද͠ɺͱͷσʔλʢͷྸͱͷྸͱମॏʣͷΒ͖ͭͷ33ˋΛઆ໌Ͱ͖͍ͯΔɻ
PC1ͱPC2Λ߹ΘͤΔͱݩͷσʔλͷΒ͖ͭͷ92%΄ͲΛઆ໌Ͱ͖͍ͯΔɻ
ͷྸͱͷྸฏۉ͋ͨΓɻମॏ͔ͳΓߴ͍ɻ
ͷྸͱͷྸฏۉ͋ͨΓɻମॏ͔ͳΓ͍ɻ
ͷྸͱͷྸߴ͍ɻମॏฏۉ͋ͨΓɻ
ͷྸͱͷྸ͍ɻମॏฏۉ͋ͨΓɻ
ྫ̎ΧϦϑΥϧχΞॅຽථ
2016ͷΧϦϑΥϧχΞͷ܊͝ͱͷ๏Ҋͷථ݁Ռ
ओੳ(PCA)ͷΞφϦςΟΫεΛ࡞• λΠϓͰओੳ(PCA)Λબ͢Δɻ• มͷྻΛΫϦοΫ
શͯͷͷྻΛબ
PC173%ͷσʔλͷΒ͖ͭΛઆ໌Ͱ͖͍ͯΔɻ
PC215%ͷσʔλͷΒ͖ͭΛઆ໌Ͱ͖͍ͯΔɻ
• ϥϕϧͷྻʹCOUNTY_NAMEΛબɻ• ࣮ߦΛΫϦοΫɻ܊ͷ໊લΛϥϕϧͱͯ͠ද͍ࣔͨ͠
܊ͷ໊લΛνϟʔτ্ʹදࣔ͢Δɻ
܈͝ͱͷࢧ࣋ౘΛ৭ʹׂΓͯΔ• ৭ͰׂʹPARTY_NAMEΛબɻ• ࣮ߦΛΫϦοΫɻ
ຽओౘ(Democratic)͕੨৭ɺڞౘ(Repunlican)͕ΦϨϯδʹ৭͚͞Εͨɻ
ڞౘຽओౘ
PC1ຽओౘͱڞౘͷҧ͍ʹΑΔΒ͖ͭͷҧ͍Λදݱɻ
PC2ຽओౘͱڞౘͷҧ͍Ͱઆ໌Ͱ͖ͳ͍Β͖ͭΛද͍ͯ͠Δɻ
ೋͭͷओͰ88%ͷใ͕આ໌ग़དྷ͍ͯΔɻຽओɾڞ
ैۀһσʔλ
શͯͷͷมΛબͯ͠PCAΛ࣮ߦ͢Δɻ
͜ͷ̎ͭͷάϧʔϓͷมؒʹશ͘૯͕ؔͳͦ͞͏ͩɻ
͜ͷ࠷ॳͷ2ͭͷ࣍ݩͰͱͷσʔλͷΒ͖ͭͷ31ˋ͕આ໌Ͱ͖Δɻ
PercentSalaryHikeͱPerformanceRatingͷมΛ֎ͯ͠ΈΔɻ
࠷ॳͷ2ͭͷ࣍ݩͰݱࡏબ͞Ε͍ͯΔมͷΒ͖ͭͷ31ˋΛදݱͰ͖͍ͯΔɻ
৬छʢJob RoleʣΛ৭ʹׂΓͯΔɻ
ϚωʔδϟʔʢManagerʣͱϦαʔνɾσΟϨΫλʔʢResearchDirector ʣڅྉʢ Monthly Incomeʣͱۈଓʢ Working YearsʣͳͲͷมͰߴ͍Λͱ͍ͬͯΔɻ
Lab TechnicianɺSales RepɺResearch Scientistڅྉʢ MonthlyIncomeʣͱۈଓʢ Working YearsʣͳͲͷมͰ͍Λͱ͍ͬͯΔɻ
࠷ޙʹ
ͳͥPCAΛ͍͍ͨʁ• ࣍ݩݮͷͨΊɻ• ଟ͘ͷมΛ࣋ͭσʔλΛՄࢹԽ͘͢͢͠ΔͨΊɻ• σʔλͷதʹ͋ΔύλʔϯಛΛཧղ͘͢͢͠ΔͨΊɻ
Q & A
EDAαϩϯ
୳ࡧతσʔλੳΛ࣮ࡍʹΓͳ͕ΒΦϯϥΠϯͰֶͿ
ࣗసंͷϨϯλϧσʔλ
σʔλͷ֓ཁ
σʔλͷ֓ཁ• Date - • Season - قઅ• Month - ݄• Hour - ࣌ؒ• Holiday - 0:௨ৗɺ1:ॕ• Weekday - ༵(1:༵ ~ 7:༵)• Workingday - 0:ٳɺ1:ฏ• Weathersit - 1:շɺ2:ಶΓɺ3:খӍখઇɺ4:େӍେઇ• Temp - ઁࢯͷԹ• Atemp - ઁࢯͷମײԹ• Hum - ࣪• Windspeed - ෩• Casual - ΧδϡΞϧϢʔβʔͷϨϯλϧ• Registered - ొࡁΈϢʔβʔͷϨϯλϧ• Count - ΧδϡΞϧͱొࡁΈΛؚΉϨϯλϧͷ߹ܭ
αϯϓϧͷ࣭• ି͠ग़݅͠Կ࣌ʹଟ͘ͳΔ͕͋Γ·͔͢ʁ• Թͱି͠ग़݅͠ʹͲͷΑ͏ͳؔੑ͕͋Γ·͔͢ʁ• ΧδϡΞϧϢʔβʔͱొࡁΈϢʔβʔͷ૿ݮʹԿ͕Өڹ͍ͯ͠·͔͢ʁ
https://exploratory.io/tag/edasalon
https://twitter.com/hashtag/EDASalon
ͥͻΈͳ͞ΜEDASalonΛͬͯ࿅शͯ͠Έ͍ͯͩ͘͞ʂ
&%"4BMPOͷϖʔδͷ୳͠ํ
ݕࡧ
ৄࡉͪ͜Β͔Βʂ&%"4BMPO୳ࡧతσʔλੳΛΈΜͳͰֶͿIUUQTCJUMZ98LG3&%"4BMPOͷࢀՃํ๏IUUQTCJUMZ-4PNF,URL
• ϓϩάϥϛϯάͳ͠RݴޠͷUIͰ͋ΔExploratoryΛੳπʔϧͱͯ͠༻͢ΔͨΊडߨதɺϏδωεͷΛղܾ͢ΔͨΊʹඞཁͳσʔλαΠΤϯεͷख๏ͷशಘʹ100ˋूதͰ͖Δ• πʔϧͷ͍ํͰͳ͘ɺੳख๏ͷशಘݱͰ͑Δੳख๏ΛάϧʔϓԋशΛ௨࣮ͯ͠ࡍʹखΛಈ͔͠ͳ͕Βɺʹ͚ͭͯߦ͘͜ͱ͕Ͱ͖Δɻ• ࢥߟྗͱεΩϧͷशಘσʔλαΠΤϯεͷεΩϧशಘ͚ͩͰͳ͘ɺσʔλੳʹඞཁͳࢥߟྗशಘͰ͖Δಛ
࿈བྷઌϝʔϧ[email protected]ΣϒαΠτhttps://ja.exploratory.ioϒʔτΩϟϯϓɾτϨʔχϯάhttps://ja.exploratory.io/training-jpTwitter@KanAugust