Data Science Summit 2012 レポート

Hadoop ソースコードリーディング第10回での発表資料です。2012年5月23日にラスベガスで開催された Data Science Summit 2012 の講演内容をレポートにまとめました。

Transcript

1. Data  Science  Summit  2012  Ϩϙʔτ   ૲ಽ
   ত඙  (@nagix)   EMC  Greenplum  
2. ࣗݾ঺հ   •  ૲ಽ
   ত඙  (@nagix)   •  EMC  Greenplum  ςΫχΧϧɾίϯαϧλϯτ  
3. ίί  
5. Data  Science  Summit  2012  ͱ͸   •  2012೥5݄23೔։࠵ʢEMC  World  2012ซઃʣ   •  ࠓ೥2ճ໨   •  ΞΧσϛΞɺιʔγϟϧΤϯλʔϓϥΠζɺε λʔτΞοϓɺެڞηΫλͳͲ֤քͷϦʔμʔ ͕ωλΛ࣋ͪدΓʮData  Drivenͳੈքʯ΁ͷಓ ےΛࣔ͢ू͍   •  Ωʔϊʔτɺࣄྫ঺հɺύωϧΛؚΉܭ9ͭͷ ηογϣϯ  
6. Opening  Keynote:  What  We  Can   Predict  About  PredicJon   •  ߨԋऀ   – Nate  Silver   ౷ܭઐ໳ՈɾNY  Timesͷ੓࣏ϒϩά ʮFiveThirtyEight.comʯઃཱऀɾϥΠλʔɻ 2008೥ถେ౷ྖબͷ༧ଌͰ༗໊ɻ2009 ೥TimeࢽʮੈքͰ࠷΋Өڹྗͷ͋Δ100 ਓʯ •  ݱ࣮ͷσʔλʹ༧ଌϞσϧΛద༻͢Δࡍͷ ೉͠͞ͱͦͷӨڹʹ͍ͭͯܯࠂ   •  ͍͔ͭ͘ͷ෼ੳࣄྫ  
7. Opening  Keynote:  What  We  Can   Predict  About  PredicJon  
8. Opening  Keynote:  What  We  Can   Predict  About  PredicJon  
9. Opening  Keynote:  What  We  Can   Predict  About  PredicJon  
10. Opening  Keynote:  What  We  Can   Predict  About  PredicJon   •  ݚڀऀ͸ෆ࣮֬ੑ΍ϦεΫΛแؚͨ͠ɺݱ࣮ తͳ༧ଌϞσϧΛ։ൃ͢΂͖   – ྫ:  ࠷ۙͷϊʔεμίλभNorth  ForksͷߑਫͰ͸ ؾ৅༧ଌ͸51ϑΟʔτͷఅ๷ߴʹର͠49ϑΟʔτ ͷਫҐ্ঢΛ༧ଌ͕ͨ͠ɺ9ϑΟʔτͷޡࠩΛߟ ྀ͠ͳ͔ͬͨ   – ྫ:  Deep  BlueͱGary  KasparovͷνΣεରઓͰ͸ɺ Kasparov͸Deep  BlueͷόάΛ࡞ઓͱצҧ͍͠ɺ ࠷ޙ·ͰʮϊΠζʯΛऔΓআ͚ͳ͔ͬͨ  
11. Roundtable:  Economic,  PoliJcal,  &   Societal  Roles  of  Social  Data   •  ύωϦετ   – Jeffrey  Davitz:  SolariatઃཱऀɾCEO   – Dan  Neely:  Networked  Insightsઃཱऀ,ɾCEO   – Andreas  Weigend:  ελϯϑΥʔυେSocial  Data   LabɾݩAmazon.com  Chief  ScienJst   – Nathan  Wolfe:  Global  Viral  ForecasJngઃཱऀɾ CEOɾελϯϑΥʔυେ٬һڭत •  ιʔγϟϧσʔλ͔ΒͲͷΑ͏ʹՁ஋Λݟͭ ͚ग़͢͜ͱ͕Ͱ͖Δ͔ʁ৽͍͠ϧʔϧͱ͸ʁ  
12. Roundtable:  Economic,  PoliJcal,  &   Societal  Roles  of  Social  Data  
13. Roundtable:  Economic,  PoliJcal,  &   Societal  Roles  of  Social  Data   •  Ϣʔβʔͷʮquery-­‐like  intentʯΛࣗવݴޠղੳ ͱػցֶशͰଊ͑Δ   •  Solariat͸ग़൛ۀքͱڠۀ͠ɺtwiberϢʔβʔͷ ڵຯͱҰக͢ΔίϯςϯπΛ഑৴͢ΔαʔϏεΛ ఏڙ   –  ΫϦοΫεϧʔ཰͸20%௒ɺεύϜѻ͍΋͞Εͳ͍   •  ίϯςϯπ͔ΒίϯςΩετ΁ɺίϯόʔδϣϯ͔ ΒΧϯόηʔγϣϯ΁ɻΧϯόηʔγϣϯ͕Ϛʔ έοτΛܗ੒͢Δ  
14. Big  Data  TransformaJon   •  ߨԋऀ   –  John  Brownstein:  HealthMapڞಉઃཱऀɾ Harvard  Medical  School।ڭत   –  Nora  Denzel:  Intuit  Big  DataϚʔέςΟϯά ιʔγϟϧSVP   –  Oren  Etzioni:  ϫγϯτϯେڭतɾDecide.com ڞಉઃཱऀ   –  Tarek  Kamil:  InfoMoJon  Sports  Technologies ΤάθΫςΟϒσΟϨΫλʔ   –  Nate  Silver:  ౷ܭઐ໳ՈɾFiveThirtyEight.com ϥΠλʔ
15. Big  Data  TransformaJon  –  HealthMap  
16. Big  Data  TransformaJon  –  HealthMap   •  ιʔγϟϧωοτϫʔΫ͸ϞϊΛചΔϚʔέο τ͚ͩͰ͸ͳ͘ɺֶशɾτϨϯυͷऩूɾੈքΛ ࢧԉ͢Δ৔Ͱ΋͋Δ   •  1996೥Ͱ͸΢ΠϧεͷΞ΢τϒϨΠΫΛݕ஌ ͢Δͷʹ160೔͔͔͕͍ͬͨ·Ͱ͸20೔΁   •  HealthMap͸ੈք5ສ౎ࢢ͔Βͷ৘ใΛҰ೔ 2000ճσʔλϕʔεͷߋ৽Λߦ͍ɺજࡏతͳ ΢Πϧεͷݕ஌ʹඋ͍͑ͯΔ  
17. Big  Data  TransformaJon  –  Intuit  
18. Big  Data  TransformaJon  –  Intuit   •  ʮBig  Data  for  The  Lible  Guyʯ:  Big  DataͷԸܙ ͸εϞʔϧϏδωε͔ΒίϯγϡʔϚ·Ͱ౸ ୡ  –––  ྫ:  Mint.com   – ݸਓ͸େ͖ͳίϛϡχςΟͱൺֱ͍ͨ͠   – εϞʔϧϏδωε͸ڝ߹ͱൺֱͯ͠ࢧग़͸Ͳ͏͔ɺ ޏ༻Λࠓ૿΍͢΂͖͔ɺച্͛Λ૿΍͢΂͖͔ ݮΒ͢΂͖͔Λ஌Γ͍ͨ   •  σʔλͷྗʹΑΓɺ͜Ε·Ͱʹ͸ͳ͍৽ͨͳ ࣭໰ͱ౴͕͑ੜ·Εɺݹ͍΋ͷΛۦஞ͢Δ  
19. Big  Data  TransformaJon  –  InfoMoJon   Sports  Technologies  
20. Big  Data  TransformaJon  –  InfoMoJon   Sports  Technologies   •  όεέοτϘʔϧʹ࢓ࠐΜͩηϯαʔͰ͋Β ΏΔϘʔϧͷಈ͖ΛτϥοΫ   – ό΢ϯυɺΠϯύΫτɺεϐϯϨʔτɺγϡʔτͷހɺ ͞Βʹ͸ݸʑͷϓϨʔϠʔͷ਎ମೳྗ·Ͱ   •  ϢʔεϦʔά΍େֶͰߴ͍τϨʔχϯάޮՌ  
21. Big  Data  TransformaJon  –  Decide.com  
22. Big  Data  TransformaJon  –  Decide.com   •  Ձ֨ൺֱαΠτ&ΞϓϦ   •  ιʔγϟϧσʔλΛجʹɺ5000঎඼ͷൢചۀ ऀ͕ܾͯ͠ఏڙͰ͖ͳ͍ΦϯϥΠϯγϣοϐϯ άͷങ͍࣌ɺ଴ͪ࣌Λڭ͑ͯ͘ΕΔ   – ങ͍࣌:  Ձ͕֨ఈʹ͍ۙ   – ଴ͪ࣌:  Ձ͕֨Լ͕Γͦ͏  or  ৽Ϟσϧ͕ग़ͦ͏   •  ཧ༝ͷৄࡉ΍ങ͏΂͖Ձ֨·Ͱ໌Β͔ʹͯ͠ ͘ΕΔͨΊɺফඅऀ͸ߦಈΛͱΓ΍͍͢  
23. AnalyJcs  Maturity:  Master  or  Novice?   •  ߨԋऀ   – Michael  Chui   ϚοΩϯθʔɾάϩʔόϧɾΠϯεςΟ ςϡʔτγχΞϑΣϩʔɻʮBig  data:  The   next  fronJer  for  innovaJon,  compeJJon   and  producJvityʯϨϙʔτڞಉஶऀ •  ࣍ੈ୅ͷ࿑ಇऀ͕ߴ͍ڝ૪ྗΛ਎ʹ͚ͭΔ ͨΊʹɺڭҭػؔ͸౷ܭ෼ੳΛΑΓॏࢹ͢Δ ඞཁ͕͋Δ  
24. AnalyJcs  Maturity:  Master  or  Novice?  
25. AnalyJcs  Maturity:  Master  or  Novice?   •  ʮ2010  NaJonal  Academies  studyʯʹΑΔͱɺ Science͓ΑͼEngineeringͷଔۀੜͷൺ཰͸ 29ͷ෋༟ࠃͷதͰΞϝϦΧ͸27Ґ   •  ܭࢉ๏Ͱ͸ͳ͘ɺ౷ܭΛڭ͑Δ΂͖ɻϏδωε Ͱඍ෼ੵ෼ͳΜ͔࢖͏͔ʁ৚݅෇͖֬཰ɺ બ୒όΠΞεɺͦͷଞσʔλαΠΤϯε͕ ΋ͬͱඞཁ   •  ͜ͷΑ͏ͳٕज़తͳ՝୊Λղܾ͢Δ͜ͱ͸૊ ৫Λ·͕ͨͬͯਓʑͷߟ͑ํΛม͑ͯߦ͘  
26. AnalyJcs  Maturity:  Master  or  Novice?   •  MGIϨϙʔτʮBig  data:  The  next  fronJer  for   innovaJon,  compeJJon  and  producJvityʯ   – ΞϝϦΧͷશ࢈ۀʹ͓͚Δैۀһ਺1,000ਓҎ্ ͷاۀͰ͸ɺগͳ͘ͱ΋200TBҎ্ͷσʔλΛ๊ ͑Δ(2009೥)   •  ඞཁͳͷ͸ϕετϓϥΫςΟεͰ͸ͳ͘ʮωΫε τϓϥΫςΟεʯ   •  ϏδωεϦʔμʔɺڭҭऀɺҰൠࢢຽ͸Big   DataͷՁ஋ͱ՝୊ʹ͍ͭͯҙࣝ͢΂͠  
27. Keynote:  NavigaJng  the  Road  from  Business   Intelligence  to  Data  science:  Trials  and  Triumphs   •  ߨԋऀ   – Piyanka  Jain   Aryng૑ۀऀɾࣾ௕ɾCEOɻ෼ੳؔ࿈ͷϏδ ωεΧϯϑΝϨϯεͰͷߨԋଟ਺ɻAryng ͸Ϗδωε෼ੳͷτϨʔχϯάΛఏڙ͢Δ اۀɻGoogleɺeBayɺPaypalͳͲ΋ސ٬ •  BIͷݶքͱ͸ʁ
    σʔλαΠΤϯεͷԸܙΛड ͚Δͷʹඞཁͳ΋ͷ͸ʁ
    σʔλαΠΤϯεΛ औΓೖΕΔ͜ͱͰݱ৔͸Ͳ͏มΘΔ?ʁ  
28. Keynote:  NavigaJng  the  Road  from  Business   Intelligence  to  Data  science:  Trials  and  Triumphs  
29. Keynote:  NavigaJng  the  Road  from  Business   Intelligence  to  Data  science:  Trials  and  Triumphs   •  ʮHow  do  you  navigate  from  B.I.  to  B.Iʯ   – Business  Intelligence͔ΒϏδωεΠϯύΫτ΁   – Data  Savvy͔ΒIntelligence  Heavy΁   •  σʔλαΠΤϯςΟετ͚ͩͰ͸ͳ͘ɺ͢΂ͯ ͷਓ͕σʔλΛجʹܾͨ͠அͷํ๏ʹ͍ͭͯ ཧղΛਂΊΔ΂͖   – ੈք͸มԽ͓ͯ͠ΓܾஅͷࠜڌͱͳΔσʔλΛ΋ ͭ͜ͱ͸nice-­‐to-­‐haveͰ͸ͳ͘ඞਢཁ݅  
30. Keynote:  NavigaJng  the  Road  from  Business   Intelligence  to  Data  science:  Trials  and  Triumphs  
31. Panel:  From  Raw  Data  to  Value  Data   •  ύωϦετ   – Michael  Brown:  comScore  CTO   – Bob  Flores  –  Applicologyઃཱऀɾࣾ௕ɾݩ CIA  CTO   – Jeremy  Howard:  Kaggleࣾ௕ɾChief   ScienJst   – Tony  Jebara  –  Sense  Networksڞಉઃཱ ऀɾίϩϯϏΞେ।ڭत   •  Big  Data͸ΰϛɺ͔ͦ͠͠ͷதʹՁ஋͕͋Δ  
32. Panel:  From  Raw  Data  to  Value  Data  
33. Panel:  From  Raw  Data  to  Value  Data   •  ϓϥΠόγʔͷ໰୊   – IntuitͰ͸ϕετϓϥΫςΟεͷίϯηϯαεΛ૊ ৫ؒͰڞ༗   – ಗ໊σʔλʹա౓ͷ৴པΛ͓͘͜ͱʹ͸஫ҙ––– ιʔγϟϧϝσΟΞͰ͸৘ใ͕ؔ࿈͚ͮΒΕͯݸ ਓͷಛఆ͸Մೳ   •  σʔλ඼࣭ͷ໰୊   – ҟৗ஋Λআ֎͢Δ͜ͱ͸ෆཁɺ࣌ͱͯ͠࠷΋ڵຯ ਂ͍σʔλʹͳΓಘΔ  
34. Panel:  From  Raw  Data  to  Value  Data   •  “Data  exhaust”ͷ໰୊   – Data  exhaust:  ݸਓ͕೔ʑΠϯλʔωοτ্Ͱߦ͏ ༷ʑͳΠϯλϥΫγϣϯʹؔ͢Δσʔλͷू߹   – ݱࡏͰ΋ٞ࿦ͷ໰୊:  Data  exhaustಛ༗ͷόΠΞ εʹ஫ҙ   – ૬ؔͱҼՌؔ܎ͷ۠ผ͸େม೉͍͠   – อݥձࣾͰData  exhaust͔Β࠷దͳอݥྉΛ୳ Δ࣮ݧΛߦ͕ͬͨɺ݁ՌతʹաڈͷτϥϯβΫ γϣϯσʔλΛ׆༻͢Δํ͕༗ޮͩͬͨ  
35. Panel:  Tapping  Into  the  Pulse  of  the   Data  Science  Movement   •  ύωϦετ   – Joe  Hellerstein:  UCόʔΫϨʔڭत   – Jure  Leskovec:  ελϯϑΥʔυେॿڭत   – Hadley  Wickham:  ϥΠεେॿڭत   – Chris  Wiggins:  ίϩϯϏΞେॿڭत •  Big  Dataʹؔ͢ΔେֶɾݚڀػؔͰͷऔΓ૊ Έ  
36. Panel:  Tapping  Into  the  Pulse  of  the   Data  Science  Movement  
37. Panel:  Tapping  Into  the  Pulse  of  the   Data  Science  Movement   •  UCόʔΫϨʔͱελϯϑΥʔυͷݚڀίϛϡχ ςΟͰ͸1999೥ΑΓΠϯλʔωοτɾSNSͷ׆ಈ ΛάϥϑϕʔεͰ؍࡯͠ଓ͚͍ͯΔ   •  ϢʔβʔΤΫεϖϦΤϯε͕࣍ͷ2೥ͷνϟϨ ϯδɻ͍͔ʹਓʑͷੜ࢈ੑΛߴΊΔ͔͕ݤ   •  ҒେͳData  ScienJst͸݁Ռ͚ͩͰ͸ͳ͘ε τʔϦʔͰޠΕΔɻΞΧσϛʔքͰ΋ಉ͡ɻϓϩ ύΨϯμ͡Όμϝ͚ͩͲɻίϛϡχέʔγϣϯ͕ ॏཁ  
38. Keynote:  Data  VisualizaJon  at  the   Point  of  Influence   •  ߨԋऀ   – Adam  Bly   Seed૑ۀऀɾCEOɻՊֶతͳΞϓϩʔνͰ ٕज़ίϯαϧςʔγϣϯΛఏڙ   •  σʔλ͔ΒಘΒΕͨ஌ݟΛ͍͔ʹύϫϑϧͳ ετʔϦʔʹม׵͢Δ͔ʁ஌ݟΛ໌Β͔ʹ͢ Δ͚ͩͰͳ͍͔͘ʹཧղΛܹࢗ͢Δ͔ʁ  
39. Keynote:  Data  VisualizaJon  at  the   Point  of  Influence  
40. Keynote:  Data  VisualizaJon  at  the   Point  of  Influence   •  ஍ٿ্ͷ70ԯਓ͕ՊֶతڭཆΛ਎ʹ͚ͭΔ ʹ͸Ͳ͏͢Ε͹Α͍͔ʁ   ੈքதͷෳࡶͳग़དྷࣄΛͲ͏΍ͬͯՊֶతɺ ܦݧతɺཧੑతʹߟ͑Δ͜ͱ͕Ͱ͖Δ͔ʁ   →޻ܳɺೝ஌ϓϩηεɺσβΠϯπʔϧ͕ॏ ཁ   •  ϏδϡΞϥΠθʔγϣϯͷख๏͸৽͘͠ͳ͘ͱ΋ ʮ৽͍͠Data͸৽͍͠InsightΛ΋ͨΒ͢ʯ  
41. Keynote:  Data  VisualizaJon  at  the   Point  of  Influence  
42. Closing  Keynote:  The  Promise  and  Peril  in   the  Human/  Technology  RelaJonship   •  ߨԋऀ   – Jonathan  Harris   ϓϩάϥϚʔɾΞʔςΟετɾετʔϦʔς ϥʔɻੈքܦࡁϑΥʔϥϜ2009  Young   Global  Leadersɻ࡞඼͸NY  MOMAৗઃల ࣔɻTEDΧϯϑΝϨϯεεϐʔΧʔ •  ਓؒͱٕज़ͷΑΓྑ͍ؔ܎ɺσʔλαΠΤϯ ε͕࣋ͭྗͰࣾձΛܗ࡞Δͱ͖ɺϏδωεͩ ͚Ͱ͸ͳ͘ਓʑʹରͯ͠΋Α͍׆༻Λ  
43. Closing  Keynote:  The  Promise  and  Peril  in   the  Human/  Technology  RelaJonship  
44. Closing  Keynote:  The  Promise  and  Peril  in   the  Human/  Technology  RelaJonship   •  σʔλ͕ϢϏΩλεʹͳΓ༧ଌ෼ੳ΍Ϗδϡ ΞϥΠθʔγϣϯ͸৽͍͠஌ݟ΍Ϗδωεػ ցΛ΋ͨΒ͕͢ɺ՝୊ͱͯ͠࢒Δͷ͸ͦͷετ ϦʔΛ͍͔ʹਓʑʹ఻͑Δ͔   •  ਓؒݸʑͷܦݧͱσʔλͷೝ஌Λଚॏ͠ɺݚ ڀऀऀ͸༷ʑͳπʔϧ΍ख๏Λ׆༻͢Δ͜ͱ ͕ॏཁ  
45. Closing  Keynote:  The  Promise  and  Peril  in   the  Human/  Technology  RelaJonship  
46. ·ͱΊ   •  ͕͢͞ʹΞϝϦΧɺ͜ͷ෼໺Ͱͷ౤ࢿ͸ճΓ࢝ Ί͍ͯΔײ͸͋Γ·͢   •  ෼ੳϓϩηε΍Ϗδωε׆༻͸ɺاۀจԽ΍ ૊৫࿦ʹߦ͖͔ͭ͘ͱɻఈ্͛େࣄ   •  ϏσΦ͸ͪ͜ΒͰݟΒΕ·͢   – hbp://www.greenplum.com/datasciencesummit/