DataHubを活用した集計基盤の構築過程と工夫したこと

Transcript

1. Data HubΛ׆༻ͨ͠ ूܭج൫ͷߏஙաఔͱ޻෉ͨ͜͠ͱ SESSION 03
2. ࣗݾ঺հ Ճຯ
   ਅʢ,".*
   .",050ʣ
   ܦྺ
   ɾ೥͔Β8FCΤϯδχΞͱͯ͠ΩϟϦΞΛελʔτɻɹ
   ɾ೥݄ʹαʔόʔαΠυΤϯδχΞͱͯ͠ϠϓϦೖࣾ
   ɾ%BUB
   )VC
   "1*
   ϓϩδΣΫτ
   
   ɾूܭج൫Λ༻͍ͨ"1*ͷ։ൃͳͲΛ୲౰
3. INDEX 01 02 03 Data Hub APIϓϩδΣΫτͱ࡞੒ͨ͠ूܭॲཧ ैདྷͷసૹॲཧͷ՝୊ ࠾୒ͨ͠ΞʔΩςΫνϟͱ՝୊ղܾ 04 ·ͱΊ
4. %BUB
   )VC
   "1*ϓϩδΣΫτͱ
   ࡞੒ͨ͠ूܭॲཧ
5. :BQQMJ
   %BUB
   )VCͱ͸ ΞϓϦ಺ͷߦಈσʔλɾଐੑσʔλΛʮϢʔβʔ୯ҐʯͰ෼ੳ͢Δ͜ͱ͕Ͱ͖Δػೳ
6. %BUB
   )VC
   "1*
   ϓϩδΣΫτ͕ߦͳ͍ͬͯͨ͜ͱ :BQQMJ
   %BUB
   )VCʹ஝ੵ͞ΕͨϢʔβʔΠϕϯτͷఏڙ ɾ࣮ݱ͍ͨ͜͠ͱɿ
   Ϣʔβʔʹରͯ͠࠷దԽ͞ΕͨΞΫγϣϯΛ࣮ࢪ
   ɾϢʔβʔͷΠϕϯτσʔλΛτϦΨʔʹ೚ҙͷ௨஌Λߦ͏͜ͱ͕Ͱ͖ΔʢτϦΨʔ഑৴ʣ
   ɾʮΫʔϙϯ"Λར༻͔ͯ͠Β࣌ؒޙʹΫʔϙϯ#Λ഑෍͢Δʯ
   ɾఏڙઌɿ:BQQMJ
   $3.ʢকདྷతʹ֎෦ެ։Λݟӽ͍ͯ͠Δʣ
   ɾ͜ͷϓϩδΣΫτͰ͸αʔόʔαΠυͷΈͰ׬݁ʢൺֱతಈ͖΍͍͢ঢ়ଶʣ
   ɾϑΝʔετύʔςΟͰ͋Δ:BQQMJ
   $3.Λલఏʹ͢Δ͜ͱͰҙࢥܾఆΛߦ͍΍͘͢ߴ଎ʹ։ൃͰ͖Δ
   ɾσʔλɿΫʔϙϯར༻σʔλʢͲͷϢʔβʔ͕ͲͷΫʔϙϯΛ͍ͭར༻ͨ͠ͷ͔ʣ
   ɾকདྷతʹ͸૿͑ΔݟࠐΈ
7. ৽نͷूܭج൫ͷΞʔΩςΫνϟ "NB[PO
   424 "NB[PO
   &$4 #JH2VFSZ "NB[PO
   4 "NB[PO
   &$4 ʢ̍ʣ ʢ̎ʣ ʢʣ ʢ̐ʣ "NB[PO
   "VSPSB ର৅ΞϓϦʢ:BQQMJ
   $3.ɺ:BQQMJ
   %BUB)VCܖ໿தʣͷΫʔϙϯར༻σʔλΛΞϓϦ͝ͱʹ4όέοτʹు͖ग़͢ $3.Λར༻͍ͯ͠ΔΞϓϦ෼ͷϝοηʔδΛૹ৴͢ ΔʢΞϓϦࣝผ৘ใɺूܭظؒɺ࣮ߦִؒʣ ޙଓͷूܭॲཧͰࣦഊͯ͠΋
   ϦτϥΠ͕Մೳ ֎෦޲͚σʔλͷूܭ
   ΞοϓϩʔυΛ࣮ࢪ
8. ͨͩɺ։ൃ͢Δʹ͋ͨΓ
   ैདྷͷूܭج൫ʹ՝୊͕͋ͬͨ
9. ैདྷͷूܭॲཧͷ՝୊
10. ैདྷͷूܭج൫ "NB[PO
    &$4 "NB[PO
    "VSPSB $MPVE
    3VO #JH2VFSZ $MPVE
    4DIFEVMFS ʢ̍ʣ ʢ̎ʣ ʢ̏ʣ ूܭॲཧ
    # ूܭॲཧ
    " σʔλసૹͷ࣮ߦΫΤϦΠϝʔδ σʔλసૹͷεΫϦϓτΠϝʔδʢྫʣ
11. ɾసૹॲཧͱूܭॲཧ͕ີ݁߹ʹͳ͓ͬͯΓɺमਖ਼࣌ͷӨڹൣғ͕େ͖͍
    ɾूܭॲཧʹมߋ͕ೖΔͱɺసૹॲཧʹखΛՃ͑Δඞཁ͕͋Δ
    ɾো֐ϙΠϯτͷಛఆʹ͕͔͔࣌ؒΔ
    ɾసૹॲཧͰো֐͕ى͖ͨࡍͷ෮چ͕େม
    ɾసૹॲཧͰো֐͕ൃੜ͢ΔͱखಈϦτϥΠΛ࣮ࢪ͢Δඞཁ͕͋Δ
    ɾूܭॲཧ͕૿͍͑ͯ͘ͱɺ෮چ࡞ۀͰ͔ͳΓͷ࣌ؒΛཁ͢Δ ैདྷͷूܭॲཧͷ՝୊
12. ো֐ϙΠϯτͷಛఆͱ෮چ͕༰қͰ͋Δ͜ͱ ूܭج൫ͷ͋Δ΂͖࢟
13. ࠾୒ͨ͠ΞʔΩςΫνϟ
14. ࠾୒ͨ͠ΞʔΩςΫνϟ "NB[PO
    424 "NB[PO
    &$4 "NB[PO
    &$4 "NB[PO
    &$4 "NB[PO
    "VSPSB $MPVE
    3VO #JH2VFSZ #JH2VFSZ "NB[PO
    4 *OQVU 0VUQVU ʜ σΟεύονϟʔͷΑ͏ͳ΋ͷΛט·ͤͨ͜ͱͰɺసૹॲཧͱूܭॲཧΛૄ݁߹ʹͨ͠
15. σΟεύονϟʔͷ࢓૊Έ UZQF SBOHF@NJOVUFT ूܭॲཧ"  ूܭॲཧ#  EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU ूܭॲཧ" 
     
     ूܭॲཧ" 
     
     ूܭॲཧ" 
     
     ूܭॲཧ# 
     
     UZQF DSFBUFE@BU సૹॲཧ" 
     EBUBIVC@EJTQBUDIFS@UBTLT EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ ҰఆִؒͰूܭॲཧ΁ͷσΟεύονΛߦ͏
    ෼͓͖ʹసૹॲཧͷ׬ྃ֬ೝͱूܭॲཧ΁ͷϦΫΤετΛߦ͏
16. σΟεύονϟʔͷ࢓૊Έ    సૹ ूܭ"` సૹ ूܭ"  ूܭ"`Λ࣮ߦ͢Δʹ͸
    ͜ͷ͕ͭ׬͍ྃͯ͠Δඞཁ͕͋Δ ྫʣ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭ"ʣ શମΠϝʔδ 
    
    ʹ
    
    
    
    ൣғͷసૹॲཧ͕։࢝
    
    సૹॲཧ͕׬ྃޙʹ
    
    
    
    ͷσʔλͷूܭॲཧΛ։࢝
    
    ্هΛ܁Γฦ͢
17. σΟεύονϟʔͷ࢓૊Έ ྫʣ
    ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ
    ɾݱࡏ࣌ࠁ͸೥݄೔
    ࣌෼
    ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔
    ࣌෼ EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU ूܭॲཧ" 
     
     ूܭॲཧ" 
     
     ूܭॲཧ" 
     
     UZQF DSFBUFE@BU సૹॲཧ" 
     EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ
18. σΟεύονϟʔͷ࢓૊Έ ྫʣ
    ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ
    ɾݱࡏ࣌ࠁ͸೥݄೔
    ࣌෼
    ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔
    ࣌෼ ର৅ͷूܭॲཧ͕࣮ߦՄೳ͔Ͳ͏͔൑ఆ
19. σΟεύονϟʔͷ࢓૊Έ ूܭର৅ൣғͷసૹॲཧ͕׬͍ྃͯ͠Δ͔൑ఆ  సૹॲཧͷ࠷৽࣮ߦ࣌ࠁΛऔಘʢྫɿ
    ʣ
     ूܭର৅ൣғʢ
    
    ʣͷసૹॲཧ͕׬͍ྃͯ͠Δ͔֬ೝ
     Ҏ߱ʹసૹཤྺ͕͋Ε͹σʔλ͕͋ΔͱΈͳ͢ ྫʣ
    ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ
    ɾݱࡏ࣌ࠁ͸೥݄೔
    ࣌෼
    ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔
    ࣌෼    సૹ ूܭ"` సૹ ूܭ" 
20. ີ݁߹໰୊ ूܭॲཧͷมߋ࣌ʹసૹॲཧΛมߋ͢Δඞཁ͕ͳ͘ͳͬͨ
21. ෮چେม໰୊  ʜ  సૹ ूܭ"  ྫɿ
    ʹ࣮ߦ͞ΕΔసૹॲཧʢ
    
    ͷσʔλʣͰো֐ൃੜ͠ɺʹ෮چͨ͠৔߹ ͜Ε·Ͱ
     సૹॲཧ͕׬ྃ͢Δ·Ͱ଴ػ
     ूܭॲཧΛखಈͰ࣮ߦ͢Δ
    ݱࡏ
    ෼ִؒͷूܭΛసૹ͕׬͍ྃͯ͠Δ࣌ؒʢʣ·Ͱ෼͓͖ʹ࣮ߦ
    
    ෮چ͞ΕΔ·Ͱ͸ूܭॲཧ͸࣮ߦ͞Εͳ͍
    
    ʢసૹ׬ྃޙʹʣ
    
    ͷσʔλͷूܭ࣮ߦ൑ఆ
    
    ·Ͱͷσʔλ͕సૹ͞Ε͍ͯΔͨΊूܭ࣮ߦ సૹ ूܭ" ूܭ" ूܭ" ूܭ" సૹॲཧͰো֐ൃੜ
22. ·ͱΊ
23. ·ͱΊ ɾ֎෦޲͚Ϋʔϙϯར༻σʔλͷूܭॲཧΛ࡞ͬͨ
    ɾσʔλूܭج൫Λ࡮৽ͯ͠ӡ༻อकίετΛ࡟ݮͨ͠
    ɾٕज़ࢿ࢈ͷ༗ޮ׆༻ʹΑΓɺεϐʔσΟʔʹ։ൃΛߦ͏͜ͱ͕Ͱ͖ͨ
24. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠