$30 off During Our Annual Pro Sale. View Details »

DataHubを活用した集計基盤の構築過程と工夫したこと

 DataHubを活用した集計基盤の構築過程と工夫したこと

Kami Makoto

October 04, 2022
Tweet

More Decks by Kami Makoto

Other Decks in Programming

Transcript

  1. Data HubΛ׆༻ͨ͠ ूܭج൫ͷߏஙաఔͱ޻෉ͨ͜͠ͱ SESSION 03

  2. ࣗݾ঺հ Ճຯਅʢ,".*.",050ʣ ܦྺ ɾ೥͔Β8FCΤϯδχΞͱͯ͠ΩϟϦΞΛελʔτɻɹ ɾ೥݄ʹαʔόʔαΠυΤϯδχΞͱͯ͠ϠϓϦೖࣾ ɾ%BUB)VC"1*ϓϩδΣΫτ ɾूܭج൫Λ༻͍ͨ"1*ͷ։ൃͳͲΛ୲౰

  3. INDEX 01 02 03 Data Hub APIϓϩδΣΫτͱ࡞੒ͨ͠ूܭॲཧ ैདྷͷసૹॲཧͷ՝୊ ࠾୒ͨ͠ΞʔΩςΫνϟͱ՝୊ղܾ 04

    ·ͱΊ
  4. %BUB)VC"1*ϓϩδΣΫτͱ ࡞੒ͨ͠ूܭॲཧ

  5. :BQQMJ%BUB)VCͱ͸ ΞϓϦ಺ͷߦಈσʔλɾଐੑσʔλΛʮϢʔβʔ୯ҐʯͰ෼ੳ͢Δ͜ͱ͕Ͱ͖Δػೳ

  6. %BUB)VC"1*ϓϩδΣΫτ͕ߦͳ͍ͬͯͨ͜ͱ :BQQMJ%BUB)VCʹ஝ੵ͞ΕͨϢʔβʔΠϕϯτͷఏڙ ɾ࣮ݱ͍ͨ͜͠ͱɿϢʔβʔʹରͯ͠࠷దԽ͞ΕͨΞΫγϣϯΛ࣮ࢪ ɾϢʔβʔͷΠϕϯτσʔλΛτϦΨʔʹ೚ҙͷ௨஌Λߦ͏͜ͱ͕Ͱ͖ΔʢτϦΨʔ഑৴ʣ ɾʮΫʔϙϯ"Λར༻͔ͯ͠Β࣌ؒޙʹΫʔϙϯ#Λ഑෍͢Δʯ ɾఏڙઌɿ:BQQMJ$3.ʢকདྷతʹ֎෦ެ։Λݟӽ͍ͯ͠Δʣ ɾ͜ͷϓϩδΣΫτͰ͸αʔόʔαΠυͷΈͰ׬݁ʢൺֱతಈ͖΍͍͢ঢ়ଶʣ ɾϑΝʔετύʔςΟͰ͋Δ:BQQMJ$3.Λલఏʹ͢Δ͜ͱͰҙࢥܾఆΛߦ͍΍͘͢ߴ଎ʹ։ൃͰ͖Δ ɾσʔλɿΫʔϙϯར༻σʔλʢͲͷϢʔβʔ͕ͲͷΫʔϙϯΛ͍ͭར༻ͨ͠ͷ͔ʣ ɾকདྷతʹ͸૿͑ΔݟࠐΈ

  7. ৽نͷूܭج൫ͷΞʔΩςΫνϟ "NB[PO424 "NB[PO&$4 #JH2VFSZ "NB[PO4 "NB[PO&$4 ʢ̍ʣ ʢ̎ʣ ʢʣ ʢ̐ʣ

    "NB[PO"VSPSB ର৅ΞϓϦʢ:BQQMJ$3.ɺ:BQQMJ%BUB)VCܖ໿தʣͷΫʔϙϯར༻σʔλΛΞϓϦ͝ͱʹ4όέοτʹు͖ग़͢ $3.Λར༻͍ͯ͠ΔΞϓϦ෼ͷϝοηʔδΛૹ৴͢ ΔʢΞϓϦࣝผ৘ใɺूܭظؒɺ࣮ߦִؒʣ ޙଓͷूܭॲཧͰࣦഊͯ͠΋ ϦτϥΠ͕Մೳ ֎෦޲͚σʔλͷूܭ ΞοϓϩʔυΛ࣮ࢪ
  8. ͨͩɺ։ൃ͢Δʹ͋ͨΓ ैདྷͷूܭج൫ʹ՝୊͕͋ͬͨ

  9. ैདྷͷूܭॲཧͷ՝୊

  10. ैདྷͷूܭج൫ "NB[PO&$4 "NB[PO"VSPSB $MPVE3VO #JH2VFSZ $MPVE4DIFEVMFS ʢ̍ʣ ʢ̎ʣ ʢ̏ʣ ूܭॲཧ#

    ूܭॲཧ" σʔλసૹͷ࣮ߦΫΤϦΠϝʔδ σʔλసૹͷεΫϦϓτΠϝʔδʢྫʣ
  11. ɾసૹॲཧͱूܭॲཧ͕ີ݁߹ʹͳ͓ͬͯΓɺमਖ਼࣌ͷӨڹൣғ͕େ͖͍ ɾूܭॲཧʹมߋ͕ೖΔͱɺసૹॲཧʹखΛՃ͑Δඞཁ͕͋Δ ɾো֐ϙΠϯτͷಛఆʹ͕͔͔࣌ؒΔ ɾసૹॲཧͰো֐͕ى͖ͨࡍͷ෮چ͕େม ɾసૹॲཧͰো֐͕ൃੜ͢ΔͱखಈϦτϥΠΛ࣮ࢪ͢Δඞཁ͕͋Δ ɾूܭॲཧ͕૿͍͑ͯ͘ͱɺ෮چ࡞ۀͰ͔ͳΓͷ࣌ؒΛཁ͢Δ ैདྷͷूܭॲཧͷ՝୊

  12. ো֐ϙΠϯτͷಛఆͱ෮چ͕༰қͰ͋Δ͜ͱ ूܭج൫ͷ͋Δ΂͖࢟

  13. ࠾୒ͨ͠ΞʔΩςΫνϟ

  14. ࠾୒ͨ͠ΞʔΩςΫνϟ "NB[PO424 "NB[PO&$4 "NB[PO&$4 "NB[PO&$4 "NB[PO"VSPSB $MPVE3VO #JH2VFSZ #JH2VFSZ "NB[PO4

    *OQVU 0VUQVU ʜ σΟεύονϟʔͷΑ͏ͳ΋ͷΛט·ͤͨ͜ͱͰɺసૹॲཧͱूܭॲཧΛૄ݁߹ʹͨ͠
  15. σΟεύονϟʔͷ࢓૊Έ UZQF SBOHF@NJOVUFT ूܭॲཧ"  ूܭॲཧ#  EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU

    ूܭॲཧ"   ूܭॲཧ"   ूܭॲཧ"   ूܭॲཧ#   UZQF DSFBUFE@BU సૹॲཧ"  EBUBIVC@EJTQBUDIFS@UBTLT EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ ҰఆִؒͰूܭॲཧ΁ͷσΟεύονΛߦ͏ ෼͓͖ʹసૹॲཧͷ׬ྃ֬ೝͱूܭॲཧ΁ͷϦΫΤετΛߦ͏
  16. σΟεύονϟʔͷ࢓૊Έ    సૹ ूܭ"` సૹ ूܭ"  ूܭ"`Λ࣮ߦ͢Δʹ͸

    ͜ͷ͕ͭ׬͍ྃͯ͠Δඞཁ͕͋Δ ྫʣ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭ"ʣ શମΠϝʔδ ʹൣғͷసૹॲཧ͕։࢝ సૹॲཧ͕׬ྃޙʹͷσʔλͷूܭॲཧΛ։࢝ ্هΛ܁Γฦ͢
  17. σΟεύονϟʔͷ࢓૊Έ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼ EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU ूܭॲཧ" 

     ूܭॲཧ"   ूܭॲཧ"   UZQF DSFBUFE@BU సૹॲཧ"  EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ
  18. σΟεύονϟʔͷ࢓૊Έ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼ ର৅ͷूܭॲཧ͕࣮ߦՄೳ͔Ͳ͏͔൑ఆ

  19. σΟεύονϟʔͷ࢓૊Έ ूܭର৅ൣғͷసૹॲཧ͕׬͍ྃͯ͠Δ͔൑ఆ  సૹॲཧͷ࠷৽࣮ߦ࣌ࠁΛऔಘʢྫɿʣ  ूܭର৅ൣғʢʣͷసૹॲཧ͕׬͍ྃͯ͠Δ͔֬ೝ  Ҏ߱ʹసૹཤྺ͕͋Ε͹σʔλ͕͋ΔͱΈͳ͢ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ

    ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼    సૹ ूܭ"` సૹ ूܭ" 
  20. ີ݁߹໰୊ ूܭॲཧͷมߋ࣌ʹసૹॲཧΛมߋ͢Δඞཁ͕ͳ͘ͳͬͨ

  21. ෮چେม໰୊  ʜ  సૹ ूܭ"  ྫɿʹ࣮ߦ͞ΕΔసૹॲཧʢͷσʔλʣͰো֐ൃੜ͠ɺʹ෮چͨ͠৔߹ ͜Ε·Ͱ 

    సૹॲཧ͕׬ྃ͢Δ·Ͱ଴ػ  ूܭॲཧΛखಈͰ࣮ߦ͢Δ ݱࡏ ෼ִؒͷूܭΛసૹ͕׬͍ྃͯ͠Δ࣌ؒʢʣ·Ͱ෼͓͖ʹ࣮ߦ ෮چ͞ΕΔ·Ͱ͸ूܭॲཧ͸࣮ߦ͞Εͳ͍ ʢసૹ׬ྃޙʹʣͷσʔλͷूܭ࣮ߦ൑ఆ ·Ͱͷσʔλ͕సૹ͞Ε͍ͯΔͨΊूܭ࣮ߦ సૹ ूܭ" ूܭ" ूܭ" ूܭ" సૹॲཧͰো֐ൃੜ
  22. ·ͱΊ

  23. ·ͱΊ ɾ֎෦޲͚Ϋʔϙϯར༻σʔλͷूܭॲཧΛ࡞ͬͨ ɾσʔλूܭج൫Λ࡮৽ͯ͠ӡ༻อकίετΛ࡟ݮͨ͠ ɾٕज़ࢿ࢈ͷ༗ޮ׆༻ʹΑΓɺεϐʔσΟʔʹ։ൃΛߦ͏͜ͱ͕Ͱ͖ͨ

  24. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠