DataHubを活用した集計基盤の構築過程と工夫したこと

by Kami Makoto

Slide 1

Slide 1 text

Data HubΛ׆༻ͨ͠ ूܭج൫ͷߏஙաఔͱ޻෉ͨ͜͠ͱ SESSION 03

Slide 2

Slide 2 text

ࣗݾ঺հ Ճຯਅʢ,".*.",050ʣ ܦྺ ɾ೥͔Β8FCΤϯδχΞͱͯ͠ΩϟϦΞΛελʔτɻɹ ɾ೥݄ʹαʔόʔαΠυΤϯδχΞͱͯ͠ϠϓϦೖࣾ ɾ%BUB)VC"1*ϓϩδΣΫτ ɾूܭج൫Λ༻͍ͨ"1*ͷ։ൃͳͲΛ୲౰

Slide 3

Slide 3 text

INDEX 01 02 03 Data Hub APIϓϩδΣΫτͱ࡞੒ͨ͠ूܭॲཧ ैདྷͷసૹॲཧͷ՝୊ ࠾୒ͨ͠ΞʔΩςΫνϟͱ՝୊ղܾ 04 ·ͱΊ

Slide 4

Slide 4 text

%BUB)VC"1*ϓϩδΣΫτͱ ࡞੒ͨ͠ूܭॲཧ

Slide 5

Slide 5 text

:BQQMJ%BUB)VCͱ͸ ΞϓϦ಺ͷߦಈσʔλɾଐੑσʔλΛʮϢʔβʔ୯ҐʯͰ෼ੳ͢Δ͜ͱ͕Ͱ͖Δػೳ

Slide 6

Slide 6 text

%BUB)VC"1*ϓϩδΣΫτ͕ߦͳ͍ͬͯͨ͜ͱ :BQQMJ%BUB)VCʹ஝ੵ͞ΕͨϢʔβʔΠϕϯτͷఏڙ ɾ࣮ݱ͍ͨ͜͠ͱɿϢʔβʔʹରͯ͠࠷దԽ͞ΕͨΞΫγϣϯΛ࣮ࢪ ɾϢʔβʔͷΠϕϯτσʔλΛτϦΨʔʹ೚ҙͷ௨஌Λߦ͏͜ͱ͕Ͱ͖ΔʢτϦΨʔ഑৴ʣ ɾʮΫʔϙϯ"Λར༻͔ͯ͠Β࣌ؒޙʹΫʔϙϯ#Λ഑෍͢Δʯ ɾఏڙઌɿ:BQQMJ$3.ʢকདྷతʹ֎෦ެ։Λݟӽ͍ͯ͠Δʣ ɾ͜ͷϓϩδΣΫτͰ͸αʔόʔαΠυͷΈͰ׬݁ʢൺֱతಈ͖΍͍͢ঢ়ଶʣ ɾϑΝʔετύʔςΟͰ͋Δ:BQQMJ$3.Λલఏʹ͢Δ͜ͱͰҙࢥܾఆΛߦ͍΍͘͢ߴ଎ʹ։ൃͰ͖Δ ɾσʔλɿΫʔϙϯར༻σʔλʢͲͷϢʔβʔ͕ͲͷΫʔϙϯΛ͍ͭར༻ͨ͠ͷ͔ʣ ɾকདྷతʹ͸૿͑ΔݟࠐΈ

Slide 7

Slide 7 text

৽نͷूܭج൫ͷΞʔΩςΫνϟ "NB[PO424 "NB[PO&$4 #JH2VFSZ "NB[PO4 "NB[PO&$4 ʢ̍ʣ ʢ̎ʣ ʢʣ ʢ̐ʣ "NB[PO"VSPSB ର৅ΞϓϦʢ:BQQMJ$3.ɺ:BQQMJ%BUB)VCܖ໿தʣͷΫʔϙϯར༻σʔλΛΞϓϦ͝ͱʹ4όέοτʹు͖ग़͢ $3.Λར༻͍ͯ͠ΔΞϓϦ෼ͷϝοηʔδΛૹ৴͢ ΔʢΞϓϦࣝผ৘ใɺूܭظؒɺ࣮ߦִؒʣ ޙଓͷूܭॲཧͰࣦഊͯ͠΋ ϦτϥΠ͕Մೳ ֎෦޲͚σʔλͷूܭ ΞοϓϩʔυΛ࣮ࢪ

Slide 8

Slide 8 text

ͨͩɺ։ൃ͢Δʹ͋ͨΓ ैདྷͷूܭج൫ʹ՝୊͕͋ͬͨ

Slide 9

Slide 9 text

ैདྷͷूܭॲཧͷ՝୊

Slide 10

Slide 10 text

ैདྷͷूܭج൫ "NB[PO&$4 "NB[PO"VSPSB $MPVE3VO #JH2VFSZ $MPVE4DIFEVMFS ʢ̍ʣ ʢ̎ʣ ʢ̏ʣ ूܭॲཧ# ूܭॲཧ" σʔλసૹͷ࣮ߦΫΤϦΠϝʔδ σʔλసૹͷεΫϦϓτΠϝʔδʢྫʣ

Slide 11

Slide 11 text

ɾసૹॲཧͱूܭॲཧ͕ີ݁߹ʹͳ͓ͬͯΓɺमਖ਼࣌ͷӨڹൣғ͕େ͖͍ ɾूܭॲཧʹมߋ͕ೖΔͱɺసૹॲཧʹखΛՃ͑Δඞཁ͕͋Δ ɾো֐ϙΠϯτͷಛఆʹ͕͔͔࣌ؒΔ ɾసૹॲཧͰো֐͕ى͖ͨࡍͷ෮چ͕େม ɾసૹॲཧͰো֐͕ൃੜ͢ΔͱखಈϦτϥΠΛ࣮ࢪ͢Δඞཁ͕͋Δ ɾूܭॲཧ͕૿͍͑ͯ͘ͱɺ෮چ࡞ۀͰ͔ͳΓͷ࣌ؒΛཁ͢Δ ैདྷͷूܭॲཧͷ՝୊

Slide 12

Slide 12 text

ো֐ϙΠϯτͷಛఆͱ෮چ͕༰қͰ͋Δ͜ͱ ूܭج൫ͷ͋Δ΂͖࢟

Slide 13

Slide 13 text

࠾୒ͨ͠ΞʔΩςΫνϟ

Slide 14

Slide 14 text

࠾୒ͨ͠ΞʔΩςΫνϟ "NB[PO424 "NB[PO&$4 "NB[PO&$4 "NB[PO&$4 "NB[PO"VSPSB $MPVE3VO #JH2VFSZ #JH2VFSZ "NB[PO4 *OQVU 0VUQVU ʜ σΟεύονϟʔͷΑ͏ͳ΋ͷΛט·ͤͨ͜ͱͰɺసૹॲཧͱूܭॲཧΛૄ݁߹ʹͨ͠

Slide 15

Slide 15 text

σΟεύονϟʔͷ࢓૊Έ UZQF SBOHF@NJOVUFT ूܭॲཧ" ूܭॲཧ# EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU ूܭॲཧ" ूܭॲཧ" ूܭॲཧ" ूܭॲཧ# UZQF DSFBUFE@BU సૹॲཧ" EBUBIVC@EJTQBUDIFS@UBTLT EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ ҰఆִؒͰूܭॲཧ΁ͷσΟεύονΛߦ͏ ෼͓͖ʹసૹॲཧͷ׬ྃ֬ೝͱूܭॲཧ΁ͷϦΫΤετΛߦ͏

Slide 16

Slide 16 text

σΟεύονϟʔͷ࢓૊Έ సૹ ूܭ"` సૹ ूܭ" ूܭ"`Λ࣮ߦ͢Δʹ͸ ͜ͷ͕ͭ׬͍ྃͯ͠Δඞཁ͕͋Δ ྫʣ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭ"ʣ શମΠϝʔδ ʹൣғͷసૹॲཧ͕։࢝ సૹॲཧ͕׬ྃޙʹͷσʔλͷूܭॲཧΛ։࢝ ্هΛ܁Γฦ͢

Slide 17

Slide 17 text

σΟεύονϟʔͷ࢓૊Έ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼ EBUBIVC@EJTQBUDI@UBTL@UZQF SPVOEFE@UJNF DSFBUFE@BU ूܭॲཧ" ूܭॲཧ" ूܭॲཧ" UZQF DSFBUFE@BU సૹॲཧ" EBUBIVC@EJTQBUDIFS@IJTUPSJFT #JH2VFSZ΁ͷసૹϩάʢ#JH2VFSZ؅ཧʣ

Slide 18

Slide 18 text

σΟεύονϟʔͷ࢓૊Έ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼ ର৅ͷूܭॲཧ͕࣮ߦՄೳ͔Ͳ͏͔൑ఆ

Slide 19

Slide 19 text

σΟεύονϟʔͷ࢓૊Έ ूܭର৅ൣғͷసૹॲཧ͕׬͍ྃͯ͠Δ͔൑ఆ సૹॲཧͷ࠷৽࣮ߦ࣌ࠁΛऔಘʢྫɿʣ ूܭର৅ൣғʢʣͷసૹॲཧ͕׬͍ྃͯ͠Δ͔֬ೝ Ҏ߱ʹసૹཤྺ͕͋Ε͹σʔλ͕͋ΔͱΈͳ͢ ྫʣ ɾ෼͝ͱʹ࣮ߦ͞ΕΔूܭλεΫʢूܭॲཧ"ʣ ɾݱࡏ࣌ࠁ͸೥݄೔࣌෼ ɾ࠷ऴ࣮ߦ࣌ࠁ͸೥݄೔࣌෼ సૹ ूܭ"` సૹ ूܭ"

Slide 20

Slide 20 text

ີ݁߹໰୊ ूܭॲཧͷมߋ࣌ʹసૹॲཧΛมߋ͢Δඞཁ͕ͳ͘ͳͬͨ

Slide 21

Slide 21 text

෮چେม໰୊ ʜ సૹ ूܭ" ྫɿʹ࣮ߦ͞ΕΔసૹॲཧʢͷσʔλʣͰো֐ൃੜ͠ɺʹ෮چͨ͠৔߹ ͜Ε·Ͱ సૹॲཧ͕׬ྃ͢Δ·Ͱ଴ػ ूܭॲཧΛखಈͰ࣮ߦ͢Δ ݱࡏ ෼ִؒͷूܭΛసૹ͕׬͍ྃͯ͠Δ࣌ؒʢʣ·Ͱ෼͓͖ʹ࣮ߦ ෮چ͞ΕΔ·Ͱ͸ूܭॲཧ͸࣮ߦ͞Εͳ͍ ʢసૹ׬ྃޙʹʣͷσʔλͷूܭ࣮ߦ൑ఆ ·Ͱͷσʔλ͕సૹ͞Ε͍ͯΔͨΊूܭ࣮ߦ సૹ ूܭ" ूܭ" ूܭ" ूܭ" సૹॲཧͰো֐ൃੜ

Slide 22

Slide 22 text

·ͱΊ

Slide 23

Slide 23 text

·ͱΊ ɾ֎෦޲͚Ϋʔϙϯར༻σʔλͷूܭॲཧΛ࡞ͬͨ ɾσʔλूܭج൫Λ࡮৽ͯ͠ӡ༻อकίετΛ࡟ݮͨ͠ ɾٕज़ࢿ࢈ͷ༗ޮ׆༻ʹΑΓɺεϐʔσΟʔʹ։ൃΛߦ͏͜ͱ͕Ͱ͖ͨ

Slide 24

Slide 24 text

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠