HBaseで実現する大量の特許文書デ ... テクチャとベストプラクティス

)#BTFͰ࣮ݱ͢Δ େྔͷಛڐจॻσʔλΛѻ͏ͨΊͷ ΞʔΩςΫνϟͱϕετϓϥΫςΟε Ξελϛϡʔθגࣜձࣾɹ ։ൃɾΠϯϑϥ෦ɹ෱ా ৴ݦ

2 w ෱ా৴ݦɹ ;ͩ͘ͷͿ͖͋ w Ξελϛϡʔθגࣜձࣾɹ։ൃɾΠϯϑϥ෦ w ιϑτ΢ΣΞΤϯδχΞ w
)BEPPQྺ೥ɺݱࡏ͸4QBSLΛѪ༻ w ϛυϧ΢ΣΞͷಋೖͱӡ༻ɺେن໛σʔλॲཧͷઃܭͱ࣮૷ ࣗݾ঺հ

ฐࣾͱ$%)ͱࢲ 3 CDH

1PXFSFECZ

ಛڐެใͱBTUBNVTFDPN w ಛڐެใͱ͸ಛڐʹؔ͢Δਖ਼ࣜͳจॻͰ͢ w ສจॻ w ԯจࣈ w
ਤ໘ը૾ԯຕ 7

՝୊ େྔͷಛڐެใσʔλΛॲཧ͢Δ࢓૊ΈΛߏங͢Δ 13

औΓѻ͏σʔλͷεϖοΫ w਺ઍݸͷUBSH[ϑΝΠϧ w̍ϑΝΠϧ͋ͨΓ਺(# w ϑΥʔϚοτ w ςΩετʢ9.-ɺ4(.-ʣ w ը૾ʢ5*''ʣ 14

ΞʔΩςΫνϟ

γεςϜߏ੒ YARN HBase S3 mongoDB HDFS Spark Hive WebApp PostgreSQL
elasticsearch

σʔλͷྲྀΕ 17 HDFS HBase S3 mongoDB 1/( +40/ 9.- 5*''
9.- 5*'' MPBE SFOEFScQVU BOBMZ[FcQVU

̐ͭͷϓϥΫςΟε

̐ͭͷϓϥΫςΟε ʰੜσʔλ͸ෆՄมʹʱ ʰૄͳ݁߹͸ຶͷຯʱ ʰ)#BTF͸๙Ίͯ࢖͑ʱ ʰσΟετϦϏϡʔγϣϯΛ׆༻͢Δʱ 19

1SBDUJDF ʰੜσʔλ͸ෆՄมʹʱ 20

έʔεʮੜϋϜ͸Ͳ͜΁ফ͑ͨʁʯ • ੜϋϜϝϩϯʹؔ͢Δಛڐ͕͋Δͱ͠·͢ɻ • ΢ΣϒϖʔδͰɺੜϋϜͳ͠ͷϝϩϯը૾͕දࣔ͞ΕΔෆ۩߹͕ใࠂ͞Ε·ͨ͠ɻ • HBaseͷ֘౰ߦΛௐ΂ΔͱɺੜϋϜ͋Γͷϝϩϯը૾Λ֬ೝͰ͖·ͨ͠ɻ 21 HDFS HBase
S3

έʔεʮੜϋϜ͸Ͳ͜΁ফ͑ͨʁʯ • HDFS্ͷੜσʔλ(tar.gz)Λௐࠪͨ͠ͱ͜ΖɺੜϋϜ͋Γͷϝϩϯը૾͕֬ೝͰ͖·ͨ͠ɻ • ͞ΒͳΔௐࠪͷ݁ՌɺݪҼ͸సૹϓϩάϥϜͷόάͰ͋Δ͜ͱ͕൑໌͠·ͨ͠ɻ 22 HDFS HBase S3

έʔεʮςʔϒϧσʔλͷ૕ࣦʯ • HBaseͷςʔϒϧΛޡͬͯ࡟আ͢Δͱ͍͏ࣄҊ͕ൃੜ͠·ͨ͠ɻ 23 HBase ςʔϒϧA

• HDFS্ͷੜσʔλ͔ΒσʔλΛ࠶ੜ੒͠ɺ෮چ͠·ͨ͠ɻ 24 HDFS HBase έʔεʮςʔϒϧσʔλͷ૕ࣦʯ ςʔϒϧA ੜσʔλ

1SBDUJDF ʰੜσʔλ͸ෆՄมʹʱ w σʔλͷτϨʔαϏϦςΟͷ֬อ w )%'4อ؅ͷੜσʔλ͔Βͷ࠶ੜ੒ΛՄೳʹ w ڊେͳӬଓԽΩϟογϡͱͯ͠ͷ)#BTF 25

1SBDUJDF ʰૄͳ݁߹͸ຶͷຯʱ 26

mongoDB HBase έʔεʮӨڹͷہॴԽʯ • σʔλͷௐୡઌͷมߋʹ൐͍ɺੜσʔλ(tar.gz)ͷϨΠΞ΢τʹมߋ͕ੜ͡·ͨ͠ɻ • ͜ͷมߋͷӨڹΛड͚Δͷ͸Ͳ͜Ͱ͠ΐ͏͔ɻ 27 HDFS S3
Job A StoreFileੜ੒ Job B ը૾ॲཧ Job C ςΩετॲཧ OLD /foo/1/a /foo/2/b NEW /bar/1/a /bar/2/b

• ӨڹΛड͚Δͷ͸Job AͷΈɻ • ࣮ࡍʹมߋͷඞཁੑ͕ੜͨ͡ͷ͸ɺΧελϜͷRecordReaderΫϥεͷΈͰͨ͠ɻ 28 έʔεʮӨڹͷہॴԽʯ HBase HDFS S3
mongoDB OLD /foo/1/a /foo/2/b NEW /bar/1/a /bar/2/b Job A StoreFileੜ੒ Job B ը૾ॲཧ Job C ςΩετॲཧ

1SBDUJDF ʰૄͳ݁߹͸ຶͷຯʱ w ݪଇ̍ͭͷ࢓ࣄ͸̍ͭͷδϣϒͱ࣮ͯ͠૷͢Δ w มߋͷӨڹൣғΛہॴԽ͢Δઃܭ 29

Practice 3 ʰ)#BTF͸๙Ίͯ࢖͑ʱ 30

ΧϥϜϑΝϛϦͷ׆༻ • ը૾ͱςΩετ͸ɺσʔλͷܗࣜͱΞΫηεύλʔϯ͕ҟͳΓ·͢ɻ • ͦΕͧΕͷσʔλΛ࠷దͳܗͰ֨ೲ͢Δํ๏͸͋ΔͰ͠ΐ͏͔ɻ 31 HBase S3 mongoDB Job
B ը૾ॲཧ Job C ςΩετॲཧ

ΧϥϜϑΝϛϦͷ׆༻ • ը૾ͱςΩετΛɺͦΕͧΕผͷΧϥϜϑΝϛϦʹׂΓ౰ͯ·ͨ͠ɻ • ΧϥϜϑΝϛϦຖʹ֨ೲྖҬ͕ू໿͞Εɺѹॖ΋ར༻Ͱ͖ɺI/Oͷ࠷దԽ͕ਤΕ·͢ɻ 32 meta: raw: aux: row-key1
name: foo date: 20161108 hash: xxxxxxxx foo.xml: <xml>͊͘wͤdrftgy;͜͡lp</xml> foo_1.tif: xxxxxxxxxx xxxxx row-key2 name: bar date: 20161027 hash: yyyyyyyy bar.xml: <xml>͊͘wͤdrftgy;͜͡lp</xml> bar2.xml: <xml>͊͘wͤdrftgy;͜͡lp</xml> baz_1.tif: xxxxx baz_2.tif: xxxxxxxxx

όϧΫϩʔυͷ׆༻ • େྔͷσʔλΛςʔϒϧʹॻ͖ࠐΉࡍʹɺ̍݅ͣͭPutΛ͢Δͱ͕͔͔࣌ؒΓ͗͢·͢ɻ ͜ͷ··Ͱ͸ϦϦʔεʹؒʹ߹͍ͦ͏΋͋Γ·ͤΜɻ • εϧʔϓοτΛ্͛Δํ๏͸͋ΔͰ͠ΐ͏͔ɻ 33 HBase HDFS Put͢Δδϣϒ

όϧΫϩʔυͷ׆༻ • HBaseͷόϧΫϩʔυͷ࢓૊ΈΛ࢖͏͜ͱʹ͠·ͨ͠ɻ • ߴ଎͔ͭޮ཰తʹσʔλΛςʔϒϧʹϩʔυͰ͖·͢ɻ • શମͷϦʔυλΠϜΛ୹ॖͰ͖ɺεέδϡʔϧʹؒʹ߹ΘͤΔ͜ͱ͕Ͱ͖·ͨ͠ɻ 34 HBase HDFS
StoreFileੜ੒δϣϒ completebulkloadίϚϯυ StroreFile

ςʔϒϧ؅ཧ ϝδϟʔίϯύΫγϣϯ • σϑΥϧτͰ7೔ִؒͰ૸Δ • StoreFile͸̍ͭͷେ͖ͳϑΝΠϧʹ౷߹͞ΕΔ Region Table Region Region
Region StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile MemStore MemStore MemStore Store Store Store

ςʔϒϧ؅ཧ Ϧʔδϣϯͷ෼ׂ • StoreFile͸αΠζ͕Ұఆͷᮢ஋Λ௒͑Δͱ 2ͭʹ෼ׂ͞ΕΔ • ෼ׂͷ౓ʹϦʔδϣϯͷ਺͕૿͑Δ Region Table Region
Region Table Region Region Region Region

ϚχϡΞϧͰͷ੍ޚ w ࣗಈϝδϟʔίϯύΫγϣϯػೳͷແޮԽ w ICBTFISFHJPONBKPSDPNQBDUJPOσϑΥϧτ̓೔ɹˠɹ w ෼ׂͷ཈੍ w ICBTFISFHJPONBYGJMFTJ[FσϑΥϧτHɹˠɹେ͖ͳ஋ 37
͜ͷ̎ͭͷઃఆʹΑΓɺҰఆͷϦʔδϣϯ਺Ͱӡ༻

৽͍͠σʔλͷ௥Ճ

ӡ༻ͰΧόʔ w ఆظతʹϦʔδϣϯͷঢ়گΛνΣοΫ w ภΓ͕େ͖͘ͳ͍ͬͯΔ৔߹͸खಈͰ෼ׂ w όουɾϊ΢ϋ΢ٙ࿭ 39

ظ଴ͷϧʔΩʔ3FHJPO/PSNBMJ[FS W

τϥϒϧγϡʔςΟϯά w Ϧʔδϣϯαʔόͷμ΢ϯʢ00.,JMMFS΍:PV"SF%FBE&YDFQUJPOʣ w ࣗಈ࠶ىಈ͸࢖༻͠ͳ͍ w Ϧʔδϣϯαʔόͷ࠶ىಈ w ϝλσʔλෆ੔߹͕ੜͨ͡৔߹͸ICDLίϚϯυΛ࢖༻ͯ͠ௐࠪɾम෮ w
υΩϡϝϯτॏཁ 41

Practice 3 ʰ)#BTF͸๙Ίͯ࢖͑ʱ 42 w ΧϥϜϑΝϛϦ͸σʔλͷܗࣜͱΞΫηεύλʔϯຖʹ w όϧΫϩʔυര଎ w ςʔϒϧ؅ཧͷόουɾϊ΢ϋ΢
w ICDLίϚϯυॏཁ

1SBDUJDF ʰσΟετϦϏϡʔγϣϯΛ׆༻͢Δʱ 43

1SBDUJDF ʰσΟετϦϏϡʔγϣϯΛ׆༻͢Δʱ w େࣄͳͷ͸඼࣭ͱ࣌ؒ w όʔδϣϯΞοϓͷԸܙ 44

ʰੜσʔλ͸ෆՄมʹʱ ʰૄͳ݁߹͸ຶͷຯʱ ʰ)#BTF͸๙Ίͯ࢖͑ʱ ʰσΟετϦϏϡʔγϣϯΛ׆༻͢Δʱ 45 ̐ͭͷϓϥΫςΟε

ࠓޙͷ՝୊ w Ϋϥ΢υ؀ڥ΁ͷదԠͱ࠷దԽ w ΞʔΩςΫνϟͷݟ௚͠ 46

Ξελϛϡʔθͷ෣୆କ 47 @astamuseLab ΞελϛϡʔθͰ͸ɺ։ൃɾσβΠϯ ͷ৘ใΛൃ৴͍ͯ͠·͢ɻ

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ

HBaseで実現する大量の特許文書デ ... テクチャとベストプラクティス

HBaseで実現する大量の特許文書デ ... テクチャとベストプラクティス

Other Decks in Technology

Featured

Transcript