分析前処理で手軽に並列処理するために守っておくと良いこと

ࠓ ि ͷ Θ ͔ Β Μ ઌ ੜ Ϛϧνϓϩηε
ॲཧ͕ Θ͔ΒΜ 1Z%BUB0LJOBXBΦʔΨφΠβʔ ΍͢΂͐

ࣗݾ঺հ :BTVCFJ ΍͢΂͐ ZBTVCFJUXJ ZBTVIBSVTV[VLJ IUUQTIVHLVODPN ΤϯδχΞͰ͢ɻ ࡳຈͰήʔϜ։ൃ೥ɹˠɹԭೄͰ*P5 8&#։ൃ ෼ੳͳͲΛ೥
)VHLVOͱ)VHLVO%BUBͱ͍͏ձࣾ΍ͬͯ·͢ɻ اۀ͞Μͱֶੜ͞ΜͱҰॹʹ࢓ࣄͯ͠8JO8JO8JOͳؔ܎Λங͘ͷ͕޷͖Ͱ͢ɻ ʮ౳෼ͷՖՇʯΛม૷່ͨ͠ͷਖ਼ղΛ౰ͯͳ͕ΒಡΉͷ͕࠷ۙͷϚΠϒʔϜ ΧϥΦέͰ།Ұ๙ΊΒΕͨۂ͸ʮਓੜ͍Ζ͍Ζʯ

ͱ͍͏Θ͚ͰͭࢠΫʙΠζ

Θ͔Δਓ ɾТɾ ϊγ

΋͏ͪΐͬͱ؆୯ͳ΍ͭ

͜Μͳײ͡Ͱ͢

ࢥΘͣ෼ྨͨ͘͠ͳͬͨํ͸ίνϥ IUUQTTQFBLFSEFDLDPNOZBOLPBOENBNFOPLJXVUJKJBODIVGBMTFMJTIJUPNEFUOJZPSV[VJYJOGBMTFBQVSPUJ 63-

ࠓ೔ͷ͓୊

ࠓ೔ͷ͓୊ Ϛϧνϓϩηεॲཧ

ʮͦʔΜͳϞϯ஌ͬͯΔϤʙʯ ͱ͍͏ํ ֶੜͰ΋ଟ͍Μ͡Όͳ͍͔ͱࢥ͍·͢

ͦΕ͕ͳʔ

ҙ֎ͱ૊Ίͳ͍ΜͰ͢Α ɾТɾʆ

஌ࣝ͸͋Δ͚Ͳ ؆୯ʹ૊Ή΍ΓํΛ஌Βͳ͍ਓ͕ ҙ֎ͱଟ͍ͳ͊ʙͬͯࢥ͏͜ͱ͕ଟ͍ͷͰ ͜ΕΛकΔͱ؆୯ʹ૊ΊΔΑͬͯ ࿩Λ͍ͨ͠ͱࢥ͍·͢ɻ ʢ˞ͨͩ͠ࠓ೔৮ΕΔͷ͸෼ੳ༻Ͱ͢ʣ

:BTVCFJ ΍͢΂͐ ඇಉظϓϩάϥϛϯάͷܦݧ ZBTVCFJUXJ ZBTVIBSVTV[VLJ IUUQTIVHLVODPN ɾֶੜͷ͜ΖόΠτͰϔουϚ΢ϯτσΟεϓϨΠ͔Βͷ৴߸ॲཧΛड৴͢Δ෦෼Λ ɹϚϧνεϨοσΟϯάʢ8JOʣͰهड़ͨ͠ͷ͕࠷ॳ ɹྈੜ׆Ͱྈʹωοτ͕ͳ͘ɺ৘ใऩूʹۤ࿑ͨ͠ ɾ೥͝Ζʹॻ͍ͨωοτରઓ༻ͷϓϩάϥϜ͸$
Ͱ-JOVY্Ͱ૊ΜͰ·ͨ͠ ɹ΄΅ΦϯϝϞϦͰ௒ߴ଎Ͱͨ͠ ɹฏۉԠ౴଎౓͸NTҎԼ ɾ࠷ۙͰ͸ϏοάσʔλͷલॲཧΛߴ଎Խ͢ΔͨΊʹฒྻԽΛ༻͍Δࣄ͕ଟ͍ ɾԿؾʹKTͰ΋࢖༻ͯ͠·͢Ͷ ɹ7VFKT࢖͏Ҋ͕݅͋Γɺશ෦ͷ"1*ΞΫηε͕ඇಉظ

"HFOEB ର৅ऀ कΔͱྑ͍ϧʔϧ ूܭॲཧΛBQQMZ Ͱ૊ΜͰ͓͘ Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠
ߦ୯ҐͷฒྻԽ͸EBTLΛ࢖͏ େ͖ͳ୯ҐͷฒྻԽ͸KPCMJCΛ࢖͏ σϞʢ͕࣌ؒ͋Ε͹ʣ ·ͱΊ

ର৅ऀ Θ ͔ Β Μ

ର৅ऀ ɾͪΐͬͱϏοάσʔλѻͬͯΔ͚ͲQBOEBTॏ͍ ɾฒྻॲཧॻ͍ͯߴ଎Խ͍͚ͨ͠ͲΠϝʔδ͔ͭΈʹ ࣮ͯ͘͘૷ʹֻ͕͔࣌ؒͬͯ͠·͏ ɾ਺ࣜಘҙ͚ͩͲ1ZUIPOۤखͳ਺ֶՊͷํ

ର৅ऀͷ1ZUIPOϨϕϧ ೖ໳ɹɹ#FHJOOFS ॳڃɹɹ&MFNFOUBSZ தڃɹɹ*OUFSNFEJBUF ४্ڃɹ6QQFS*OUFSNFEJBUF ্ڃɹɹ"EWBODFE ͨͿΜ͜ͷล 1ZUIPO͸ීஈ࢖ͬͯͯ#JH%BUB΋ѻͬͯΔ͚Ͳ ฒྻԽͷ࣮૷্͕ख͘ߦͬͯͳ͍ਓ޲͚

ݸਓతʹΘ͔Γ΍͍͢#JH%BUBͷఆٛ &YDFMͰ։͚ͳ͘ͳͬͨΒ #JH%BUB ˞΋ͪΖΜ*OUFSOBM3FGFSFODFͰ͢

कΔͱྑ͍ϧʔϧ Θ ͔ Β Μ

कΔͱྑ͍ϧʔϧ ɾQBOEBTΛ࢖͏ ɾूܭॲཧΛBQQMZ Ͱ૊ΜͰ͓͘ ɾΞ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ɾߦ͝ͱͷॲཧͷฒྻԽ͸EBTLΛ࢖͏ ɾେ͖ͳ୯ҐͷฒྻԽ͸KPCMJCΛ࢖͏

QBOEBTΛ࢖͏ ·͊ͨͿΜΈΜͳ࢖ͬͯΔͷͰίϨ͸͍͍Ͱ͢ΑͶ

ूܭॲཧ͸BQQMZ Ͱ૊ΜͰ͓͘ Θ ͔ Β Μ

ूܭॲཧ͸BQQMZ Ͱ૊ΜͰ͓͘ ɾEBTLͰͷฒྻԽ͕༰қʹͳΓ·͢ ɾ໊ݴʮGPSจ࢖ͬͨΒෛ͚ͩͱࢥ͍ͬͯΔʯ ɹɹɹʮࢲͷQBOEBT஗͗͢ʯ ɹͦ΋ͦ΋JUUFSPXTͱ͔࢖Θͳ͍Ͱ͢ΑͶʁʢἤΓ

ूܭॲཧ͸BQQMZ Ͱ૊ΜͰ͓͘ GPSจʢΞϯνύλʔϯʣ ॳΊ͔Βʮॏ͘ͳΓͦ͏ͩͳ͊ʯͱࢥ͍ͬͯΔՕॴʹ͸ GPSจ͸࢖Θͳ͍͜ͱʢܰͦ͏ͳͱ͜Ζ͸GPSͰ΋ྑ͍ʣ IPHF@MJTU<> GPSJOEFY
SPXJOEGJUUFSPXT IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ IPHF@MJTUBQQFOE IPHF@EBUB BQQMZจʢྑ͍ύλʔϯʣ BQQMZʹ͓ͯ͘͜͠ͱࣗମ΋ߴ଎Խʹܨ͕Δ͚Ͳ ͦ΋ͦ΋ฒྻԽ͢Δʹ͸ؔ਺Խ͓ͯ͘͠ͱָ EFGBQQMZ@GVOD SPX IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ SFUVSOIPHF@EBUB IPHF@MJTUEGBQQMZ BQQMZ@GVOD BYJT #BE #FUUFS GPSจͷྫ BQQMZจͷྫ ˞͋͘·ͰCFUUFSɻCFTUΛ໨ࢦ͢ʹ͸͍Ζ͍Ζͳ΍Γํ͕͋ Δ͕ɺݸਓతʹ͸࢖͍উखͷྑ͍BQQMZ͕ྑ͍ɻ

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ Θ ͔ Β Μ

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ͬŋТŋ ͬŲƄŖƃ ͨͱ͑͹Ұ͔݄෼ͷσʔλΛग़ྗ͢Δ৔߹ ԿΒ͔ͷॲཧ ෼͚Δ

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ͬŋТŋ ͬŲƄŖƃ ϓϩηε͝ͱʹग़ྗઌΛ෼͚Δͷ͕ཧ૝ ԿΒ͔ͷॲཧ ͬŋТŋ ͬŲƄŖƃ ͬŋТŋ ͬŲƄŖƃ

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ̑ͭࢠͰΠϝʔδ͢Δͱ͜Μͳײ͡ ݱࡏ ະདྷ աڈ

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ཧ༝ ɾ*0ͷϩοΫɺഉଞ੍ޚ͕ཁΒͳ͘ͳΔ ɹˠͭ·Γɺ஗Ԇ΍σουϩοΫΛߟྀ͢Δඞཁ͕ͳ͘ͳΔ ɹɹɹϑΝΠϧ*0͸ϝϞϦΑΓഒ஗͍ ɹɹɹωοτϫʔΫ*0͸΋ͬͱ஗͍

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ͬŋТŋ ͬŲƄŖƃ Ξϯνύλʔϯ ԿΒ͔ͷॲཧ ෼͚ͳ͔ͬͨ ৔߹

Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ͬŋТŋ ͬŲƄŖƃ ϓϩηεΛ෼͚ͯ΋஗Ԇ͕ൃੜͯ͠͠·͏ ԿΒ͔ͷॲཧ ͬŋТŋ ͬŲƄŖƃ ͬŋТŋ ͬŲƄŖƃ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ Θ ͔ Β Μ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ EBTLͱ͸ʁ ɾ%BTLͱ͸Ϛϧνϓϩηεͷॲཧ͕؆୯ʹͰ͖Δ 1ZUIPOͷϥΠϒϥϦͰ͢ɻ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ ɾBQQMZΛ࢖͍ͬͯΔͷͰ͋Ε͹؆୯ͳमਖ਼ͰEBTLԽͰ ͖·͢ɻ ɾEBTLʹ͸ϚϧνϓϩηεͰฒྻԽ͢Δػೳ͕͋Γɺ؆ ୯ʹฒྻԽͰ͖·͢ɻ ɾ࢖༻͢Δ$16਺Λࢦఆ͢Δ͜ͱ΋ग़དྷ·͢ɻҾ਺Ͱݸ ਺Λࢦఆ͢Δ͚ͩͰඇৗʹखܰͰ͢ɻ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ EBTLԽ ίΞ࢖༻͢ΔEBTL༻%BUB'SBNFΛ࡞੒ JNQPSUEBTLEBUBGSBNFBTEE EEGEEGSPN@QBOEBT EG OQBSUJUJPOT
EFGBQQMZ@GVOD SPX IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ SFUVSOIPHF@EBUB IPHF@MJTUEGBQQMZ BQQMZ@GVOD BYJT NFUBܕΛࢦఆ DPNQVUF TDIFEVMFSQSPDFTTFT EBTLͷྫ QBOEBTͷBQQMZΛ࢖༻͢Δྫ લड़ͷBQQMZͱಉ͡ϓϩάϥϜͰ͢ɻ EFGBQQMZ@GVOD SPX IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ IPHF@MJTUEGBQQMZ BQQMZ@GVOD BYJT BQQMZจͷྫ GSPN@QBOEBTͰม׵ͯ͠ BQQMZ ͢Δ͚ͩ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ ҰԠࣄྫͱͯ͠͸ ɹສ݅͘Β͍ͷσʔλΛߜΓࠐΈͳ͕Βूܭ͢Δॲཧ ɹɾTFD ɹɹɹˣEBTLͰฒྻԽˍίΞͷ$16Ͱϑϧճస ɹɾTFD ɹഒΑΓ଎͘ͳͬͨͷ͸Ṗ

ߦ͝ͱͷߴ଎Խ͸EBTLΛ࢖͏ Ξϯνύλʔϯ ɹจࣈྻ಺ͷ୯ޠΛΧ΢ϯτ͢Δॲཧ ɹɾTFD ɹɹɹˣEBTLͰฒྻԽˍίΞͷ$16Ͱϑϧճస ɹɾTFD ɹϚϧνϓϩηεԽ͢Δίετ΋݁ߏߴ͍ͷͰ ɹ୯७ͳॲཧ͸஗͘ͳΔ͜ͱ͕ଟ͍Ͱ͢ɻ

େ͖ͳ୯ҐͷฒྻԽ͸+PCMJCΛ࢖͏ Θ ͔ Β Μ

େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ +PCMJCͱ͸ʁ ɾ+PCMJCͱ͸Ϛϧνϓϩηεͷॲཧ͕؆୯ʹͰ͖Δ 1ZUIPOͷϥΠϒϥϦͰ͢ɻ

େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ ଞͷฒྻॲཧΛ࢖Θͳ͍ཧ༝ ɾ4QBSLˠΊΜͲ͍ʢ޻਺Λަব͢Δඞཁ͕͋Δʣ ɾBTZODΩʔϫʔυ͸$Ͱେݏ͍ͩͬͨ ʢ1ZUIPOͰ͸৯Θͣݏ͍ʣ ɾNVMUJQSPDFTTJOH1SPDFTT͸एׯखܰ͞ʹ͚ܽΔ ʢ࢖͑ͳ͍͜ͱ͸ͳ͍ʣ ͋͘·Ͱݸਓతͳҙݟ

େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ EBTLԽɹϓϩηεͰॲཧ͠·͢ ίΞ࢖༻͢ΔEBTL༻%BUB'SBNFΛ࡞੒ JNQPSUEBTLEBUBGSBNFBTEE EEGEEGSPN@QBOEBT EG OQBSUJUJPOT
EFGBQQMZ@GVOD SPX IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ SFUVSOIPHF@EBUB IPHF@MJTUEGBQQMZ BQQMZ@GVOD BYJT NFUBܕΛࢦఆ DPNQVUF TDIFEVMFSQSPDFTTFT EBTLͷྫ KPCMJCԽYͰϓϩηεͰॲཧ͠·͢ EGΛͭʹ෼ׂ GSPNKPCMJCJNQPSU1BSBMMFM EFMBZFE 4&1"3"5&@$06/5 TFQ@TUFQJOU MFO EG 4&1"3"5&@$06/5 EG@MJTU<> GPSTUFQJOSBOHF MFO EG TFQ@TUFQ EG@MJTUBQQFOE EG<TUFQTFQ@TUFQ> KPCMJC༻ͷؔ਺ఆٛ EFGKPCMJC@GVOD EG EEGEEGSPN@QBOEBT EG OQBSUJUJPOT EFGBQQMZ@GVOD SPX IPHF@EBUBԿΒ͔ͷॏ͍ॲཧ SFUVSOIPHF@EBUB IPHF@MJTUEGBQQMZ BQQMZ@GVOD BYJT NFUBܕΛࢦఆ DPNQVUF TDIFEVMFSbQSPDFTTFT SFUVSOIPHF@MJTU KPCMJC༻ͷؔ਺ఆٛ GVHB@MJTU1BSBMMFM O@KPCT4&1"3"5&@$06/5 <EFMBZFE KPCMJC@GVOD EG@MJTU<TUFQ> GPSTUFQJO SBOHF 4&1"3"5&@$06/5 > +PCMJCͷྫ एׯख͚ؒͩͲEBTLͷॲཧ͸ ΄΅ྲྀ༻Ͱ͖Δ

େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ ͬŋТŋ ͬŲƄŖƃ +PCMJC ͬŋТŋ ͬŲƄŖƃ ͬŋТŋ ͬŲƄŖƃ
ͬŋТŋ ͬŋТŋ ͬŋТŋ ͬŋТŋ ͬŋТŋ %BTL

ݱࡏ ະདྷ աڈ
େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ ͭࢠͷ৔߹

େ͖ͳ୯Ґͷߴ଎Խ͸+PCMJCΛ࢖͏ EBTLͱ+PCMJCͲͬͪΛ࢖͏΂͖͔ ɾ%BUB'SBNF಺ͷߦ୯Ґͷॲཧ͸EBTL ɾ*0ͷେ͖ͳॲཧ΍Կ෼΋ֻ͔Δॲཧ͸+PCMJC ɾEBTLͷํ͕࣮૷ίετ͸͍҆ ɾएׯ࣮૷ʹ࣌ؒΛֻ͚ͯ΋͞ΒʹฒྻԽ͍ͨ͠ͱ͖͸+PCMJC ͍͍ͩͨ͜Μͳײ͡ ͋͘·Ͱݸਓతͳҙݟ

σϞʢ͕࣌ؒ͋Ε͹ʣ Θ ͔ Β Μ

·ͱΊ Θ ͔ Β Μ

·ͱΊ ूܭॲཧ͸BQQMZ Ͱ૊ΜͰ͓͘ Ξ΢τϓοτઌ͸෼ׂ͓ͯ͘͠ ߦ͝ͱͷॲཧͷฒྻԽ͸EBTLΛ࢖͏ େ͖ͳ୯ҐͷฒྻԽ͸KPCMJCΛ࢖͏
ʙ Λ͓ͯ͘͠ͱ ͸௨ৗͷ޻਺ͷൣғ಺ ͸ʮͪΐͬͱॲཧ͕ॏͯ͘ฒྻԽதͰ͢ʔʯͱ্࢘ʹݴͬͯ औΓ૊Ί͹ྑ͍಺༰ʢ͍͍ͤͥʙ࣌ؒఔ౓Ͱ࣮૷Ͱ͖Δ ͷͰ͓͢͢Ί

分析前処理で手軽に並列処理するために守っておくと良いこと

分析前処理で手軽に並列処理するために守っておくと良いこと

More Decks by yasubei

Other Decks in Science

Featured

Transcript