2017_B3_Seminar_3

௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ϏοΫσʔλղੳೖ໳

目次 ˔ϏοΫσʔλͱ͸ ˔ϏοΫσʔλͷ؅ཧ 6/*9 ˔౷ܭॲཧͷܭࢉޡࠩ

ビックデータとは ˔ϏοΫσʔλͱ͸ ɹʮ̏7ʯଈͪɺ7PMVNF ༰ྔ 7BSJFUZ
छྨ 7FMPDJUZ ஝ੵස౓ Ὃ σʔλͷ༰ྔ͕େ͖͘ɺσʔλͷछྨ͕ଟ༷Ͱɺ σʔλͷ஝ੵස౓͕ଟ͍ɻ

ビックデータの管理（UNIX） ˔ϏοΫσʔλͷ಺༰Λ֬ೝ͢Δ ὎σʔλͷ಺༰Λ஌Δ͜ͱͰɺߦ͏΂͖ղੳํ๏͕ܾ ·Δ ɹ⾣DBUɿϑΝΠϧͷத਎Λશͯදࣔ ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷத਎Λදࣔ ɹɹRΛԡ͢͜ͱͰऴྃ͢Δ
DBUpMFDTW MFTTpMFDTW

ビックデータの管理（UNIX） ɹ⾣IFBEOɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ ɹ⾣dcIFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ ɹɹɹɹɹɹɹΛ࠷ॳͷߦ͚ͩදࣔ ɹ⾣UBJMrOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ
IFBErOpMFDTW TBNQMFQZpMFDTWcIFBE UBJMrOpMFDTW

ビックデータの管理（UNIX） ˔ϏοΫσʔλΛ੔ཧ͢Δ ὎ղੳ͕͠΍͍͢Α͏ʹɺσʔλͷஔ׵΍நग़Λߦ͏ ɹ⾣TFEɿσʔλͷஔ׵ ɹɹ὎Tͷ࣍ͷͷؒͷจࣈ͕ɺ ɹɹɹHͷલͷͷؒͷจࣈʹஔ׵͞ΕΔ TFElT HzpMFDTW

ビックデータの管理（UNIX） ɹ⾣zT @zɿҰߦ໨ͷΧϯϚΛ@ʹஔ׵ ɹ⾣TFElddzɿηϛίϩϯͰ۠੾Δ͜ͱͰɺ ɹɹɹɹɹɹɹɹͭͳ͛ͯॲཧΛهड़Ͱ͖Δ ɹ⾣ ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ
TFElT @T HzpMFDTWPVUQVUUYU

ビックデータの管理（UNIX） ɹ⾣BXLɿඞཁͳ߲໨ͷநग़ ɹɹɹɹҰߦͣͭ۠੾Γ͋ΔจࣈྻΛॲཧ͢Δ ɹɹ'
ɿΧϯϚ۠੾ΓͰॲཧ͢Δ͜ͱΛ໌ࣔ ɹɹɹɹʢσϑΥϧτͰ͸εϖʔε۠੾Γʣ BXLr' b\QSJOU^`pMFDTWPVUQVUUYU pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU

ビックデータの管理（UNIX） ɹ⾣BXL͸ϓϩάϥϛϯάݴޠ ɹɹ὎QSJOUG GPSจ JGจͳͲ͕࢖͑Δ BXLr'b\QSJOUG lT͸EݸaOz ^`pMFDTWPVUQVUUYU
pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMF͸ݸ PSBOHF͸ݸ CBOBOB͸ݸ

ビックデータの管理（UNIX） ɹ⾣HSFQldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ ɹ ɹ⾣HSFQrWldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ HSFQlFzpMFDTWPVUQVUUYU pMFDTW
BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMF PSBOHF HSFQrWlFzpMFDTWPVUQVUUYU PVUQVUUYU CBOBOB

ビックデータの管理（UNIX） ɹ⾣TPSUɿσʔλͷฒͼସ͑ ɹɹ὎ྦྷੵ෼෍ؔ਺΍σʔλͷ࠷খ஋ɾ࠷େ஋ ɹɹɹΛ֬ೝ͢Δ৔߹ʹ༻͍Δ ɹL͸Ұྻ໨ʹண໨͠ɺH͸਺ࣈͰฒͼସ͑Δɻ
ɹU ͸ΧϯϚ۠੾ΓͷϑΝΠϧͰ͋Δ͜ͱΛද͢ɻ TPSUrLHrU pMFDTW pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU CBOBOB BQQMF PSBOHF

ビックデータの管理（UNIX） ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ ɹ⾣VOJRrDɿಉ͡σʔλΛ·ͱΊɺΧ΢ϯτ͢Δ
ɹ TPSUrLHpMFDTWcVOJR pMFDTW PVUQVUUYU TPSUrLHVpMFDTW TPSUrLHpMFDTWcVOJRD PVUQVUUYU

統計処理の計算誤差 ˔ޡࠩ ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ଴͞ΕΔ஋ͱɺ ଌఆ΍ܭࢉͳͲͰಘΒΕͨ஋ͱͷࠩʯ ˔ޡࠩͷ෼ྨ ɹ⾣ϞσϧԽޡࠩ ɹ⾣ۙࣅޡࠩ ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ ɹ⾣ܭࢉޡࠩ

統計処理の計算誤差⾣ϞσϧԽޡࠩ ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕΋ͨΒ͢ޡࠩ ɹྫʣৼΓࢠͷӡಈํఔࣜ ɹɹɹɾۭؾ఍߅Λແࢹ ɹɹɹɾมҟ͕ඍখͳ΋ͷ

統計処理の計算誤差⾣ۙࣅޡࠩ ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ ɹྫʣTJO Λܭࢉ ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ
TJO d ɹɹɹ࣮ࡍʹ͸ɺ TJO ɹɹɹΑͬͯɺ͕ۙࣅޡࠩ

統計処理の計算誤差⾣ܥ౷ޡࠩ ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ ɹ὎Ұͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճ਺ΛॏͶ ͯ΋औΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ ⾣ۮવޡࠩ ɹଌఆ͝ͱʹଌఆ஋ʹ͹Β͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ

統計処理の計算誤差⾣ܭࢉޡࠩ ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ ɹʙܭࢉޡࠩͷछྨʙ ɹɹ˗ؙΊޡࠩ ɹɹ˗ଧͪ੾Γޡࠩ ɹɹ˗৘ใམͪ

統計処理の計算誤差 ˗ؙΊޡࠩ ɹ༗ޮ਺ࣈൣғ֎ͷ෦෼͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ ɹྫʣʜ ɹɹɹ༗ޮ਺ࣈ͕ܻ̏ͷ৔߹ɺ ɹɹɹ͜ͷͱ͖ɺʜ

統計処理の計算誤差 ˔ଧͪ੾Γޡࠩ ɹ਺ֶͰ༻͍ΔࣜͰɺཧ૝తͳ஋ͱͯ͠ແݶݸͷ࿨Λ ߟ͑Δɻे෼ʹۃݶ࿨΍ڃ਺࿨ʹ͍ۙͱ൑அܻͨ͠਺ Ͱଧͪ੾ͬͨͱ͖ͷޡࠩɹ ɹྫʣ
ʜ ɹ

統計処理の計算誤差 ˔৘ใམͪɹ ɹઈର஋ʹେ͖ͳ͕ࠩ͋Δೋͭͷ࿨ͷՃݮΛߦͬͨ৔ ߹ʹɺܭࢉ͕·ͱ΋ʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ ɹྫʣ༗ޮ਺ࣈܻ̑ͷ਺ Y Zº Y Z
ɹɹɹ༗ޮ਺ࣈܻ̑Ͱ੾Γམͱ͢ͱ

参考文献 ˔ߴ҆ඒࠤࢠฤஶɺాଜޫଠ࿠ɾࡾӜߤஶɺ ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖ໳ʯ ʢୈ̍ষʙୈ̏ষʣɺ ɹגࣜձࣾ೔ຊධ࿦ࣾɺ೥݄೔

2017_B3_Seminar_3

2017_B3_Seminar_3

kakubari

More Decks by kakubari

Other Decks in Technology

Featured

Transcript

௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ϏοΫσʔλղੳೖ໳

目次 ˔ϏοΫσʔλͱ͸ ˔ϏοΫσʔλͷ؅ཧ 6/*9 ˔౷ܭॲཧͷܭࢉޡࠩ

ビックデータとは ˔ϏοΫσʔλͱ͸ ɹʮ̏7ʯଈͪɺ7PMVNF ༰ྔ 7BSJFUZ

ビックデータの管理（UNIX） ˔ϏοΫσʔλͷ಺༰Λ֬ೝ͢Δ ὎σʔλͷ಺༰Λ஌Δ͜ͱͰɺߦ͏΂͖ղੳํ๏͕ܾ ·Δ ɹ⾣DBUɿϑΝΠϧͷத਎Λશͯදࣔ ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷத਎Λදࣔ ɹɹRΛԡ͢͜ͱͰऴྃ͢Δ

ビックデータの管理（UNIX） ɹ⾣IFBEOɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ ɹ⾣dcIFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ ɹɹɹɹɹɹɹΛ࠷ॳͷߦ͚ͩදࣔ ɹ⾣UBJMrOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ

ビックデータの管理（UNIX） ˔ϏοΫσʔλΛ੔ཧ͢Δ ὎ղੳ͕͠΍͍͢Α͏ʹɺσʔλͷஔ׵΍நग़Λߦ͏ ɹ⾣TFEɿσʔλͷஔ׵ ɹɹ὎Tͷ࣍ͷͷؒͷจࣈ͕ɺ ɹɹɹHͷલͷͷؒͷจࣈʹஔ׵͞ΕΔ TFElT HzpMFDTW

ビックデータの管理（UNIX） ɹ⾣zT @zɿҰߦ໨ͷΧϯϚΛ@ʹஔ׵ ɹ⾣TFElddzɿηϛίϩϯͰ۠੾Δ͜ͱͰɺ ɹɹɹɹɹɹɹɹͭͳ͛ͯॲཧΛهड़Ͱ͖Δ ɹ⾣ ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ

ビックデータの管理（UNIX） ɹ⾣BXLɿඞཁͳ߲໨ͷநग़ ɹɹɹɹҰߦͣͭ۠੾Γ͋ΔจࣈྻΛॲཧ͢Δ ɹɹ'

ビックデータの管理（UNIX） ɹ⾣BXL͸ϓϩάϥϛϯάݴޠ ɹɹ὎QSJOUG GPSจ JGจͳͲ͕࢖͑Δ BXLr'b\QSJOUG lT͸EݸaOz ^`pMFDTWPVUQVUUYU

ビックデータの管理（UNIX） ɹ⾣HSFQldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ ɹ ɹ⾣HSFQrWldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ HSFQlFzpMFDTWPVUQVUUYU pMFDTW

ビックデータの管理（UNIX） ɹ⾣TPSUɿσʔλͷฒͼସ͑ ɹɹ὎ྦྷੵ෼෍ؔ਺΍σʔλͷ࠷খ஋ɾ࠷େ஋ ɹɹɹΛ֬ೝ͢Δ৔߹ʹ༻͍Δ ɹL͸Ұྻ໨ʹண໨͠ɺH͸਺ࣈͰฒͼସ͑Δɻ

ビックデータの管理（UNIX） ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ ɹ⾣VOJRrDɿಉ͡σʔλΛ·ͱΊɺΧ΢ϯτ͢Δ

統計処理の計算誤差 ˔ޡࠩ ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ଴͞ΕΔ஋ͱɺ ଌఆ΍ܭࢉͳͲͰಘΒΕͨ஋ͱͷࠩʯ ˔ޡࠩͷ෼ྨ ɹ⾣ϞσϧԽޡࠩ ɹ⾣ۙࣅޡࠩ ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ ɹ⾣ܭࢉޡࠩ

統計処理の計算誤差⾣ϞσϧԽޡࠩ ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕΋ͨΒ͢ޡࠩ ɹྫʣৼΓࢠͷӡಈํఔࣜ ɹɹɹɾۭؾ఍߅Λແࢹ ɹɹɹɾมҟ͕ඍখͳ΋ͷ

統計処理の計算誤差⾣ۙࣅޡࠩ ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ ɹྫʣTJO Λܭࢉ ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ

統計処理の計算誤差⾣ܥ౷ޡࠩ ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ ɹ὎Ұͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճ਺ΛॏͶ ͯ΋औΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ ⾣ۮવޡࠩ ɹଌఆ͝ͱʹଌఆ஋ʹ͹Β͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ

統計処理の計算誤差⾣ܭࢉޡࠩ ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ ɹʙܭࢉޡࠩͷछྨʙ ɹɹ˗ؙΊޡࠩ ɹɹ˗ଧͪ੾Γޡࠩ ɹɹ˗৘ใམͪ

統計処理の計算誤差 ˗ؙΊޡࠩ ɹ༗ޮ਺ࣈൣғ֎ͷ෦෼͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ ɹྫʣʜ ɹɹɹ༗ޮ਺ࣈ͕ܻ̏ͷ৔߹ɺ ɹɹɹ͜ͷͱ͖ɺʜ

統計処理の計算誤差 ˔ଧͪ੾Γޡࠩ ɹ਺ֶͰ༻͍ΔࣜͰɺཧ૝తͳ஋ͱͯ͠ແݶݸͷ࿨Λ ߟ͑Δɻे෼ʹۃݶ࿨΍ڃ਺࿨ʹ͍ۙͱ൑அܻͨ͠਺ Ͱଧͪ੾ͬͨͱ͖ͷޡࠩɹ ɹྫʣ

統計処理の計算誤差 ˔৘ใམͪɹ ɹઈର஋ʹେ͖ͳ͕ࠩ͋Δೋͭͷ࿨ͷՃݮΛߦͬͨ৔ ߹ʹɺܭࢉ͕·ͱ΋ʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ ɹྫʣ༗ޮ਺ࣈܻ̑ͷ਺ Y Zº Y Z

参考文献 ˔ߴ҆ඒࠤࢠฤஶɺాଜޫଠ࿠ɾࡾӜߤஶɺ ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖ໳ʯ ʢୈ̍ষʙୈ̏ষʣɺ ɹגࣜձࣾ೔ຊධ࿦ࣾɺ೥݄೔