2017_B3_Seminar_3

0027afdecf3ac9d5a586f60abcec41d8?s=47 kakubari
February 10, 2017

 2017_B3_Seminar_3

長岡技術科学大学
自然言語処理研究室
角張竜晴

0027afdecf3ac9d5a586f60abcec41d8?s=128

kakubari

February 10, 2017
Tweet

Transcript

  1. ௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ϏοΫσʔλղੳೖ໳ 

  2. 目次 ˔ϏοΫσʔλͱ͸ ˔ϏοΫσʔλͷ؅ཧ 6/*9  ˔౷ܭॲཧͷܭࢉޡࠩ 

  3. ビックデータとは ˔ϏοΫσʔλͱ͸ ɹʮ̏7ʯଈͪɺ7PMVNF ༰ྔ      7BSJFUZ

    छྨ      7FMPDJUZ ஝ੵස౓      Ὃ σʔλͷ༰ྔ͕େ͖͘ɺσʔλͷछྨ͕ଟ༷Ͱɺ σʔλͷ஝ੵස౓͕ଟ͍ɻ 
  4. ビックデータの管理(UNIX) ˔ϏοΫσʔλͷ಺༰Λ֬ೝ͢Δ ὎σʔλͷ಺༰Λ஌Δ͜ͱͰɺߦ͏΂͖ղੳํ๏͕ܾ ·Δ  ɹ⾣DBUɿϑΝΠϧͷத਎Λશͯදࣔ   ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷத਎Λදࣔ ɹɹRΛԡ͢͜ͱͰऴྃ͢Δ

    DBUpMFDTW MFTTpMFDTW 
  5. ビックデータの管理(UNIX) ɹ⾣IFBEOɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ   ɹ⾣dcIFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ ɹɹɹɹɹɹɹΛ࠷ॳͷߦ͚ͩදࣔ   ɹ⾣UBJMrOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ 

    IFBErOpMFDTW TBNQMFQZpMFDTWcIFBE UBJMrOpMFDTW 
  6. ビックデータの管理(UNIX) ˔ϏοΫσʔλΛ੔ཧ͢Δ ὎ղੳ͕͠΍͍͢Α͏ʹɺσʔλͷஔ׵΍நग़Λߦ͏  ɹ⾣TFEɿσʔλͷஔ׵ ɹɹ὎Tͷ࣍ͷͷؒͷจࣈ͕ɺ ɹɹɹHͷલͷͷؒͷจࣈʹஔ׵͞ΕΔ TFElT HzpMFDTW 

  7. ビックデータの管理(UNIX) ɹ⾣zT @zɿҰߦ໨ͷΧϯϚΛ@ʹஔ׵  ɹ⾣TFElddzɿηϛίϩϯͰ۠੾Δ͜ͱͰɺ ɹɹɹɹɹɹɹɹͭͳ͛ͯॲཧΛهड़Ͱ͖Δ  ɹ⾣ ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ

     TFElT @T HzpMFDTWPVUQVUUYU 
  8. ビックデータの管理(UNIX) ɹ⾣BXLɿඞཁͳ߲໨ͷநग़ ɹɹɹɹҰߦͣͭ۠੾Γ͋ΔจࣈྻΛॲཧ͢Δ       ɹɹ'

    ɿΧϯϚ۠੾ΓͰॲཧ͢Δ͜ͱΛ໌ࣔ ɹɹɹɹʢσϑΥϧτͰ͸εϖʔε۠੾Γʣ BXLr' b\QSJOU^`pMFDTWPVUQVUUYU pMFDTW   BQQMF  PSBOHF  CBOBOB PVUQVUUYU     
  9. ビックデータの管理(UNIX) ɹ⾣BXL͸ϓϩάϥϛϯάݴޠ ɹɹ὎QSJOUG GPSจ JGจͳͲ͕࢖͑Δ BXLr'b\QSJOUG lT͸EݸaOz   ^`pMFDTWPVUQVUUYU

    pMFDTW  BQQMF PSBOHF CBOBOB PVUQVUUYU  BQQMF͸ݸ PSBOHF͸ݸ CBOBOB͸ݸ 
  10. ビックデータの管理(UNIX) ɹ⾣HSFQldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ ɹ     ɹ⾣HSFQrWldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ HSFQlFzpMFDTWPVUQVUUYU pMFDTW

     BQQMF PSBOHF CBOBOB PVUQVUUYU  BQQMF PSBOHF HSFQrWlFzpMFDTWPVUQVUUYU PVUQVUUYU  CBOBOB 
  11. ビックデータの管理(UNIX) ɹ⾣TPSUɿσʔλͷฒͼସ͑ ɹɹ὎ྦྷੵ෼෍ؔ਺΍σʔλͷ࠷খ஋ɾ࠷େ஋ ɹɹɹΛ֬ೝ͢Δ৔߹ʹ༻͍Δ      ɹL͸Ұྻ໨ʹண໨͠ɺH͸਺ࣈͰฒͼସ͑Δɻ

    ɹU ͸ΧϯϚ۠੾ΓͷϑΝΠϧͰ͋Δ͜ͱΛද͢ɻ TPSUrLHrU pMFDTW pMFDTW   BQQMF  PSBOHF  CBOBOB PVUQVUUYU   CBOBOB  BQQMF  PSBOHF 
  12. ビックデータの管理(UNIX) ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ      ɹ⾣VOJRrDɿಉ͡σʔλΛ·ͱΊɺΧ΢ϯτ͢Δ  

    ɹ TPSUrLHpMFDTWcVOJR pMFDTW      PVUQVUUYU     TPSUrLHVpMFDTW TPSUrLHpMFDTWcVOJRD PVUQVUUYU     
  13. 統計処理の計算誤差 ˔ޡࠩ ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ଴͞ΕΔ஋ͱɺ ଌఆ΍ܭࢉͳͲͰಘΒΕͨ஋ͱͷࠩʯ  ˔ޡࠩͷ෼ྨ ɹ⾣ϞσϧԽޡࠩ ɹ⾣ۙࣅޡࠩ ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ ɹ⾣ܭࢉޡࠩ

    
  14. 統計処理の計算誤差 ⾣ϞσϧԽޡࠩ ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕΋ͨΒ͢ޡࠩ  ɹྫʣৼΓࢠͷӡಈํఔࣜ ɹɹɹɾۭؾ఍߅Λແࢹ ɹɹɹɾมҟ͕ඍখͳ΋ͷ 

  15. 統計処理の計算誤差 ⾣ۙࣅޡࠩ ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ  ɹྫʣTJO  Λܭࢉ ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ

      TJO  d ɹɹɹ࣮ࡍʹ͸ɺ   TJO   ɹɹɹΑͬͯɺ͕ۙࣅޡࠩ 
  16. 統計処理の計算誤差 ⾣ܥ౷ޡࠩ ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ  ɹ὎Ұͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճ਺ΛॏͶ ͯ΋औΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ  ⾣ۮવޡࠩ ɹଌఆ͝ͱʹଌఆ஋ʹ͹Β͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ 

  17. 統計処理の計算誤差 ⾣ܭࢉޡࠩ ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ  ɹʙܭࢉޡࠩͷछྨʙ ɹɹ˗ؙΊޡࠩ ɹɹ˗ଧͪ੾Γޡࠩ ɹɹ˗৘ใམͪ 

  18. 統計処理の計算誤差 ˗ؙΊޡࠩ ɹ༗ޮ਺ࣈൣғ֎ͷ෦෼͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ  ɹྫʣʜ ɹɹɹ༗ޮ਺ࣈ͕ܻ̏ͷ৔߹ɺ ɹɹɹ͜ͷͱ͖ɺʜ 

  19. 統計処理の計算誤差 ˔ଧͪ੾Γޡࠩ ɹ਺ֶͰ༻͍ΔࣜͰɺཧ૝తͳ஋ͱͯ͠ແݶݸͷ࿨Λ ߟ͑Δɻे෼ʹۃݶ࿨΍ڃ਺࿨ʹ͍ۙͱ൑அܻͨ͠਺ Ͱଧͪ੾ͬͨͱ͖ͷޡࠩɹ  ɹྫʣ   

    ʜ  ɹ 
  20. 統計処理の計算誤差 ˔৘ใམͪɹ ɹઈର஋ʹେ͖ͳ͕ࠩ͋Δೋͭͷ࿨ͷՃݮΛߦͬͨ৔ ߹ʹɺܭࢉ͕·ͱ΋ʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ  ɹྫʣ༗ޮ਺ࣈܻ̑ͷ਺ Y Zº Y Z

       ɹɹɹ༗ޮ਺ࣈܻ̑Ͱ੾Γམͱ͢ͱ 
  21. 参考文献 ˔ߴ҆ඒࠤࢠฤஶɺాଜޫଠ࿠ɾࡾӜߤஶɺ ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖ໳ʯ ʢୈ̍ষʙୈ̏ষʣɺ ɹגࣜձࣾ೔ຊධ࿦ࣾɺ೥݄೔