2017_B3_Seminar_3

長岡技術科学大学
自然言語処理研究室
角張竜晴

Transcript

1. ௕Ԭٕज़Պֶେֶ
   ిؾిࢠ৘ใ޻ֶ՝ఔ
   ֶ෦೥ɹ֯ு
   ཽ੖
   ࣗવݴޠݚڀࣨ
   ೥౓ɹ#̏θϛ
   ʙୈճʙ
   ϏοΫσʔλղੳೖ໳
   
   
2. 目次 ˔ϏοΫσʔλͱ͸
   ˔ϏοΫσʔλͷ؅ཧ 6/*9
   ˔౷ܭॲཧͷܭࢉޡࠩ
   
   
3. ビックデータとは ˔ϏοΫσʔλͱ͸
   ɹʮ̏7ʯଈͪɺ
   
   7PMVNF ༰ྔ
   
   
   
   
   
   
   
   7BSJFUZ छྨ
   
   
   
   
   
   
   
   7FMPDJUZ ஝ੵස౓
   
   
   
   
   
   Ὃ
   σʔλͷ༰ྔ͕େ͖͘ɺσʔλͷछྨ͕ଟ༷Ͱɺ
   σʔλͷ஝ੵස౓͕ଟ͍ɻ
   
   
4. ビックデータの管理（UNIX） ˔ϏοΫσʔλͷ಺༰Λ֬ೝ͢Δ
   ὎σʔλͷ಺༰Λ஌Δ͜ͱͰɺߦ͏΂͖ղੳํ๏͕ܾ ·Δ
   
   ɹ⾣DBUɿϑΝΠϧͷத਎Λશͯදࣔ
   
   
   ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷத਎Λදࣔ
   
   ɹɹ
   RΛԡ͢͜ͱͰऴྃ͢Δ
   DBU
   pMFDTW
   MFTT
   pMFDTW
   
   
5. ビックデータの管理（UNIX） ɹ⾣IFBE
   OɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ
   
   
   ɹ⾣d
   c
   IFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ
   ɹɹɹɹɹɹɹ
   Λ࠷ॳͷߦ͚ͩදࣔ
   
   
   ɹ⾣UBJM
   rOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ
   
   IFBE
   rO
   pMFDTW
   TBNQMFQZ
   pMFDTW
   c
   IFBE
   UBJM
   rO
   pMFDTW
   
   
6. ビックデータの管理（UNIX） ˔ϏοΫσʔλΛ੔ཧ͢Δ
   ὎ղੳ͕͠΍͍͢Α͏ʹɺσʔλͷஔ׵΍நग़Λߦ͏
   
   ɹ⾣TFEɿσʔλͷஔ׵
   ɹɹ὎Tͷ࣍ͷͷؒͷจࣈ͕ɺ
   ɹɹɹHͷલͷͷؒͷจࣈʹஔ׵͞ΕΔ
   TFE
   lT 
   Hz
   pMFDTW
   
   
7. ビックデータの管理（UNIX） ɹ⾣zT @zɿҰߦ໨ͷΧϯϚΛ@ʹஔ׵
   
   ɹ⾣TFE
   l
   d
   
   d
   zɿηϛίϩϯͰ۠੾Δ͜ͱͰɺ
   
   ɹɹɹɹɹɹɹɹ
   ͭͳ͛ͯॲཧΛهड़Ͱ͖Δ
   
   ɹ⾣
   
   ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ
   
   TFE
   lT @
   T 
   Hz
   pMFDTW
   
   PVUQVUUYU
   
   
8. ビックデータの管理（UNIX） ɹ⾣BXLɿඞཁͳ߲໨ͷநग़
   ɹɹɹɹ
   
   Ұߦͣͭ۠੾Γ͋ΔจࣈྻΛॲཧ͢Δ
   
   
   
   
   
   
   ɹɹ' ɿΧϯϚ۠੾ΓͰॲཧ͢Δ͜ͱΛ໌ࣔ
   ɹɹɹɹʢσϑΥϧτͰ͸εϖʔε۠੾Γʣ
   BXL
   r'
   b\QSJOU
   ^`
   pMFDTW
   
   PVUQVUUYU
   pMFDTW
    BQQMF
    PSBOHF
    CBOBOB
   PVUQVUUYU
   
   
   
   
   
9. ビックデータの管理（UNIX） ɹ⾣BXL͸ϓϩάϥϛϯάݴޠ
   ɹɹ὎QSJOUG
   GPSจ
   JGจͳͲ͕࢖͑Δ
   BXL
   r'
   b\QSJOUG lT͸EݸaOz
   
    ^`
   pMFDTW
   
   PVUQVUUYU
   pMFDTW
   
   BQQMF
   
   PSBOHF
   
   CBOBOB
   PVUQVUUYU
   BQQMF͸ݸ
   PSBOHF͸ݸ
   CBOBOB͸ݸ
   
   
10. ビックデータの管理（UNIX） ɹ⾣HSFQ
    ldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ
    ɹ
    
    
    
    
    ɹ⾣HSFQ
    rW
    ldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ
    HSFQ
    lFz
    pMFDTW
    
    PVUQVUUYU
    pMFDTW
    
    BQQMF
    
    PSBOHF
    
    CBOBOB
    PVUQVUUYU
    
    BQQMF
    
    PSBOHF
    HSFQ
    rW
    lFz
    pMFDTW
    
    PVUQVUUYU
    PVUQVUUYU
    
    CBOBOB
    
    
11. ビックデータの管理（UNIX） ɹ⾣TPSUɿσʔλͷฒͼସ͑
    ɹɹ὎ྦྷੵ෼෍ؔ਺΍σʔλͷ࠷খ஋ɾ࠷େ஋
    ɹɹɹΛ֬ೝ͢Δ৔߹ʹ༻͍Δ
    
    
    
    
    
    ɹL͸Ұྻ໨ʹண໨͠ɺH͸਺ࣈͰฒͼସ͑Δɻ
    ɹU ͸ΧϯϚ۠੾ΓͷϑΝΠϧͰ͋Δ͜ͱΛද͢ɻ
    TPSU
    rLH
    rU
    pMFDTW
    pMFDTW
     BQQMF
     PSBOHF
     CBOBOB
    PVUQVUUYU
     CBOBOB
     BQQMF
     PSBOHF
    
    
12. ビックデータの管理（UNIX） ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ
    
    
    
    
    
    ɹ⾣VOJR
    rDɿಉ͡σʔλΛ·ͱΊɺΧ΢ϯτ͢Δ
    
    
    ɹ
    TPSU
    rLH
    pMFDTW
    c
    VOJR
    pMFDTW
    
    
    
    
    PVUQVUUYU
    
    
    
    TPSU
    rLH
    V
    pMFDTW
    TPSU
    rLH
    pMFDTW
    c
    VOJR
    D
    PVUQVUUYU
    
    
    
    
    
    
    
    
13. 統計処理の計算誤差 ˔ޡࠩ
    ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ଴͞ΕΔ஋ͱɺ ଌఆ΍ܭࢉͳͲͰಘΒΕͨ஋ͱͷࠩʯ
    
    ˔ޡࠩͷ෼ྨ
    ɹ⾣ϞσϧԽޡࠩ
    ɹ⾣ۙࣅޡࠩ
    ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ
    ɹ⾣ܭࢉޡࠩ
    
    
14. 統計処理の計算誤差 ⾣ϞσϧԽޡࠩ
    ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕΋ͨΒ͢ޡࠩ
    
    ɹྫʣৼΓࢠͷӡಈํఔࣜ
    ɹɹɹɾۭؾ఍߅Λແࢹ
    ɹɹɹɾมҟ͕ඍখͳ΋ͷ
    
    
15. 統計処理の計算誤差 ⾣ۙࣅޡࠩ
    ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ
    
    ɹྫʣTJO  Λܭࢉ
    ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ
    
    
    
    TJO  d
    ɹɹɹ࣮ࡍʹ͸ɺ
    
    
    
    TJO  
    ɹɹɹΑͬͯɺ͕ۙࣅޡࠩ
    
    
16. 統計処理の計算誤差 ⾣ܥ౷ޡࠩ
    ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ
    
    ɹ὎Ұͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճ਺ΛॏͶ ͯ΋औΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ
    
    ⾣ۮવޡࠩ
    ɹଌఆ͝ͱʹଌఆ஋ʹ͹Β͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ
    
    
17. 統計処理の計算誤差 ⾣ܭࢉޡࠩ
    ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ
    
    ɹʙܭࢉޡࠩͷछྨʙ
    ɹɹ˗ؙΊޡࠩ
    ɹɹ˗ଧͪ੾Γޡࠩ
    ɹɹ˗৘ใམͪ
    
    
18. 統計処理の計算誤差 ˗ؙΊޡࠩ
    ɹ༗ޮ਺ࣈൣғ֎ͷ෦෼͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ
    
    ɹྫʣʜ
    ɹɹɹ༗ޮ਺ࣈ͕ܻ̏ͷ৔߹ɺ
    ɹɹɹ͜ͷͱ͖ɺʜ
    
    
19. 統計処理の計算誤差 ˔ଧͪ੾Γޡࠩ
    ɹ਺ֶͰ༻͍ΔࣜͰɺཧ૝తͳ஋ͱͯ͠ແݶݸͷ࿨Λ ߟ͑Δɻे෼ʹۃݶ࿨΍ڃ਺࿨ʹ͍ۙͱ൑அܻͨ͠਺ Ͱଧͪ੾ͬͨͱ͖ͷޡࠩɹ
    
    ɹྫʣ    ʜ
    
    ɹ
    
    
20. 統計処理の計算誤差 ˔৘ใམͪɹ
    ɹઈର஋ʹେ͖ͳ͕ࠩ͋Δೋͭͷ࿨ͷՃݮΛߦͬͨ৔ ߹ʹɺܭࢉ͕·ͱ΋ʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ
    
    ɹྫʣ༗ޮ਺ࣈܻ̑ͷ਺
    
    Y
    Zº
    
    Y
    
    Z 
    
    
    
    
    
    
    
    
    
    
    ɹɹɹ༗ޮ਺ࣈܻ̑Ͱ੾Γམͱ͢ͱ
    
    
21. 参考文献 ˔ߴ҆ඒࠤࢠ
    ฤஶɺాଜޫଠ࿠ɾࡾӜ
    ߤ
    ஶɺ
    ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖ໳ʯ ʢୈ̍ষʙୈ̏ষʣɺ
    ɹגࣜձࣾ
    ೔ຊධ࿦ࣾɺ೥݄೔