Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2017_B3_Seminar_3
Search
kakubari
February 10, 2017
Technology
0
79
2017_B3_Seminar_3
長岡技術科学大学
自然言語処理研究室
角張竜晴
kakubari
February 10, 2017
Tweet
Share
More Decks by kakubari
See All by kakubari
動詞クエリの語間の関係性に基づくクエリマイニング
kakubari
0
110
Neural Modeling of Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis
kakubari
1
150
Leveraging Crowdsourcing for Paraphrase Recognition
kakubari
0
75
Automatically Acquired Lexical Knowledge Improves Japanese Joint Morphological and Dependency Analysis
kakubari
0
99
Labeling the Semantic Roles of Commas
kakubari
0
68
Integrating Case Frame into Japanese to Chinese Hierarchical Phrase-based Translation Model
kakubari
0
110
Improving Chinese Semantic Role Labelingusing High-quality Surface and Deep Case Frames
kakubari
0
87
Exploring Verb Frames for Sentence Simplification in Hindi
kakubari
0
120
述語項構造と照応関係のアノテーション
kakubari
0
220
Other Decks in Technology
See All in Technology
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
akuwano
3
130
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
3
180
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
170
事例で学ぶ!B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
bitkey
0
110
AWS CDK 開発を成功に導くトラブルシューティングガイド
wandora58
2
110
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
1.1k
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
410
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
3
22k
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
3
17k
LLM時代の検索
shibuiwilliam
2
380
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
2
380
【Oracle Cloud ウェビナー】インフラのプロフェッショナル集団KELが考えるOCIでのソリューション実現
oracle4engineer
PRO
1
100
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Done Done
chrislema
184
16k
Agile that works and the tools we love
rasmusluckow
329
21k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
GitHub's CSS Performance
jonrohan
1031
460k
Building Adaptive Systems
keathley
43
2.7k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Side Projects
sachag
455
42k
Scaling GitHub
holman
460
140k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Transcript
Ԭٕज़Պֶେֶ ిؾిࢠใֶ՝ఔ ֶ෦ɹ֯ுཽ ࣗવݴޠݚڀࣨ ɹ#̏θϛ ʙୈճʙ ϏοΫσʔλղੳೖ
目次 ˔ϏοΫσʔλͱ ˔ϏοΫσʔλͷཧ 6/*9 ˔౷ܭॲཧͷܭࢉޡࠩ
ビックデータとは ˔ϏοΫσʔλͱ ɹʮ̏7ʯଈͪɺ7PMVNF ༰ྔ 7BSJFUZ
छྨ 7FMPDJUZ ੵස Ὃ σʔλͷ༰ྔ͕େ͖͘ɺσʔλͷछྨ͕ଟ༷Ͱɺ σʔλͷੵස͕ଟ͍ɻ
ビックデータの管理(UNIX) ˔ϏοΫσʔλͷ༰Λ֬ೝ͢Δ σʔλͷ༰ΛΔ͜ͱͰɺߦ͏͖ղੳํ๏͕ܾ ·Δ ɹ⾣DBUɿϑΝΠϧͷதΛશͯදࣔ ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷதΛදࣔ ɹɹRΛԡ͢͜ͱͰऴྃ͢Δ
DBUpMFDTW MFTTpMFDTW
ビックデータの管理(UNIX) ɹ⾣IFBEOɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ ɹ⾣dcIFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ ɹɹɹɹɹɹɹΛ࠷ॳͷߦ͚ͩදࣔ ɹ⾣UBJMrOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ
IFBErOpMFDTW TBNQMFQZpMFDTWcIFBE UBJMrOpMFDTW
ビックデータの管理(UNIX) ˔ϏοΫσʔλΛཧ͢Δ ղੳ͕͍͢͠Α͏ʹɺσʔλͷஔநग़Λߦ͏ ɹ⾣TFEɿσʔλͷஔ ɹɹTͷ࣍ͷͷؒͷจࣈ͕ɺ ɹɹɹHͷલͷͷؒͷจࣈʹஔ͞ΕΔ TFElT HzpMFDTW
ビックデータの管理(UNIX) ɹ⾣zT @zɿҰߦͷΧϯϚΛ@ʹஔ ɹ⾣TFElddzɿηϛίϩϯͰ۠Δ͜ͱͰɺ ɹɹɹɹɹɹɹɹͭͳ͛ͯॲཧΛهड़Ͱ͖Δ ɹ⾣ ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ
TFElT @T HzpMFDTWPVUQVUUYU
ビックデータの管理(UNIX) ɹ⾣BXLɿඞཁͳ߲ͷநग़ ɹɹɹɹҰߦͣͭ۠Γ͋ΔจࣈྻΛॲཧ͢Δ ɹɹ'
ɿΧϯϚ۠ΓͰॲཧ͢Δ͜ͱΛ໌ࣔ ɹɹɹɹʢσϑΥϧτͰεϖʔε۠Γʣ BXLr' b\QSJOU^`pMFDTWPVUQVUUYU pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU
ビックデータの管理(UNIX) ɹ⾣BXLϓϩάϥϛϯάݴޠ ɹɹQSJOUG GPSจ JGจͳͲ͕͑Δ BXLr'b\QSJOUG lTEݸaOz ^`pMFDTWPVUQVUUYU
pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMFݸ PSBOHFݸ CBOBOBݸ
ビックデータの管理(UNIX) ɹ⾣HSFQldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ ɹ ɹ⾣HSFQrWldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ HSFQlFzpMFDTWPVUQVUUYU pMFDTW
BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMF PSBOHF HSFQrWlFzpMFDTWPVUQVUUYU PVUQVUUYU CBOBOB
ビックデータの管理(UNIX) ɹ⾣TPSUɿσʔλͷฒͼସ͑ ɹɹྦྷੵؔσʔλͷ࠷খɾ࠷େ ɹɹɹΛ֬ೝ͢Δ߹ʹ༻͍Δ ɹLҰྻʹண͠ɺHࣈͰฒͼସ͑Δɻ
ɹU ΧϯϚ۠ΓͷϑΝΠϧͰ͋Δ͜ͱΛද͢ɻ TPSUrLHrU pMFDTW pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU CBOBOB BQQMF PSBOHF
ビックデータの管理(UNIX) ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ ɹ⾣VOJRrDɿಉ͡σʔλΛ·ͱΊɺΧϯτ͢Δ
ɹ TPSUrLHpMFDTWcVOJR pMFDTW PVUQVUUYU TPSUrLHVpMFDTW TPSUrLHpMFDTWcVOJRD PVUQVUUYU
統計処理の計算誤差 ˔ޡࠩ ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ͞ΕΔͱɺ ଌఆܭࢉͳͲͰಘΒΕͨͱͷࠩʯ ˔ޡࠩͷྨ ɹ⾣ϞσϧԽޡࠩ ɹ⾣ۙࣅޡࠩ ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ ɹ⾣ܭࢉޡࠩ
統計処理の計算誤差 ⾣ϞσϧԽޡࠩ ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕ͨΒ͢ޡࠩ ɹྫʣৼΓࢠͷӡಈํఔࣜ ɹɹɹɾۭؾ߅Λແࢹ ɹɹɹɾมҟ͕ඍখͳͷ
統計処理の計算誤差 ⾣ۙࣅޡࠩ ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ ɹྫʣTJO Λܭࢉ ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ
TJO d ɹɹɹ࣮ࡍʹɺ TJO ɹɹɹΑͬͯɺ͕ۙࣅޡࠩ
統計処理の計算誤差 ⾣ܥ౷ޡࠩ ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ ɹҰͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճΛॏͶ ͯऔΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ ⾣ۮવޡࠩ ɹଌఆ͝ͱʹଌఆʹΒ͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ
統計処理の計算誤差 ⾣ܭࢉޡࠩ ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ ɹʙܭࢉޡࠩͷछྨʙ ɹɹ˗ؙΊޡࠩ ɹɹ˗ଧͪΓޡࠩ ɹɹ˗ใམͪ
統計処理の計算誤差 ˗ؙΊޡࠩ ɹ༗ޮࣈൣғ֎ͷ෦͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ ɹྫʣʜ ɹɹɹ༗ޮࣈ͕ܻ̏ͷ߹ɺ ɹɹɹ͜ͷͱ͖ɺʜ
統計処理の計算誤差 ˔ଧͪΓޡࠩ ɹֶͰ༻͍ΔࣜͰɺཧతͳͱͯ͠ແݶݸͷΛ ߟ͑Δɻेʹۃݶڃʹ͍ۙͱஅܻͨ͠ Ͱଧͪͬͨͱ͖ͷޡࠩɹ ɹྫʣ
ʜ ɹ
統計処理の計算誤差 ˔ใམͪɹ ɹઈରʹେ͖ͳ͕ࠩ͋ΔೋͭͷͷՃݮΛߦͬͨ ߹ʹɺܭࢉ͕·ͱʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ ɹྫʣ༗ޮࣈܻ̑ͷ Y Zº Y Z
ɹɹɹ༗ޮࣈܻ̑ͰΓམͱ͢ͱ
参考文献 ˔ߴ҆ඒࠤࢠฤஶɺాଜޫଠɾࡾӜߤஶɺ ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖʯ ʢୈ̍ষʙୈ̏ষʣɺ ɹגࣜձࣾຊධࣾɺ݄