Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2017_B3_Seminar_3
Search
kakubari
February 10, 2017
Technology
0
80
2017_B3_Seminar_3
長岡技術科学大学
自然言語処理研究室
角張竜晴
kakubari
February 10, 2017
Tweet
Share
More Decks by kakubari
See All by kakubari
動詞クエリの語間の関係性に基づくクエリマイニング
kakubari
0
110
Neural Modeling of Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis
kakubari
1
160
Leveraging Crowdsourcing for Paraphrase Recognition
kakubari
0
82
Automatically Acquired Lexical Knowledge Improves Japanese Joint Morphological and Dependency Analysis
kakubari
0
100
Labeling the Semantic Roles of Commas
kakubari
0
76
Integrating Case Frame into Japanese to Chinese Hierarchical Phrase-based Translation Model
kakubari
0
110
Improving Chinese Semantic Role Labelingusing High-quality Surface and Deep Case Frames
kakubari
0
89
Exploring Verb Frames for Sentence Simplification in Hindi
kakubari
0
130
述語項構造と照応関係のアノテーション
kakubari
0
230
Other Decks in Technology
See All in Technology
データ分析エージェント Socrates の育て方
na0
6
1.9k
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.3k
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
1
880
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
330
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
現場で効くClaude Code ─ 最新動向と企業導入
takaakikakei
1
260
テストを軸にした生き残り術
kworkdev
PRO
0
210
「その開発、認知負荷高すぎませんか?」Platform Engineeringで始める開発者体験カイゼン術
sansantech
PRO
2
390
Webアプリケーションにオブザーバビリティを実装するRust入門ガイド
nwiizo
7
880
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
Evolución del razonamiento matemático de GPT-4.1 a GPT-5 - Data Aventura Summit 2025 & VSCode DevDays
lauchacarro
0
210
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
10k
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
A Tale of Four Properties
chriscoyier
160
23k
Docker and Python
trallard
46
3.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Being A Developer After 40
akosma
90
590k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Building Applications with DynamoDB
mza
96
6.6k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Six Lessons from altMBA
skipperchong
28
4k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
KATA
mclloyd
32
14k
Transcript
Ԭٕज़Պֶେֶ ిؾిࢠใֶ՝ఔ ֶ෦ɹ֯ுཽ ࣗવݴޠݚڀࣨ ɹ#̏θϛ ʙୈճʙ ϏοΫσʔλղੳೖ
目次 ˔ϏοΫσʔλͱ ˔ϏοΫσʔλͷཧ 6/*9 ˔౷ܭॲཧͷܭࢉޡࠩ
ビックデータとは ˔ϏοΫσʔλͱ ɹʮ̏7ʯଈͪɺ7PMVNF ༰ྔ 7BSJFUZ
छྨ 7FMPDJUZ ੵස Ὃ σʔλͷ༰ྔ͕େ͖͘ɺσʔλͷछྨ͕ଟ༷Ͱɺ σʔλͷੵස͕ଟ͍ɻ
ビックデータの管理(UNIX) ˔ϏοΫσʔλͷ༰Λ֬ೝ͢Δ σʔλͷ༰ΛΔ͜ͱͰɺߦ͏͖ղੳํ๏͕ܾ ·Δ ɹ⾣DBUɿϑΝΠϧͷதΛશͯදࣔ ɹ⾣MFTTɿදࣔϞʔυͱͳΓɺϑΝΠϧͷதΛදࣔ ɹɹRΛԡ͢͜ͱͰऴྃ͢Δ
DBUpMFDTW MFTTpMFDTW
ビックデータの管理(UNIX) ɹ⾣IFBEOɿϑΝΠϧͷઌ಄͔ΒOߦ͚ͩදࣔ ɹ⾣dcIFBEɿʮʛʢύΠϓʣʯΑΓલͷ࣮ߦ݁Ռ ɹɹɹɹɹɹɹΛ࠷ॳͷߦ͚ͩදࣔ ɹ⾣UBJMrOɿϑΝΠϧͷ࠷ޙ͔ΒOߦ͚ͩදࣔ
IFBErOpMFDTW TBNQMFQZpMFDTWcIFBE UBJMrOpMFDTW
ビックデータの管理(UNIX) ˔ϏοΫσʔλΛཧ͢Δ ղੳ͕͍͢͠Α͏ʹɺσʔλͷஔநग़Λߦ͏ ɹ⾣TFEɿσʔλͷஔ ɹɹTͷ࣍ͷͷؒͷจࣈ͕ɺ ɹɹɹHͷલͷͷؒͷจࣈʹஔ͞ΕΔ TFElT HzpMFDTW
ビックデータの管理(UNIX) ɹ⾣zT @zɿҰߦͷΧϯϚΛ@ʹஔ ɹ⾣TFElddzɿηϛίϩϯͰ۠Δ͜ͱͰɺ ɹɹɹɹɹɹɹɹͭͳ͛ͯॲཧΛهड़Ͱ͖Δ ɹ⾣ ϦμΠϨΫτ ɿग़ྗ݁ՌΛϑΝΠϧʹॻࠐΈ
TFElT @T HzpMFDTWPVUQVUUYU
ビックデータの管理(UNIX) ɹ⾣BXLɿඞཁͳ߲ͷநग़ ɹɹɹɹҰߦͣͭ۠Γ͋ΔจࣈྻΛॲཧ͢Δ ɹɹ'
ɿΧϯϚ۠ΓͰॲཧ͢Δ͜ͱΛ໌ࣔ ɹɹɹɹʢσϑΥϧτͰεϖʔε۠Γʣ BXLr' b\QSJOU^`pMFDTWPVUQVUUYU pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU
ビックデータの管理(UNIX) ɹ⾣BXLϓϩάϥϛϯάݴޠ ɹɹQSJOUG GPSจ JGจͳͲ͕͑Δ BXLr'b\QSJOUG lTEݸaOz ^`pMFDTWPVUQVUUYU
pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMFݸ PSBOHFݸ CBOBOBݸ
ビックデータの管理(UNIX) ɹ⾣HSFQldzɿσʔλͷத͔ΒdΛؚΉߦΛݕࡧ ɹ ɹ⾣HSFQrWldzɿσʔλͷத͔ΒdΛؚ·ͳ͍ߦΛݕࡧ HSFQlFzpMFDTWPVUQVUUYU pMFDTW
BQQMF PSBOHF CBOBOB PVUQVUUYU BQQMF PSBOHF HSFQrWlFzpMFDTWPVUQVUUYU PVUQVUUYU CBOBOB
ビックデータの管理(UNIX) ɹ⾣TPSUɿσʔλͷฒͼସ͑ ɹɹྦྷੵؔσʔλͷ࠷খɾ࠷େ ɹɹɹΛ֬ೝ͢Δ߹ʹ༻͍Δ ɹLҰྻʹண͠ɺHࣈͰฒͼସ͑Δɻ
ɹU ΧϯϚ۠ΓͷϑΝΠϧͰ͋Δ͜ͱΛද͢ɻ TPSUrLHrU pMFDTW pMFDTW BQQMF PSBOHF CBOBOB PVUQVUUYU CBOBOB BQQMF PSBOHF
ビックデータの管理(UNIX) ɹ⾣VOJRɿಉ͡σʔλΛ·ͱΊΔ ɹ⾣VOJRrDɿಉ͡σʔλΛ·ͱΊɺΧϯτ͢Δ
ɹ TPSUrLHpMFDTWcVOJR pMFDTW PVUQVUUYU TPSUrLHVpMFDTW TPSUrLHpMFDTWcVOJRD PVUQVUUYU
統計処理の計算誤差 ˔ޡࠩ ɹϏοΫσʔλղੳΛ͢Δ্Ͱɺʮظ͞ΕΔͱɺ ଌఆܭࢉͳͲͰಘΒΕͨͱͷࠩʯ ˔ޡࠩͷྨ ɹ⾣ϞσϧԽޡࠩ ɹ⾣ۙࣅޡࠩ ɹ⾣ܥ౷ޡࠩɺۮવޡࠩ ɹ⾣ܭࢉޡࠩ
統計処理の計算誤差 ⾣ϞσϧԽޡࠩ ɹϞσϧԽͷࡍʹෳࡶԽΛආ͚ΔͨΊʹແࢹ͞Εͨཁ ૉ͕ͨΒ͢ޡࠩ ɹྫʣৼΓࢠͷӡಈํఔࣜ ɹɹɹɾۭؾ߅Λແࢹ ɹɹɹɾมҟ͕ඍখͳͷ
統計処理の計算誤差 ⾣ۙࣅޡࠩ ɹܭࢉͷ؆ૉԽͷͨΊʹۙࣅࣜΛ༻͍Δ͜ͱʹΑΔޡࠩ ɹྫʣTJO Λܭࢉ ɹɹɹTJO Y dYͰۙࣅ͢Δͱɺ
TJO d ɹɹɹ࣮ࡍʹɺ TJO ɹɹɹΑͬͯɺ͕ۙࣅޡࠩ
統計処理の計算誤差 ⾣ܥ౷ޡࠩ ɹଌఆͷํ๏ʹΑͬͯݱΕͯ͠·͏ޡࠩ ɹҰͭͷଌఆํ๏Ͱଌఆ͢ΔݶΓɺࢼߦճΛॏͶ ͯऔΓআ͔Εͣɺ౷ܭతʹͣΕ͕؍ଌ͞ΕΔ ⾣ۮવޡࠩ ɹଌఆ͝ͱʹଌఆʹΒ͖͕ͭੜ·ΕΔ͜ͱʹΑΔޡࠩ
統計処理の計算誤差 ⾣ܭࢉޡࠩ ɹ1$ͰܭࢉΛߦ͏ࡍʹɺແݶΛѻ͑ͳ͍͜ͱʹΑΔޡࠩ ɹʙܭࢉޡࠩͷछྨʙ ɹɹ˗ؙΊޡࠩ ɹɹ˗ଧͪΓޡࠩ ɹɹ˗ใམͪ
統計処理の計算誤差 ˗ؙΊޡࠩ ɹ༗ޮࣈൣғ֎ͷ෦͕ࣺͯΒΕΔ͜ͱʹΑΔޡࠩ ɹྫʣʜ ɹɹɹ༗ޮࣈ͕ܻ̏ͷ߹ɺ ɹɹɹ͜ͷͱ͖ɺʜ
統計処理の計算誤差 ˔ଧͪΓޡࠩ ɹֶͰ༻͍ΔࣜͰɺཧతͳͱͯ͠ແݶݸͷΛ ߟ͑Δɻेʹۃݶڃʹ͍ۙͱஅܻͨ͠ Ͱଧͪͬͨͱ͖ͷޡࠩɹ ɹྫʣ
ʜ ɹ
統計処理の計算誤差 ˔ใམͪɹ ɹઈରʹେ͖ͳ͕ࠩ͋ΔೋͭͷͷՃݮΛߦͬͨ ߹ʹɺܭࢉ͕·ͱʹߦΘΕͳ͍͜ͱʹΑΔޡࠩ ɹྫʣ༗ޮࣈܻ̑ͷ Y Zº Y Z
ɹɹɹ༗ޮࣈܻ̑ͰΓམͱ͢ͱ
参考文献 ˔ߴ҆ඒࠤࢠฤஶɺాଜޫଠɾࡾӜߤஶɺ ɹʮֶੜɾٕज़ऀͷͨΊͷϏοΫσʔλղੳೖʯ ʢୈ̍ষʙୈ̏ষʣɺ ɹגࣜձࣾຊධࣾɺ݄