Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
身近に潜むtokenize 2016
Search
moznion
July 03, 2016
Technology
0
4.1k
身近に潜むtokenize 2016
YAPC Hachioji 2016 LT 資料です
moznion
July 03, 2016
Tweet
Share
More Decks by moznion
See All by moznion
避けられないI/O待ちに対処する: Rails アプリにおけるSSEとasync gemの活用 / Tackling Inevitable I/O Latency in Rails Apps with SSE and the async gem
moznion
3
3.1k
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
200
地に足の付いた現実的な技術選定から魔力のある体験を得る『AIレシート読み取り機能』のケーススタディ / From Grounded Tech Choices to Magical UX: A Case Study of AI Receipt Scanning
moznion
6
4.6k
Chrome Extension Techniques from Hell
moznion
1
240
Simple組み合わせ村から大都会Railsにやってきた俺は / Coming to Rails from the Simple
moznion
4
8.3k
AIレシート読み取り機能をRuby on Rails on AWSで実現するLLMにまつわるアレコレ / AI-based receipt reading function powered by LLM on Ruby on Rails on AWS
moznion
3
1k
Develop to Survive - YAPC::Hakodate 2024 Keynote
moznion
11
19k
これはPerl? それともRuby? クイズ〜〜〜〜〜!!!- Perl or Ruby Quiz
moznion
3
3k
Perl 5 OOP機構30年史 - Perl 5's OOP Mechanism over the past 30 years
moznion
1
1.2k
Other Decks in Technology
See All in Technology
abema-trace-sampling-observability-cost-optimization
tetsuya28
0
460
AIとの協業で実現!レガシーコードをKotlinらしく生まれ変わらせる実践ガイド
zozotech
PRO
2
310
DMMの検索システムをSolrからElasticCloudに移行した話
hmaa_ryo
0
360
サブドメインテイクオーバー事例紹介と対策について
mikit
14
6.6k
AIがコードを書いてくれるなら、新米エンジニアは何をする? / komekaigi2025
nkzn
24
17k
Playwrightで始めるUI自動テスト入門
devops_vtj
0
110
設計に疎いエンジニアでも始めやすいアーキテクチャドキュメント
phaya72
26
17k
SOTA競争から人間を超える画像認識へ
shinya7y
0
690
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
6
1.7k
2025/10/27 JJUGナイトセミナー WildFlyとQuarkusの 始め方
megascus
0
110
dbtとAIエージェントを組み合わせて見えたデータ調査の新しい形
10xinc
7
1.8k
datadog-incident-management-intro
tetsuya28
0
120
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1k
Raft: Consensus for Rubyists
vanstee
140
7.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Site-Speed That Sticks
csswizardry
13
940
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.3k
BBQ
matthewcrist
89
9.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.7k
It's Worth the Effort
3n
187
28k
Transcript
ۙʹજΉ tokenize 2016 @moznion
@moznion
͜͜Ͱݴ͏ tokenize - ͳΜ͔͍ҙͷจࣈྻ͕͋ͬͯ - ͦΕΛίϯϐϡʔλ͕ղऍ͢͠ ͍୯Ґ (token) ʹͿͬͨΔ
Έͳ͞Μ tokenize ͯ͠·͔͢
༷ʑͳͷΛ token ʹ ͚͍͖ͯ·͠ΐ͏ ͚Δඞཁ͕͋Γ·͢
ྫ͑ʁ
༣ศ൪߸
༣ศ൪߸ ken_all.csv
ॅॴ
ॅॴ ૯লࢿྉ (pdf)
ి൪߸
ి൪߸ ૯লࢿྉ (doc, pdf)
ςϯγϣϯ্͕ͬͯ ͖·͔ͨ͠ʁ
͍ɼྑ͍Ͱ͢ ͘͢͝ྑ͍Ͱ͢
ࢢ֎ہ൪ͷΛ͠·͠ΐ͏
03-5321-1111
03-5321-1111
Φοɼ؆୯ͦ͏Ͱ͢Ͷ
ࢢ֎ہ൪
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
None
ͱΓ͋͑ͣதݟͯΈ·͠ΐ͏
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 1 ւಓߐผࢢɺࡳຈࢢɺ ౡࢢɺۭ܊ೆຈொ 11 CDE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 3 ւಓ༦ுࢢʢΛআ ͘ɻʣ 123 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 32 ւಓҏୡࢢɺѾా܊ ʢಎ但ބொٴͼ๛Ӝொʹ ݶΔɻʣɺ༗च܊ 142 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 93 ੨ݝेాࢢɺࡾ ࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށ
ொٴͼށொʹݶΔɻʣ 176 DE
Γ্͕ͬͯ·͍Γ·ͨ͠
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 363 େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫ ொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶ
Δɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ 6 BCDE
େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶΔɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ
ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ
͍
ݟ·͢
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ
ϋϋʔϯ
શ֯ಡͰ۟ΒΕͨ શׅ֯ހͷSࣜͩͳʁ
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ ୯७ͳϦετ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ͜Εവ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ߴ֊വ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ bool (cond)
φϧϗσΟε
͍͖ͬͯ·͢
ࠓ·Ͱͷઆ໌ͱؔͷͳ͍࣮ https://github.com/moznion/Number-Phone- JP-AreaCode
ͦͷ͏ͪ SࣜΛཧղ͢Δ࣮ʹͳΓ·͢
࠷ޙʹ
ެி mysqldump ఏڙͯ͘͠Ε