Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
身近に潜むtokenize 2016
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
moznion
July 03, 2016
Technology
0
4.1k
身近に潜むtokenize 2016
YAPC Hachioji 2016 LT 資料です
moznion
July 03, 2016
Tweet
Share
More Decks by moznion
See All by moznion
履歴テーブル、今回はこう作りました 〜 Delegated Types編 〜 / How We Built Our History Table This Time — With Delegated Types
moznion
16
11k
「データ無い! 腹立つ! 推論する!」から 「データ無い! 腹立つ! データを作る」へ チームでデータを作り、育てられるようにするまで / How can we create, use, and maintain data ourselves?
moznion
10
7k
避けられないI/O待ちに対処する: Rails アプリにおけるSSEとasync gemの活用 / Tackling Inevitable I/O Latency in Rails Apps with SSE and the async gem
moznion
3
5.3k
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
320
地に足の付いた現実的な技術選定から魔力のある体験を得る『AIレシート読み取り機能』のケーススタディ / From Grounded Tech Choices to Magical UX: A Case Study of AI Receipt Scanning
moznion
6
4.7k
Chrome Extension Techniques from Hell
moznion
1
270
Simple組み合わせ村から大都会Railsにやってきた俺は / Coming to Rails from the Simple
moznion
4
8.5k
AIレシート読み取り機能をRuby on Rails on AWSで実現するLLMにまつわるアレコレ / AI-based receipt reading function powered by LLM on Ruby on Rails on AWS
moznion
3
1.1k
Develop to Survive - YAPC::Hakodate 2024 Keynote
moznion
11
21k
Other Decks in Technology
See All in Technology
What happened to RubyGems and what can we learn?
mikemcquaid
0
310
Bill One 開発エンジニア 紹介資料
sansan33
PRO
5
17k
【Oracle Cloud ウェビナー】[Oracle AI Database + AWS] Oracle Database@AWSで広がるクラウドの新たな選択肢とAI時代のデータ戦略
oracle4engineer
PRO
2
170
OWASP Top 10:2025 リリースと 少しの日本語化にまつわる裏話
okdt
PRO
3
820
プロダクト成長を支える開発基盤とスケールに伴う課題
yuu26
4
1.3k
コスト削減から「セキュリティと利便性」を担うプラットフォームへ
sansantech
PRO
3
1.5k
We Built for Predictability; The Workloads Didn’t Care
stahnma
0
140
GitHub Issue Templates + Coding Agentで簡単みんなでIaC/Easy IaC for Everyone with GitHub Issue Templates + Coding Agent
aeonpeople
1
250
2026年、サーバーレスの現在地 -「制約と戦う技術」から「当たり前の実行基盤」へ- /serverless2026
slsops
2
260
Codex 5.3 と Opus 4.6 にコーポレートサイトを作らせてみた / Codex 5.3 vs Opus 4.6
ama_ch
0
180
Webhook best practices for rock solid and resilient deployments
glaforge
2
300
コミュニティが変えるキャリアの地平線:コロナ禍新卒入社のエンジニアがAWSコミュニティで見つけた成長の羅針盤
kentosuzuki
0
120
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.4k
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
190
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Bootstrapping a Software Product
garrettdimon
PRO
307
120k
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
0
440
Into the Great Unknown - MozCon
thekraken
40
2.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Fashionably flexible responsive web design (full day workshop)
malarkey
408
66k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
57
50k
Design in an AI World
tapps
0
140
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
19k
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
450
Transcript
ۙʹજΉ tokenize 2016 @moznion
@moznion
͜͜Ͱݴ͏ tokenize - ͳΜ͔͍ҙͷจࣈྻ͕͋ͬͯ - ͦΕΛίϯϐϡʔλ͕ղऍ͢͠ ͍୯Ґ (token) ʹͿͬͨΔ
Έͳ͞Μ tokenize ͯ͠·͔͢
༷ʑͳͷΛ token ʹ ͚͍͖ͯ·͠ΐ͏ ͚Δඞཁ͕͋Γ·͢
ྫ͑ʁ
༣ศ൪߸
༣ศ൪߸ ken_all.csv
ॅॴ
ॅॴ ૯লࢿྉ (pdf)
ి൪߸
ి൪߸ ૯লࢿྉ (doc, pdf)
ςϯγϣϯ্͕ͬͯ ͖·͔ͨ͠ʁ
͍ɼྑ͍Ͱ͢ ͘͢͝ྑ͍Ͱ͢
ࢢ֎ہ൪ͷΛ͠·͠ΐ͏
03-5321-1111
03-5321-1111
Φοɼ؆୯ͦ͏Ͱ͢Ͷ
ࢢ֎ہ൪
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
None
ͱΓ͋͑ͣதݟͯΈ·͠ΐ͏
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 1 ւಓߐผࢢɺࡳຈࢢɺ ౡࢢɺۭ܊ೆຈொ 11 CDE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 3 ւಓ༦ுࢢʢΛআ ͘ɻʣ 123 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 32 ւಓҏୡࢢɺѾా܊ ʢಎ但ބொٴͼ๛Ӝொʹ ݶΔɻʣɺ༗च܊ 142 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 93 ੨ݝेాࢢɺࡾ ࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށ
ொٴͼށொʹݶΔɻʣ 176 DE
Γ্͕ͬͯ·͍Γ·ͨ͠
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 363 େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫ ொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶ
Δɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ 6 BCDE
େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶΔɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ
ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ
͍
ݟ·͢
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ
ϋϋʔϯ
શ֯ಡͰ۟ΒΕͨ શׅ֯ހͷSࣜͩͳʁ
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ ୯७ͳϦετ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ͜Εവ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ߴ֊വ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ bool (cond)
φϧϗσΟε
͍͖ͬͯ·͢
ࠓ·Ͱͷઆ໌ͱؔͷͳ͍࣮ https://github.com/moznion/Number-Phone- JP-AreaCode
ͦͷ͏ͪ SࣜΛཧղ͢Δ࣮ʹͳΓ·͢
࠷ޙʹ
ެி mysqldump ఏڙͯ͘͠Ε