Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
身近に潜むtokenize 2016
Search
moznion
July 03, 2016
Technology
4.1k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
身近に潜むtokenize 2016
YAPC Hachioji 2016 LT 資料です
moznion
July 03, 2016
More Decks by moznion
See All by moznion
ブラウザアプリの継続的パフォーマンスモニタリング (序) / Continuous Browser Application Performance Monitoring; Act 1
moznion
0
130
reFACToring
moznion
1
1.4k
cccccc
moznion
1
2.7k
履歴テーブル、今回はこう作りました 〜 Delegated Types編 〜 / How We Built Our History Table This Time — With Delegated Types
moznion
16
16k
「データ無い! 腹立つ! 推論する!」から 「データ無い! 腹立つ! データを作る」へ チームでデータを作り、育てられるようにするまで / How can we create, use, and maintain data ourselves?
moznion
11
7.7k
避けられないI/O待ちに対処する: Rails アプリにおけるSSEとasync gemの活用 / Tackling Inevitable I/O Latency in Rails Apps with SSE and the async gem
moznion
4
9.7k
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
480
地に足の付いた現実的な技術選定から魔力のある体験を得る『AIレシート読み取り機能』のケーススタディ / From Grounded Tech Choices to Magical UX: A Case Study of AI Receipt Scanning
moznion
7
5.2k
Chrome Extension Techniques from Hell
moznion
1
340
Other Decks in Technology
See All in Technology
CI/CDではもう遅い - 人とAIが迂回しないDevSecOps Verify基盤の再設計 -
kintotechdev
1
500
MCPゲートウェイを作って運用してわかったこと — Agent時代の権限管理の現在地
mtpooh
6
1.8k
AIエージェントを安全で速い現場監督にする:Jev・Obsidian・メタハーネス
x5gtrn
PRO
0
140
HolmesGPTで始めるSREエージェント入門!プラットフォームの障害調査はAIにお任せ 〜
sanghyuk
0
250
Amazon Bedrock Agents ClassicからAmazon Bedrock AgentCoreへ移行した際、ガードレール設定が2箇所に割れた話
matsunobu
0
160
2026-09-26 Platform Engineering Kaigi 2026 インフラとアプリの境界線と委譲の設計 / Drawing the Infra and App Line
masasuzu
0
510
大阪オフィスに Unitree Go2 がやってきたので Physical AI やってみた
dafujii
0
160
Coil3を内部実装から読み解く~キャッシュ戦略とAVIF画像の描画〜/nikkei-tech-talk50
nikkei_engineer_recruiting
0
180
セルフサービスのオブザーバビリティ基盤をOpenTelemetryで作る / Building a Self-Service Observability Platform with OpenTelemetry
ymotongpoo
3
490
3人で1000GPU超を統合運用する?マルチクラウド&オンプレを跨ぐ、構築と運用のリアル!
kazukun0716
2
780
可視化から始めたAI駆動開発_ochi_ver1.01 / AI-Driven Development Starting with Visualization_ver1.01
yayoi_dd
0
110
AWS FinOps Agent 結局何が得意なの?
siromi
0
220
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Navigating Team Friction
lara
192
16k
Crafting Experiences
bethany
1
360
Visual Storytelling: How to be a Superhuman Communicator
reverentgeek
2
690
Design in an AI World
tapps
1
340
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
120
120k
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
510
Unsuck your backbone
ammeep
672
58k
Making the Leap to Tech Lead
cromwellryan
135
10k
Applied NLP in the Age of Generative AI
inesmontani
PRO
4
2.5k
The SEO identity crisis: Don't let AI make you average
varn
0
560
How to make the Groovebox
asonas
2
2.5k
Transcript
ۙʹજΉ tokenize 2016 @moznion
@moznion
͜͜Ͱݴ͏ tokenize - ͳΜ͔͍ҙͷจࣈྻ͕͋ͬͯ - ͦΕΛίϯϐϡʔλ͕ղऍ͢͠ ͍୯Ґ (token) ʹͿͬͨΔ
Έͳ͞Μ tokenize ͯ͠·͔͢
༷ʑͳͷΛ token ʹ ͚͍͖ͯ·͠ΐ͏ ͚Δඞཁ͕͋Γ·͢
ྫ͑ʁ
༣ศ൪߸
༣ศ൪߸ ken_all.csv
ॅॴ
ॅॴ ૯লࢿྉ (pdf)
ి൪߸
ి൪߸ ૯লࢿྉ (doc, pdf)
ςϯγϣϯ্͕ͬͯ ͖·͔ͨ͠ʁ
͍ɼྑ͍Ͱ͢ ͘͢͝ྑ͍Ͱ͢
ࢢ֎ہ൪ͷΛ͠·͠ΐ͏
03-5321-1111
03-5321-1111
Φοɼ؆୯ͦ͏Ͱ͢Ͷ
ࢢ֎ہ൪
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
None
ͱΓ͋͑ͣதݟͯΈ·͠ΐ͏
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 1 ւಓߐผࢢɺࡳຈࢢɺ ౡࢢɺۭ܊ೆຈொ 11 CDE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 3 ւಓ༦ுࢢʢΛআ ͘ɻʣ 123 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 32 ւಓҏୡࢢɺѾా܊ ʢಎ但ބொٴͼ๛Ӝொʹ ݶΔɻʣɺ༗च܊ 142 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 93 ੨ݝेాࢢɺࡾ ࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށ
ொٴͼށொʹݶΔɻʣ 176 DE
Γ্͕ͬͯ·͍Γ·ͨ͠
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 363 େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫ ொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶ
Δɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ 6 BCDE
େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶΔɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ
ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ
͍
ݟ·͢
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ
ϋϋʔϯ
શ֯ಡͰ۟ΒΕͨ શׅ֯ހͷSࣜͩͳʁ
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ ୯७ͳϦετ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ͜Εവ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ߴ֊വ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ bool (cond)
φϧϗσΟε
͍͖ͬͯ·͢
ࠓ·Ͱͷઆ໌ͱؔͷͳ͍࣮ https://github.com/moznion/Number-Phone- JP-AreaCode
ͦͷ͏ͪ SࣜΛཧղ͢Δ࣮ʹͳΓ·͢
࠷ޙʹ
ެி mysqldump ఏڙͯ͘͠Ε