Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
身近に潜むtokenize 2016
Search
moznion
July 03, 2016
Technology
0
4k
身近に潜むtokenize 2016
YAPC Hachioji 2016 LT 資料です
moznion
July 03, 2016
Tweet
Share
More Decks by moznion
See All by moznion
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
160
地に足の付いた現実的な技術選定から魔力のある体験を得る『AIレシート読み取り機能』のケーススタディ / From Grounded Tech Choices to Magical UX: A Case Study of AI Receipt Scanning
moznion
6
4.4k
Chrome Extension Techniques from Hell
moznion
1
220
Simple組み合わせ村から大都会Railsにやってきた俺は / Coming to Rails from the Simple
moznion
4
8.1k
AIレシート読み取り機能をRuby on Rails on AWSで実現するLLMにまつわるアレコレ / AI-based receipt reading function powered by LLM on Ruby on Rails on AWS
moznion
3
940
Develop to Survive - YAPC::Hakodate 2024 Keynote
moznion
11
18k
これはPerl? それともRuby? クイズ〜〜〜〜〜!!!- Perl or Ruby Quiz
moznion
3
2.9k
Perl 5 OOP機構30年史 - Perl 5's OOP Mechanism over the past 30 years
moznion
1
1.1k
RuboCopのカスタムCopを書いてContributionしてみる - Contributing a Custom Cop to RuboCop: A Hands-on Experience
moznion
0
93
Other Decks in Technology
See All in Technology
Kiroでインフラ要件定義~テスト を実施してみた
nagisa53
3
360
AIに頼りすぎない新人育成術
cuebic9bic
3
310
Cloud WANの基礎から応用~少しだけDeep Dive~
masakiokuda
3
110
LLM 機能を支える Langfuse / ClickHouse のサーバレス化
yuu26
9
2.3k
Amazon S3 Vectorsは大規模ベクトル検索を低コスト化するサーバーレスなベクトルデータベースだ #jawsugsaga / S3 Vectors As A Serverless Vector Database
quiver
1
640
Foundation Model × VisionKit で実現するローカル OCR
sansantech
PRO
1
380
Agent Development Kitで始める生成 AI エージェント実践開発
danishi
0
150
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
870
ロールが細分化された組織でSREと協働するインフラエンジニアは何をするか? / SRE Lounge #18
kossykinto
0
220
家族の思い出を形にする 〜 1秒動画の生成を支えるインフラアーキテクチャ
ojima_h
3
1.2k
Claude CodeでKiroの仕様駆動開発を実現させるには...
gotalab555
3
1.1k
[OCI Technical Deep Dive] OracleのAI戦略(2025年8月5日開催)
oracle4engineer
PRO
1
180
Featured
See All Featured
Side Projects
sachag
455
43k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
The Cost Of JavaScript in 2023
addyosmani
51
8.8k
How STYLIGHT went responsive
nonsquared
100
5.7k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Visualization
eitanlees
146
16k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Transcript
ۙʹજΉ tokenize 2016 @moznion
@moznion
͜͜Ͱݴ͏ tokenize - ͳΜ͔͍ҙͷจࣈྻ͕͋ͬͯ - ͦΕΛίϯϐϡʔλ͕ղऍ͢͠ ͍୯Ґ (token) ʹͿͬͨΔ
Έͳ͞Μ tokenize ͯ͠·͔͢
༷ʑͳͷΛ token ʹ ͚͍͖ͯ·͠ΐ͏ ͚Δඞཁ͕͋Γ·͢
ྫ͑ʁ
༣ศ൪߸
༣ศ൪߸ ken_all.csv
ॅॴ
ॅॴ ૯লࢿྉ (pdf)
ి൪߸
ి൪߸ ૯লࢿྉ (doc, pdf)
ςϯγϣϯ্͕ͬͯ ͖·͔ͨ͠ʁ
͍ɼྑ͍Ͱ͢ ͘͢͝ྑ͍Ͱ͢
ࢢ֎ہ൪ͷΛ͠·͠ΐ͏
03-5321-1111
03-5321-1111
Φοɼ؆୯ͦ͏Ͱ͢Ͷ
ࢢ֎ہ൪
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
ࢢ֎ہ൪ ૯লࢿྉ (doc, pdf)
None
ͱΓ͋͑ͣதݟͯΈ·͠ΐ͏
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 1 ւಓߐผࢢɺࡳຈࢢɺ ౡࢢɺۭ܊ೆຈொ 11 CDE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 3 ւಓ༦ுࢢʢΛআ ͘ɻʣ 123 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 32 ւಓҏୡࢢɺѾా܊ ʢಎ但ބொٴͼ๛Ӝொʹ ݶΔɻʣɺ༗च܊ 142 DE
OKOK
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 93 ੨ݝेాࢢɺࡾ ࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށ
ொٴͼށொʹݶΔɻʣ 176 DE
Γ্͕ͬͯ·͍Γ·ͨ͠
൪߸۠ըίʔυ ൪߸۠ը ࢢ֎ہ൪ ࢢہ൪ 363 େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫ ொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶ
Δɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ 6 BCDE
େࡕాࢢۭߓɺେࡕࢢʢ౦ॅ٢۠ాࣣஸٴͼฏ۠٢ล࢛ஸΛআ ͘ɻʣɺਅࢢʢੴݪொɺઘொɺҰ൪ொɺେொɺ֞ொɺ܂࠽৽ொɺொɺणொɺӫொɺ খ࿏ொɺ৽ڮொɺொɺ݄ग़ொɺಊࢁொɺ఼ౡொɺதொɺொɺݟொɺ౦ాொɺਂా ொɺݹொɺຊொɺদੜொɺদ༿ொɺޚಊொɺౡொɺݩொɺ༄ాொٴͼ༄ொʹݶΔɻʣɺ ਧాࢢɺઁࢢʢผொɺ৽ࡏՈɺਖ਼ɺਖ਼ຊொɺঙɺઍཬٰɺઍཬٰ৽ொɺઍཬ ٰ౦࢛ஸٴͼޒஸɺҰɺொɺ౦ਖ਼ɺ౦Ұɺ౦ผɺҰɺผɺ ࡾౡɺೆઍཬٰฒͼʹೆผொʹݶΔɻʣɺ๛தࢢɺ౦େࡕࢢʢѴொɺౡொɺ೭ ொɺग़ӢҪொɺग़ӢҪຊொɺҴ༿ɺࠓถɺؠాொʢࡾஸΛআ͘ɻʣɺӝੜಊҰஸɺՃ ೲɺ্ੴொɺ্࢛ொɺ্ສࣉொɺதɺాɺՏொɺਆాொɺتཬொɺੴ ொɺߵொɺ٬ொɺԼொɺޒொɺߵொɺߵಙ҇ொɺߵຊொɺߵݩொɺݹ
ຳྠɺࡩொɺ࢛ொɺౡ೭ɺԼສࣉொɺতொɺ৽ౡொɺ৽ߵொɺ৽ொɺ৽ঙɺ ொɺ֯ాɺળࠜࣉொɺୋ఼ொɺๅொɺཱՖொɺۄ۲ொɺۄ۲ொ౦ɺۄ۲ݩொɺ๛Ӝ ொɺௗډொɺதੴொɺத৽։ɺதɺதߵொɺೆொɺੴொɺؠాҰஸɺ ߵொɺֹాொɺࢢொɺശ఼ொɺՖԂொɺՖԂ౦ொɺՖԂຊொɺ౦ੴொɺ౦ߵ ொɺ౦๛Ӝொɺ౦ࢁொɺඛߐɺඛ౦ɺතࢁொɺຊঙதҰஸɺຊொɺদݪɺদݪೆɺ ਫɺೆߵொɺೆ࢛ொɺຳྠɺޚொɺݩொɺࢁखொɺੜொɺԣখ࿏ொɺԣປɺԣ ປɺԣປೆɺ٢ాɺ٢ాຊொɺ٢ాԼౡɺ٢ݪɺສࣉொٴͼएொΛআ͘ɻʣɺकޱ ࢢɺീඌࢢʢᔹɺᔹٴͼᔹ౦ʹݶΔɻʣɺฌݿݝೌ࡚ࢢ
͍
ݟ·͢
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ
ϋϋʔϯ
શ֯ಡͰ۟ΒΕͨ શׅ֯ހͷSࣜͩͳʁ
੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴɺ Ѵೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣ ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶΔɻʣʣ ୯७ͳϦετ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ͜Εവ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ ߴ֊വ
ʢ੨ݝेాࢢɺࡾࢢɺ্܊ʢ౦ொʢѴ ɺѴೆɺ্ɺେӜɺ্ɺ্ೆٴ ͼ৽ؗʹݶΔɻʣɺࣣށொٴͼށொʹݶ Δɻʣʣ bool (cond)
φϧϗσΟε
͍͖ͬͯ·͢
ࠓ·Ͱͷઆ໌ͱؔͷͳ͍࣮ https://github.com/moznion/Number-Phone- JP-AreaCode
ͦͷ͏ͪ SࣜΛཧղ͢Δ࣮ʹͳΓ·͢
࠷ޙʹ
ެி mysqldump ఏڙͯ͘͠Ε