Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rで始める正規表現入門
Search
NobuakiOshiro
PRO
August 31, 2019
Technology
0
580
Rで始める正規表現入門
NobuakiOshiro
PRO
August 31, 2019
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20250709_MacStudioとLlama-4Maverickでローカル画像認識
doradora09
PRO
0
22
20250709_第3回_GenAIアナリティクス勉強会at東京_オープニングトーク
doradora09
PRO
0
40
20250625_生成 AI 活用2年目の壁を突破せよ_(60min版)
doradora09
PRO
0
49
20250628_生成AIおすすめyoutube共有会_ChatGPT部第69回
doradora09
PRO
0
55
20250607_AIから始めるロボット勉強会_HuggingFaceについて
doradora09
PRO
0
22
20250604_ビール片手に生成AIデモ
doradora09
PRO
0
18
20250524_ChatGPT部第67回_オープニングトーク
doradora09
PRO
0
11
20250503_第1回AIロボット勉強会_自動生成サマリ(ファクトチェック前)
doradora09
PRO
0
17
20250503_第1回aiロボット勉強会
doradora09
PRO
0
24
Other Decks in Technology
See All in Technology
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
170
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
150
怖くない!はじめてのClaude Code
shinya337
0
400
React開発にStorybookとCopilotを導入して、爆速でUIを編集・確認する方法
yu_kod
1
270
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
27k
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
7.6k
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
120
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
130
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
260
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
140
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
180
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Building Applications with DynamoDB
mza
95
6.5k
Code Reviewing Like a Champion
maltzj
524
40k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
GraphQLとの向き合い方2022年版
quramy
49
14k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Navigating Team Friction
lara
187
15k
Transcript
LT Rで始める 正規表現⼊⾨ fukuoka.R #15 2019/08/31 @doradora09
⾃⼰紹介 • NOB DATA株式会社 代表取締役 • ⼤城 信晃 (@doradora09) •
データサイエンティスト • 沖縄 -> 東京 -> 福岡(3年⽬) • ヤフー -> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 設⽴ • DS協会九州⽀部 発起⼈ • コミュニティ運営 • Tokyo.R, fukuoka.R, 意思決定のための データ分析勉強会, PyData.Fukuoka、等 https://nobdata.co.jp/ 2
None
[RP] DS協会九州⽀部設⽴ • 次回は9/20のセミナーを調整中 • 個⼈・法⼈会員も募集中です・・!
モチベーション • たまにWebクロール & スクレイピン グのハンズオンなどをやっているが その後のデータ加⼯で皆苦戦してい る節がある • 「正規表現」という便利なものがあ
るよ、という紹介
こういうケースとか • Xpathで住所データをスクレイピングしたものの、 前後に改⾏とスペースが⼤量にある、など str_replace_all(pattern = "[\n ]+", replacement =
'') => 改⾏と半⾓スペースを除去し、データを綺麗に。
正規表現とは • 正規表現(せいきひょうげん、英: regular expression)とは、 ⽂字列の集合を⼀つの⽂字列で表現する⽅法の⼀つである。正 則表現(せいそくひょうげん)とも呼ばれ、形式⾔語理論の分 野では⽐較的こちらの訳語の⽅が使われる。まれに正規式と呼 ばれることもある。(wikipediaより) •
正規表現の起源の⼀つとして、数学者のスティーヴン・クリー ネは1950年代に正規集合と呼ばれる独⾃の数学的表記法を⽤い、 これらの分野のモデルを記述した。 • (その後Unix系のツールへ広がり今に⾄る)
正規表現のメリット • テキスト処理で本領を発揮。スクレイピングにも使える • XML(HTML含む)の構造が崩れているデータにも適⽤出来る • さらに他の⾔語でも使えるので汎⽤的 • ed、 grep、expr、awk、Emacs、vi、lex、Perl、PHP、Python等
• windowsやmacで動くテキストエディタにも実装されてるものも。 ※注 • いくつか⽅⾔はあるので注意。共通して使えるものを覚えておくと吉。 • 基本正規表現、拡張正規表現、Perl⾵正規表現など
正規表現で出来ること(⼀例) プログラムのif⽂や専⽤関数を使わずに以下のようなことが可能 1. 区切り⽂字変更(タブ -> カンマ) 2. HTMLタグの除去(簡易版) 3. 都道府県の抽出(簡易版)
4. 郵便番号の抽出(7桁) 5. URL解体(簡易版) 6. Emailアドレス形式チェック(⼀致するか否か) その他にも、⽂字列のルールに基づくマッチングや置換全般
Rで正規表現使うなら{stringr}パッケージ • {stringi}パッケージのラッパーパッケージ • 関数名とか引数のルールが統⼀されていて使いやすい • 対象⽂字列が⼀貫して第⼀引数で、パターンが⼆番⽬ • 今回は以下のような関数を利⽤ •
str_replace_all : ⼀致したパターンを置換 • str_extract : ⼀致したパターンを抽出 • str_match : ⼀致したパターンをグループで分割 • str_detect : ⼀致するかどうかをTRUE / FALSEで返却
R上で正規表現を試してみる ①区切り⽂字変更(タブ -> カンマ) \tがタブを表す パターン例 : \t
ご参考 : 正規表現で定義されているもの(抜粋) https://murashun.jp/blog/20190215-01.html
R上で正規表現を試してみる ②HTMLタグの除去(簡易版) <で始まり、 任意の⽂字列(.*?)が続き、 かつ>で終わるもの、 にマッチ 置換⽂字列を空⽂字にする ことで削除と同じ効果 パターン例 :
<.*?>
ご参考 : ⽂字列系のメタ⽂字(抜粋) https://murashun.jp/blog/20190215-01.html
R上で正規表現を試してみる ③都道府県の抽出(簡易版) スペース以外の⽂字([^ ])が、 2⽂字から3⽂字続き{2,3}?、 かつ都道府県のいずれかが続く パターンにマッチ ※[]の中の^は否定を表す。 ⾏頭を⽰す^とは別の意味な ので注意
パターン例 : ([^ ]{2,3}?[都道府県])
R上で正規表現を試してみる ④郵便番号の抽出(7桁) 〒で始まり、 数字3⽂字(\\d{3})、 ついでハイフン、 ついで数字4⽂字(\\d{4}) のパターンにマッチ ※Rの正規表現の場合はバッ クスラッシュを書く場合は2 つ必要
パターン例 : 〒\\d{3}-\\d{4}
ご参考 : 繰り返しや否定のメタ⽂字 https://murashun.jp/blog/20190215-01.html
R上で正規表現を試してみる ⑤URL解体(簡易版) ()でそれぞれグループ化したもの が分割されて後から取り出せる (後⽅参照) パターン例 : ^(.+?)://(.+?):?(\\d+)?(/.*)?$
R上で正規表現を試してみる ⑥Emailアドレス形式チェック(⼀致するか否か) パターンに⼀致する場合は TRUEを返却 不⼀致の場合は FALSEを返却 @マークが2ある変 なアドレスを指定し た場合 パターン例
: ^[A-Za-z0-9._+]+@[A-Za-z]+.[A-Za-z]+$
ご参考 : 連続した⽂字の省略記法(抜粋) https://murashun.jp/blog/20190215-01.html
補⾜ : ちなみに、 正規表現は他のツール・⾔語でも使える • macならmiエディタ、winならnoeditorやサクラエディタなど • linuxならvimでも使える(タブ表記などは⽅⾔あり) http://example.com:80/test/index.php example.com
まとめ • テキスト処理を⾏うなら正規表現が便利 • Rで使うなら{stringr}パッケージなど • 他のエディタや⾔語でも使えるので拡張正規表現あたりは覚え ておくと役に⽴つかも
Enjoy !