2020/06/27 第48回シェル芸勉強会LT資料 https://www.youtube.com/watch?v=PIqx9fCSbaU&t=609s
シェル芸⼈に必要なのは「マスキングテープ」だったのではぐれさん
View Slide
⾃⼰紹介 (1/3)ぐれさん (Twitter: @grethlen)シェル芸キュアエンジニア危険シェル芸で国外追放された（⼤嘘）最近良いことがあった
⾃⼰紹介 (2/3)朗報※出典: 2020/06/21 放映「ヒーリングっど♡プリキュア」より
⾃⼰紹介 (3/3)Software Design シェル芸連載「シェル芸⼈からの挑戦状」の連載参加してました2020 年 4 ⽉号にて⼀旦終了※STOPがかかったわけではないではない150 問以上ご愛読ありがとうございました！
シェル芸漬けの2年半数多くの問題を解いたり考えたり締切に追われて苦しみながらシェル芸⼈たちと頭をひねった2年半..=> ある法則に気づいた
こういう状況ありませんか仕事や研究などで遭遇した困りごとをシェル芸で解決しようとするとき...※出典: NHK健康チャンネル「発達障害って何だろう」より
「できるけど疲れる」問題1第16回春だからログ解析するぞシェル芸勉強会https://b.ueda.tech/?post=05644準備1 ⼀部抜粋⽇付と時刻を次のように正規化しておきましょう。###修正前###[email protected]:~/tmp/nasa$ zcat access_log.nasa.gz | head -n 1199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245###修正後###[email protected]:~/tmp/nasa$ cat access_log | head -n 119950701 000001 199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245※360 MB のファイルです
問題1 解答例模範解答zcat access_log.nasa.gz | awk '{print $4,$0}' |sed 's/^\[//' | awk '{gsub(/[\/:]/," ",$1);print}' |awk '{$2=$2=="Jul"?"07":$2;$2=$2=="Aug"?"08":$2;print}' |sed 's;^\(..\) \(..\) \(....\) \(..\) \(..\) \(..\);\3\2\1 \4\5\6;' > access_log=> AWK では⽉の名前（Jan, Feb...） => 数字の変換ができないdateで⽇付の変換はできるのだが..$ echo '01/Jul/1995:00:00:01 -0400' | sed 's|/| |g;s/:/ /' | date -f- +'%Y%m%d %H%M%S'19950701 050001=> 事実上使えない（後述）
問題1 解答例（参加者抜粋）while でやった⼈zcat access_log.nasa.gz |while read LINE; do echo ${LINE} |sed 's/[^[]*\[//; s/].*//; s/-[0-9]\{4\}//; s/Jul/07/; s/Aug/08/;' |tr '/:' ' ' | awk '{printf($3$2$1" "$4$5$6" ")}'; echo $LINE; done=> 解けるが、かなり時間かかるRuby でやった⼈zcat access_log.nasa.gz|ruby -EASCII-8BIT -rdate -ane '$F.unshift Date.parse($F[3]).strftime("%Y%m%d %H%M%S");puts $F*" "'=> 解けるなお、ぐれさんは while+ dateで⾒事にマシンがホッカイロ（⽩⽬）
「できるけど疲れる」問題2ぐれさんが実際に遭遇した問題イメージ（※脚⾊済み）500 MB の CSV ファイルの4列⽬に名前があるこれの姓と名の最初の⽂字を⼤⽂字にしたい1,aaa,Hoge team,yamada taro,20012,bbb,Super fuga team,ueda ryuchan,19983,ccc,N/A,toilet hanako,1998...↓1,aaa,Hoge team,Yamada Taro,20012,bbb,Super fuga team,Ueda Ryuchan,19983,ccc,N/A,Toilet Hanako,1998...
問題2 解答例名前単体の変換は次のでできる！でも sedはCSV読めないし..せや！$ echo yamada taro | sed 's/\b./\U&/g'Yamada Taro遅くて使い物にならない（涙）$ cat people.csv | while IFS=, read c1 c2 c3 c4 c5 ;do echo "$c1,$c2,$c3,$(echo "$c4" | sed 's/\b./\U&/g'),$c5" ;done$ cat people.csv | perl -F, -anle '{chomp($F[3]=`echo $F[3] | sed "s/\\b./\\U&/g"`); $,=","; print @F}'結局 Perl でゴリ押しが現実的なソリューション..cat people.csv | perl -F, -anle '{ $F[3] =~ s/(\b.)/\U$1/g; $,= ",";print @F}'
これらの問題の共通点はなんだろう？元々の⼊⼒を残したまま⼀部分を書き換えている処理対象が⼤きいデータの加⼯⾃体は古典的なコマンドでできるでも使えないので、結局スクリプトでゴリ押しが現実解=> こんなの絶対おかしいよ！
「できるけど疲れる」原因は何か？(1)シェル芸の⾟い所(1):⼤半のコマンドが「処理したくないデータの無視」ができないdate, base64, factor, iconv, nkf, grep, fold, cut, ...
「できるけど疲れる」原因は何か？(2)シェル芸の⾟い所(2):問題が複雑になるとスクリプティング地獄「処理したくないデータの無視」ができるコマンドもあるが...awk, sed, perl, ruby, ...「処理対象の選別」と「データの加⼯」がセット⽴派なプログラミング⾔語 => ⾔語の制約に縛られる⾔語の仕様や技法・ライブラリに明るい必要がある=> いざというときサクッとできない
補⾜:「処理対象の選別」と「データの加⼯」がセットGNU sed... | sed '/AAA/,/BBB/{ s/hoge/fuga/g }'GNU Awk... | awk '{gsub("A","B",$1);gsub("B","C",$3);print}'Perl... | perl -nle '/^(......)(...)/; $a=$1;$b=$2; $b =~ s/./@/g; print "$a$b"'
「できるけど疲れる」原因は何か？(3)シェル芸の⾟い所(3):スクリプティング地獄を解消しようとするとfork地獄に陥るBash の while⽂sed、AWK等の内部から別のコマンドを外部コマンドとして呼び出す⼤量のデータ処理には向かない
シェル芸⼈のジレンマスクリプティング地獄 ↔ fork地獄とてもつらい
シェルとコマンドのアプローチを振り返るパイプコマンド同⼠をべったりとくっつける糊どこを処理するかはコマンドにおまかせUNIX のコマンド標準⼊⼒を「丸ごと」受け取って処理するコマンドが⼤半糊につける「マスキングテープ」があればどうだろう？「べったり」ではなく「⼀部分のみ」残りの部分は「そのまま」世の中の問題はシンプルになるのではないか
teip コマンドシェル環境で使えるマスキングテープ[URL] https://github.com/greymd/teipmacOSbrew install greymd/tools/teipDEB filegit.io/teip-1.2.0.x86_64.debRPM filegit.io/teip-1.2.0.x86_64.rpmCargo（要 libclang）cargo install teip
teip はなにができるかteip <フィルタリングルール> -- <コマンド><フィルタリングルール>: 標準⼊⼒のどの部分を <コマンド>に渡すか設定<コマンド>: 標準⼊⼒まるごとは受け取る必要はない<フィルタリングルール>にマッチしなかった個所=> そのまま出⼒<フィルタリングルール>にマッチした個所場所はそのままだが <コマンド>の結果と置換される
teip の基本的な使い⽅※デモ※README の Getting Started の内容を紹介
teip で先程の問題を解く※デモ問題1$ zcat access_log.nasa.gz |awk '{print $4,$0}' | sed 's/^\[//' |teip -f 1 sh -c "sed 's|/| |g;s/:/ /' | date -f- +'%Y%m%d %H%M%S'"問題2$ cat people.csv | teip -d, -f4 sed 's/\b./\U&/g'
こういう問題も解ける（時間があればデモ）第30回危念シェル芸勉強会https://b.ueda.tech/?post=10134Q2 ⼀部抜粋リンクが相対パスになっているものについては頭に/files/をつけて、/から始まっているものとhttpやhttpsから始まっているものはそのままにしてください。(..略..)ほげクソブログふげこれはそのまま更新してない(..略..)
解答例sedが同じ⾏を書き換えてしまうのが⾟い$ cat url.html | sed -r 's;(img src="|a href=");&/files/;g' |sed -r 's;(href="|src=")/files//;\\1/;' |sed -r 's;(href="|src=")/files/(https://|http://);\\1\\2;g' |sed 's;/./;/;g'他の参加者の解答perl -ple '[email protected][fc]="(?!(?:https?://|/))(?:./)?(.*?)"@="/files/$1"@g' url.htmlsed 's,\([fc]="\)\(\./\)\?\([^/][^":]*\)",\1/files/\3",' url.htmlsed -r -e '[email protected]((href|src)=)([^/])@\1/files/\[email protected]' -e '[email protected]/files/[email protected]@g' url.html
解答例（teip）短く解こうと思えばできる$ cat url.html | teip -Gog '[fc]="(?!(https?|/))\K.*?(?=")' -- sed 's|[./]*|/files/|'=> ⻤⾞正規表現が使える（ -G）テープの重ねがけ$ cat url.html |teip -og '(a href|img src)=".*?"' \-- teip -og '".*"' \-- teip -og '[^"]+' \-- teip -vg http \-- teip -vg '^/' \-- sed 's|[./]*|/files/|'=> 正規表現の AND 条件（！）... 表現⼒は超強⼒
teip のパフォーマンス細かくベンチマークをとりながら Rust で開発実⾏対象のコマンドは使い回す=> fork しないので早い（※）実⾏コマンドの標準⼊出⼒をプロキシ複数プロセス並列実⾏⼀時ファイルなしI/O は極⼒バッファリング=> 無駄なシステムコールを削る※都度forkする動作も選択可能
なぜ Rust か速度・並⾏性に定評があるコンパイル型⾔語Rust 製 Coreutils（uutils/coreutils）あり性能をベンチマーク=> 本家に負けず劣らず=> ヒーリングっどきたCの資産の取り回しも悪くない例: ⻤⾞正規表現Cの共有ライブラリも⼀緒にビルド
teip vs GNU grep数百100MBのファイルの⾏頭から30⽂字に拡張正規表現で⾊をつける謎の速さ対決※ページキャッシュ消すのを忘れずに$ time grep --color=always -E '^.{30}' < test_secure | pv > /dev/null$ time teip -og '^.{30}' < test_secure | pv > /dev/null=> デモ
注意:teip単体で⼗分な⽔準のI/O速度を出せる点のアピール以上の意図は無いユースケースが異なるものを⽐較してもあまり意味はないteipはまだまだ⽣まれたばかりのソフトいわゆる「第⼀のシステム」※成熟したソフトより速度が早い状況は「あるある」
※芳尾 桂 (翻訳) Mike Gancarz (著). UNIX という考え⽅―その設計思想と哲学. オーム社, 2001.
ベンチマーク (1)なので、こんなベンチマークはどうでしょう？GNU sed vs GNU sed (+ teip)$ sed -r 's/<正規表現>/.../g' <ファイル$ teip -og '<正規表現>' -- sed -r 's/<正規表現>/.../g' <ファイルGNU Awk vs GNU Awk (+ teip)$ awk '{gsub("<正規表現>","...",$0);print}' <ファイル$ teip -og '<正規表現>' -- awk '{gsub("<正規表現>","...",$0);print}' <ファイル※ <正規表現>はすべて同じもの
ベンチマーク (2)⼤きなファイルのIPアドレスを置換上: 置換前下: 置換後
ベンチマーク (3)$ teip -og '<正規表現>' -- awk '{print "..."}' <ファイル$ teip -og '<正規表現>' -- sed -n 'i...' <ファイルteip があるから実現可能な効率的な⽅法よりフェアな⽐較（？）正規表現の実⾏は1回のみ
0 2 4 6 8 10awksedteip + awkteip + sedteip + awk (print)teip + sed (i text)Total Runtime(sec)8.3905.3934.3063.7952.1061.836※詳細・追試⽅法は https://github.com/greymd/teip/wiki/Benchmark
まとめシェル芸は「処理したくないデータの無視」が苦⼿「処理対象の選別」と「データの加⼯」が癒着してた複雑な問題では、スクリプティング地獄 あるいはfork地獄teip とは「⼀つのこと」（処理対象の選別）をうまくやる問題の解法がシンプルになるオマケに「処理対象の選別」と「データの加⼯」を並列化できる性能向上が図れる
今後の展望teip のこれからsedの /AAA/,/BBB/みたいなのがほしいsedみたいにN倍数の⾏数のみ、とか（ほしいです？）これで仕事が楽になる⼈は多い気がするので布教エネルギーの浪費で地球環境に悪い地球をお⼿当て、そう今のプリキュアのようにああああプリキュアが⾒たいいいいしぬんじゃぁぼやきまてよ、Rust 製 Coreutils があるなら、Cureutils がないとおかしいのでは？Rustめっちゃいい。。egzact 作り直そうか。。どうしても遅いよぉ。。
greymd
yuya4
usamik26
masayaaoyama
blackbracken
star_zero
hcrane
smiyawaki0820
manfredsteyer
sasakendayo
yuhei_fujita
uhooi
kotomin_m
soudai
quramy
addyosmani
shpigford
rasmusluckow
garrettdimon
revolveconf
swwweet
bkeepers
kneath
bluesmoon