xonsh oneliner

xonsh使ったらpythonでonelinerが使いやすくなった話

Transcript

1. ONE-LINER.PY PYCON MINI SAPPORO 2019 @RAVICOT
2. whoami インフラ系 技術職 @ravicot ravicot 仮想化技術(openvz, Xen, KVM), ネットワーク設計, セキュリティ製品、ストレージ製品 メール(Postfix), データベース(MySQL)…etc…etc… 年に数回しかプログラムを書かない
3. 何しに来たの？ シェル芸？ シェル芸いいよ！ シェル芸楽しい！ Pyhton使ってもっと楽したい！！ シェルじゃなくてもいい！
4. XNOSH で加速しよう！！ ONE-LINER.PY こ ん しゅ
6. 役に立つの？ あらゆる調査・計算・テキスト処理をコマンドを 一撃で終わらせる
7. どんなときに役に立つの？ 学生には、まったりコードを書けないことがある 論文用の統計データだしておいてね 午後までに きょーじゅ
8. どんなときに役に立つの？ どお？できた？ 学生には、まったりコードを書けないことがある きょーじゅ
9. 不整合？ killall httpd 報告書つくらなきゃ 今やってるから！ どうなってるの？ 祭りだ わっしょい プロセス生きてる？ どんなときに役に立つの？ エンジニアには、ゆっくりコードを書けないことがある ああ、障害だ 頼むだれか電話対応 影響範囲は？ どのログからみる？ 早く復旧してね 復旧まだー？ 復旧優先？ 原因特定優先？ DDoS?
10. 一 撃 必 殺 ss -ntu |grep '^¥(t¥|u¥)'|awk '{print $5,$6}' |sed 's/:[^ ]¥+//' |sort|uniq -c|sort -nr|head -n 5 SYN flood攻撃を60秒で撃退したい！！！
11. Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port tcp ESTAB 0 40 163.49.61.XXX:22 36.11.225.XXX:32877 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 218.218.98.XXX:50578 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 218.218.98.XXX:50581 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53970 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53969 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 218.218.98.XXX:50579 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53965 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 218.218.98.XXX:50580 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 218.218.98.XXX:50582 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53964 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53967 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53968 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53966 tcp FIN-WAIT-2 0 0 163.49.61.XXX:443 210.20.229.XXX:53971 一 撃 必 殺
12. # 標準偏差 awk '{d[NR]=$1;avg+=$1} END{a=avg/NR;for(i in d)s+=(d[i]-a)^2;print sqrt(s/(NR-1))}' datafile awk '{d[NR]=$1;avg+=$1} END{a=avg/NR;for(i in d)s+=(d[i]-a)^2;print s/(NR-1)}' datafile #分散 一 撃 必 殺 教授からの宿題を120秒で撃退したい！！！ [datafile] １２ １５ ２１ １６ ・ ・ ・
13. 速さは強さ つまり何がいいたいの？
14. AWK VS PYTHON 相関係数を求める awk '{dx[NR]=$1;dy[NR]=$2;avg_x+=$1;avg_y+=$2} END{ax=avg_x/NR;ay=avg_y/NR; for(i=1;i<=NR;i++){s+=(dx[i]-ax)*(dy[i]-ay); sx+=(dx[i]-ax)^2;sy+=(dy[i]-ay)^2}; print s/(NR-1)/sqrt((sx/(NR-1))*(sy/(NR-1)))}' datafile ピアソンの積率相関係数 python3 -c "import scipy.stats as st; import pandas; df=pandas.read_csv('datafile',header=None); print(st.pearsonr(df.iloc[0],df.iloc[1]))" python WIN [datafile] １２ ３３ １５ １９ ２１ ２５ １６ ３６ ・ ・ ・ ・ ・ ・
15. 速さは強さ awkよりもPythonのほうが圧倒的に楽?
16. AWK VS PYTHON ファイルの2行目以降だけ扱いたい awk 'FNR > 1{ print $1 }' datafile python3 -c "import pandas; print(pandas.read_csv(‘datafile', skiprows=1))" awk WIN
17. AWK VS PYTHON 後ろから2番目の列を出力する echo "a b c d e" | python3 -c "print(list(input().split(' '))[-2])" echo "a b c d e" | awk '{print $(NF - 1)}' awk WIN
18. AWK VS PYTHON パターンマッチに変数を使用する awk -v 'str=RAVI' 'match($0, str){print $0}’ datafile python3 -c "data=open('test.csv').readlines(); print([line for line in data if ‘RAVI' in line])" awk WIN
19. 加速したい あと楽したい PYTHONで
20. https://github.com/xonsh/pycon2016 こ ん しゅ
21. Pythonic + UNIX哲学 XONSH (僕の所感)
22. PYTHON VS XONSH 相関係数を求める ピアソンの積率相関係数 df=pd.read_csv('datafile',header=None); print(st.pearsonr(df.iloc[0],df.iloc[1])) XONSHですっきり python3 -c "import scipy.stats as st; import pandas; df=pandas.read_csv('datafile',header=None); print(st.pearsonr(df.iloc[0],df.iloc[1]))"
23. PYTHON VS XONSH ファイルの2行目以降だけ扱いたい print(pd.read_csv('datafile', skiprows=1)) python3 -c "import pandas; print(pandas.read_csv('datafile', skiprows=1))" XONSHですっきり
24. PYTHON VS XONSH 後ろから2番目の列を出力する echo "a b c d e" | print(list(input().split(' '))[-2]) echo "a b c d e" | python3 -c "print(list(input().split(' '))[-2])" XONSHですっきり
25. 速さは強さ XONSHでONE-LINERが加速 豊富なライブラリをshell感覚で使える
26. インストールは5分で終わる(CentOS7.5) # yum install epel-release # yum install python36 python36-pip # pip3 install xonsh # xonsh Welcome to the xonsh shell (0.9.0) ~ The only shell that is also a shell ~
27. 起動してみた # xonsh Welcome to the xonsh shell (0.9.0) ~ The x-on shell ~ # echo $SHELL /bin/bash # env | grep -i xonsh XONSH_VERSION=0.9.0 _=/usr/local/bin/xonsh XONSHRC=/etc/xonshrc:/root/.config/xonsh/rc.xsh:/root/.xonshrc XONSH_LOGIN=1 XONSH_INTERACTIVE=True
28. ShellでPythonコード補完が効く # df = pandas.read_(タブキー) pandas.read_clipboard( pandas.read_msgpack( pandas.read_csv( pandas.read_parquet( pandas.read_excel( pandas.read_pickle( (中略) pandas.read_html( pandas.read_stata( pandas.read_json( pandas.read_table(
29. 先人から翼を授かる Pythonでモジュールをスクリプト上で動的にロードするには importlibを使います。 ばんくしさんのblogから抜粋 https://vaaaaaanquish.hatenablog.com/entry/2017/12/26/190153 すでにONE-LINERしている人がいた…！
30. XNOSH で加速しよう！！ ONE-LINER.PY こ ん しゅ @ravicot