Rust速習会4 - Speaker Deck

Slide 1

Slide 1 text

Rust速習会(4) コマンドラインツール 2018-12-13 @Wantedlyオフィス (白金台) 原将己 (@qnighy) 実況用ハッシュタグ: #rust_jp

Slide 2

Slide 2 text

今日の予定 • Rust2018の話 • コマンドラインツールを書いてみよう

Slide 3

Slide 3 text

先にやっておくこと • Rust2018に対応した最新版の入手 $ rustup update $ rustc –version rustc 1.31.0 (abe02cefd 2018-12-04)

Slide 4

Slide 4 text

先にやっておくビルド(1) • ripgrepのビルド $ git clone https://github.com/BurntSushi/ripgrep.git $ cd ripgrep $ cargo build

Slide 5

Slide 5 text

先にやっておくビルド(2) • 以下のプロジェクトの作成 $ cargo new ferris_watch $ cd ferris_watch # Cargo.tomlを編集 $ cargo build

Slide 6

Slide 6 text

先にやっておくビルド(2) • Cargo.tomlはこんな感じにする [dependencies] log = "0.4.6" env_logger = "0.6.0" failure = "0.1.3" signal-hook = "0.1.6" clap = "2.32.0" pancurses = "0.16.0"

Slide 7

Slide 7 text

突然ですが、Rust2018の紹介をしたいと思います。なぜかというと12/06の1.31.0リリースにより Rust2018が心おきなく使えるようになっただけではなく、これがデフォルトになっていくからです。非互換なのに相互運用可能なのはどういうことなのかをちゃんと知っておいたほうがいいと思うので説明します。

Slide 8

Slide 8 text

Rust2018とは？ •既存のエコシステムとの相互運用性を保ちつつ、言語に非互換な変更を入れ、より使いやすい言語へと進化させる仕組み ……つまりどういうことか、以下解説します

Slide 9

Slide 9 text

Rustのコンパイラバージョン • Rustのコンパイラバージョンはsemver 1.31.0 メジャーバージョン遠い将来に上がるかもしれない基本的には上げないマイナーバージョン後方互換なアップデート基本は6週に1度のペースで上がるパッチバージョン重要なバグの修正などで上がる

Slide 10

Slide 10 text

リリースサイクル (6週間ごと) nightly beta 1.28 beta 1.29 beta 1.30 beta 1.31 stable 1.30 stable 1.29 stable 1.28 2018/06/21 2018/08/02 2018/09/13 2018/10/25 2018/12/06

Slide 11

Slide 11 text

リリースサイクル (6週間ごと) nightly beta 1.28 beta 1.29 beta 1.30 beta 1.31 stable 1.30 stable 1.29 stable 1.28 2018/06/21 2018/08/02 2018/09/13 2018/10/25 2018/12/06 最新版かつ、全ての機能が使える。バグが入ることもあるし、破壊的変更が入ることもある

Slide 12

Slide 12 text

リリースサイクル (6週間ごと) nightly beta 1.28 beta 1.29 beta 1.30 beta 1.31 stable 1.30 stable 1.29 stable 1.28 2018/06/21 2018/08/02 2018/09/13 2018/10/25 2018/12/06 安定化する予定の機能だけに制限される。この期間で、stableからのリグレッションや、新機能のバグを直す。

Slide 13

Slide 13 text

リリースサイクル (6週間ごと) nightly beta 1.28 beta 1.29 beta 1.30 beta 1.31 stable 1.30 stable 1.29 stable 1.28 2018/06/21 2018/08/02 2018/09/13 2018/10/25 2018/12/06 betaがstableに昇格する。重大なバグやリグレッションがあったときだけアップデートされる。

Slide 14

Slide 14 text

エディション ≠ バージョン 1.30 Rust2015 モード 1.31 Rust2018 モード Rust2015 モード 1.32 Rust2018 モード Rust2015 モード

Slide 15

Slide 15 text

エディション ≠ バージョン 1.30 Rust2015 モード 1.31 Rust2018 モード Rust2015 モード 1.32 Rust2018 モード Rust2015 モードコンパイラバージョン間には互換性がある。つまり、同じソースを次のバージョンのコンパイラでもコンパイルできる。

Slide 16

Slide 16 text

エディション ≠ バージョン 1.30 Rust2015 モード 1.31 Rust2018 モード Rust2015 モード 1.32 Rust2018 モード Rust2015 モードエディション間には相互運用性がある。つまり、同じコンパイラで異なるエディションのソースをコンパイルし、リンクすることができる。

Slide 17

Slide 17 text

相互運用性 • エディションの垣根を越えて依存できる [package] name = "a" version = "0.1.0" edition = "2015" [package] name = "b" version = "0.1.0" edition = "2018" [dependencies] a = "0.1.0" [package] name = "c" version = "0.1.0" edition = "2015" [dependencies] b = "0.1.0"

Slide 18

Slide 18 text

ボーナス機能 • 厳密には非互換性ではないが、Rust2018だけで使える機能や、 Rust2018で本格的に導入される新しいイディオムもある • NLL – より正確なライフタイム推論 (Rust2018で先に有効化される) • extern crate が不要に (Rust2018のみ) • dyn Trait によるトレイトオブジェクトの明示 (Rust2018イディオム) • Iter<'_> のようなライフタイム出現箇所の明示 (Rust2018イディオム) • mod.rs が不要に (Rust2018のみ)

Slide 19

Slide 19 text

Rust2018の主な非互換性

Slide 20

Slide 20 text

非互換性(1) キーワード • 文脈キーワードからキーワードに昇格 ※これにあわせて、以下の4つのワードがキーワードから識別子に降格された(Rust2015/2018共通): alignof offsetof pure sizeof async await dyn try

Slide 21

Slide 21 text

非互換性(1) キーワード • 文脈キーワードからキーワードに昇格 async await dyn try 文脈キーワード: 識別子と紛らわしくないときだけ使えるキーワード。 ※これにあわせて、以下の4つのワードがキーワードから識別子に降格された(Rust2015/2018共通): alignof offsetof pure sizeof

Slide 22

Slide 22 text

非互換性(1) キーワード • Rust2015 async fn main2() -> Result<(), ()> { ... await!(expr) ... } fn main() { tokio::run(main2().boxed().compat()); }

Slide 23

Slide 23 text

非互換性(1) キーワード • Rust2018 fn main() { tokio::run(async { ... await expr ... }.boxed().compat()); } asyncブロックが使えるようになる await式が使えるようになる async {} はRust2015では async という名前の構造体として解釈される。 await(expr) はRust2015では await という名前の関数呼び出しとして解釈される。

Slide 24

Slide 24 text

非互換性(1) キーワード • Rust2015 -> Result<(), dyn (::std::error::Error)> 構文のコーナーケース回避のために()が必要 dyn ::std::error::Error はRust2015では dyn というモジュールとして解釈される

Slide 25

Slide 25 text

非互換性(1) キーワード • Rust2018 -> Result<(), dyn (::std::error::Error)> コーナーケースがなくなってわかりやすくなった

Slide 26

Slide 26 text

非互換性(1) キーワード • Rust2018 let res = try { let f = File::open("/proc/cpuinfo")?; }; try構文が使えるようになる try {} はRust2015では try という構造体として解釈される

Slide 27

Slide 27 text

非互換性(2) モジュール (1/4) • extern crate が不要になった extern crate serde_json; fn main() { … serde_json::from_str … } fn main() { … serde_json::from_str … } ※これ自体は非互換な変更ではない

Slide 28

Slide 28 text

非互換性(2) モジュール (2/4) • #[macro_use] extern crate が不要になった #[macro_use] extern crate failure; #[derive(Fail)] struct Foo { … } use failure::Fail; #[derive(Fail)] struct Foo { … } ※これ自体は非互換な変更ではない

Slide 29

Slide 29 text

非互換性(2) モジュール (3/4) • 旧形式の絶対パスは非推奨になった ::std::mem::replace(…) ::my_module::foo(…) std::mem::replace(…) crate::my_module::foo(…) ※これ自体は非互換な変更ではない

Slide 30

Slide 30 text

非互換性(2) モジュール (4/4) • use 内でのパスの解釈が変更された use std::sync::Mutex; use my_mod::Foo; use std::sync::Mutex; use crate::my_mod::Foo; ※下は非互換な変更

Slide 31

Slide 31 text

非互換性(2) モジュール • Rust2015 use または pub(in) それ以外 abc::def 絶対パス相対パスローカル変数など self::abc::def super::abc::def 相対パス ::abc::def 絶対パス crate::abc::def 絶対パス Rust2018との互換性のために存在

Slide 32

Slide 32 text

非互換性(2) モジュール • Rust2018 use または pub(in) それ以外 abc::def (相対パス) 外部crate 相対パス外部crate ローカル変数など self::abc::def super::abc::def 相対パス ::abc::def 絶対パス外部crate crate::abc::def 絶対パス Rust2015との互換性のために存在

Slide 33

Slide 33 text

非互換性(3) 匿名引数 • 中身のない関数宣言でもダミーの引数名が必須に trait Foo { fn foo(u8); } trait Foo { fn foo(_: u8); }

Slide 34

Slide 34 text

非互換性(3) 匿名引数 • 構文的な一貫性が保証されるようになる fn foo((x, y): (i32, i32)) {} trait Foo { fn foo((x, y): (i32, i32)) {} } Rust2015/2018で使用可能 Rust2018で使用可能

Slide 35

Slide 35 text

Rust2018を使ってみよう

Slide 36

Slide 36 text

Rust2018の始め方1 1. 最新版コンパイラにアップデートします。 2. cargo new を実行します。 3. Rust2018が有効な状態でスタートできます。

Slide 37

Slide 37 text

Rust2018の始め方2 • 既存のライブラリを2段階マイグレートする Rust2015対応コード Rust2018対応コード cargo fix --edition cargo fix --edition-idioms

Slide 38

Slide 38 text

例: ripgrep • ダウンロードして実行 $ git clone https://github.com/BurntSushi/ripgrep.git $ cd ripgrep $ cargo build $ cargo run '¥d{20,}' デバッグビルドなので速くはない

Slide 39

Slide 39 text

例: ripgrep • Rust2018対応コードに変換 $ rm globset/benches/bench.rs $ cargo fix --edition --all --allow-dirty $ cargo test --all ベンチマークはnightlyでしかビルドできないので一旦外す。これによりdirty treeになるので --allow-dirty が必要になる。 (練習なので削除してコミットしてしまってもよい)

Slide 40

Slide 40 text

例: ripgrep • Rust2018を有効化する $ sed -i.bak '4iedition = "2018"' $(find . -name Cargo.toml) $ rm $(find . -name Cargo.toml.bak) $ cargo test --all # fail

Slide 41

Slide 41 text

例: ripgrep • Rust2018を有効化する $ sed -i.bak '4iedition = "2018"' $(find . -name Cargo.toml) $ rm $(find . -name Cargo.toml.bak) $ cargo test --all # fail 「全部3行目に挿入すればいいや」というズボラ処理。要するに以下のような行が入ればよい edition = "2018"

Slide 42

Slide 42 text

例: ripgrep • 残念ながら上手く変換できていない場所があるので手動で直す • src/args.rs • use log; が通らないので use crate::log; にする。 • src/search.rs • json! が解決できないので use serde_json::json; を加える。

Slide 43

Slide 43 text

例: ripgrep • Rust2018イディオムに適合させる $ cargo fix --edition-idioms –all --allow-dirty $ cargo test --all 残念ながらうまく適用できないfixがあるので、手動で適用してあげるとよい。

Slide 44

Slide 44 text

例: ripgrep • Rust2018対応完了！ • さらに追加でできること • extern crate を自動で削除してくれるが、行番号が変わらないように空行を残すので、手動で削除してあげる • #[macro_use] extern crate は自動では変換できないので、うまく対応してあげる

Slide 45

Slide 45 text

RustにおけるCLI

Slide 46

Slide 46 text

RustはCLIに向いている? • GolangがCLIに向いているのと同じような理由で、RustもCLI には比較的向いているはず • 容易なクロスコンパイル、Windowsの第一級サポート • シングルバイナリ • ただ、CLI用途での非同期I/Oはまだ未開拓感がある • 正直、この辺の機微はあんまり詳しくないので、書いてみて判断してみてほしい • Awesome Rustとか一瞥してみるといいかも https://github.com/rust-unofficial/awesome-rust

Slide 47

Slide 47 text

watchを作ろう

Slide 48

Slide 48 text

watchとは • コマンドを定期的に実行して、最新状態を表示してくれる • watch ls とか watch date のように使う

Slide 49

Slide 49 text

プロジェクト作成 $ cargo new ferris_watch $ cd ferris_watch

Slide 50

Slide 50 text

依存関係 • Cargo.tomlはこんな感じにする [dependencies] log = "0.4.6" env_logger = "0.6.0" failure = "0.1.3" signal-hook = "0.1.6" clap = "2.32.0" pancurses = "0.16.0"

Slide 51

Slide 51 text

ロギング • src/main.rs use log::debug; fn main() { env_logger::init(); debug!("ferris_watch starting..."); } RUST_LOG=ferris_watch=debug cargo run と実行して、デバッグ出力がでることを確認

Slide 52

Slide 52 text

エラー処理 • 面倒なので全部failure::Errorに回収させる fn main() -> Result<(), failure::Error> { … Ok(()) } こうしておくと main の中で ? が好き勝手使えて便利

Slide 53

Slide 53 text

コマンド引数(1) • パーサーを起動する use clap::App; … let matches = App::new("ferris_watch") .version("0.1.0") .author("Your Name ") .about("cute watch command") .get_matches(); cargo run -- --help と実行して、ヘルプがでることを確認 ※よりベーシックな機能に絞った getopts 、 clap とは逆にヘルプからパーサーを作る docopts 、 clap の結果を構造体マップできるようにした structopt などのライブラリもある。

Slide 54

Slide 54 text

コマンド引数(2) • 実行するコマンドを指定する引数 use clap::{App, Arg}; … .arg( Arg::with_name("command") .required(true) .multiple(true) .help("The command to run periodically"), ) cargo run -- --help と実行して、ヘルプがでることを確認 .get_matches() の直前に追加

Slide 55

Slide 55 text

コマンド引数(3) • 実行する間隔を指定する .arg( Arg::with_name("interval") .long("interval") .short("n") .takes_value(true) .default_value("2.0") .help("The period to run a command"), ) cargo run -- --help と実行して、ヘルプがでることを確認 .get_matches() の直前に追加

Slide 56

Slide 56 text

コマンド引数(4) • 引数を取り出す use clap::{App, Arg, value_t}; … let command = matches.values_of("command").unwrap().collect::>(); let interval = value_t!(matches, "interval", f64)?; debug!("command = {:?}", command); debug!("interval = {:?}", interval); RUST_LOG=ferris_watch cargo run -- -n 0.5 -- ls -a などを実行してみよう

Slide 57

Slide 57 text

補完スクリプトの生成 • clapを使うと補完スクリプトの生成もできる(らしい) • 今回はout of scope • See→ https://clap.rs/2016/10/25/an-update/

Slide 58

Slide 58 text

コマンドを実行する • 実行する use std::process::Command; … let output = Command::new(command[0]).args(&command[1..]).output()?; debug!("output = {:?}", output); let output = String::from_utf8_lossy(&output.stdout); println!("{}", output); cargo run -- -- ls -a などを実行してみよう実行して出力の取得までやってくれるヘルパー関数。もちろん、もっと複雑な操作もできる

Slide 59

Slide 59 text

コマンドを実行する • 実行する use std::process::Command; … let output = Command::new(command[0]).args(&command[1..]).output()?; debug!("output = {:?}", output); let output = String::from_utf8_lossy(&output.stdout); println!("{}", output); cargo run -- -- ls -a などを実行してみようこの場合 • 実行に失敗したら終了 • コマンドのステータスは無視という挙動になる

Slide 60

Slide 60 text

休眠 • コマンド実行後に指定秒数休眠する use std::thread::sleep; use std::time::Duration; … let interval10 = (interval * 10.0) as u32; … for _ in 0..interval10 { sleep(Duration::from_millis(100)); } あとで書く処理の都合上、定期的に起きるようにする

Slide 61

Slide 61 text

無限ループ • 休眠しつつ無限に実行するようにする loop { // … コマンドを実行する処理 … // … 休眠する処理 … } Ok(()) // 到達しないという警告が出るが、いったん残しておくあとで書く処理の都合上、定期的に起きるようにする

Slide 62

Slide 62 text

graceful shutdown • Ctrl-Cで自動で死なないようにする use std::sync::atomic::{AtomicBool, Ordering}; use std::sync::Arc; let interrupted = Arc::new(AtomicBool::new(false)); signal_hook::flag::register( signal_hook::SIGINT, interrupted.clone())?; let interrupted = || interrupted.load(Ordering::SeqCst); この状態でうっかり実行してしまった場合、Ctrl-Cでは止められないので SIGTERM (killコマンドのデフォルト) などで止めてあげる

Slide 63

Slide 63 text

Slide 64

Slide 64 text

graceful shutdown • かわりに、Ctrl-Cを見張って自分で脱出する 'outer: loop { for … { // … 休眠処理 … if interrupted() { break 'outer; } } } forが1回も実行されなかった場合に備えているとなおよい

Slide 65

Slide 65 text

graceful shutdown • かわりに、Ctrl-Cを見張って自分で脱出する 'outer: loop { … } debug!("end"); Ok(()) endが表示されることを確認しよう

Slide 66

Slide 66 text

Cursesを使う • POSIX系の環境ではncurseswを使ったほうがよい $ sudo apt install libncursesw5-dev

Slide 67

Slide 67 text

Cursesを使う • POSIX系の環境ではncurseswを使ったほうがよい [dependencies] pancurses = { version = "0.16.0", features = ["wide"] }

Slide 68

Slide 68 text

Cursesを使う • ウインドウを立ち上げる let window = pancurses::initscr(); struct EndWin; impl Drop for EndWin { fn drop(&mut self) { pancurses::endwin(); } } let _endwin = EndWin; 確実に実行してほしいので drop で実行する (scopeguard や defer クレートを使う手もある)

Slide 69

Slide 69 text

Cursesを使う • println! のかわりに printw で出力する // println!("{}", output); window.clear(); window.printw(output); window.refresh(); cargo run date などを試してみよう

Slide 70

Slide 70 text

画面系ライブラリのサーベイ • CursesをもとにしたよりリッチなTUIライブラリとしては Cursive や tui-rs がある • readline (REPL的な入力機能) だけ必要なら rustyline が良さそう

Slide 71

Slide 71 text

設定ファイル • ネタ的に今回は扱わない • パッと調べた感じ、 config-rs というのがよくできてそう https://github.com/mehcode/config-rs

Slide 72

Slide 72 text

CI buildをしよう

Slide 73

Slide 73 text

手元でクロスコンパイルをしてみる • クロスコンパイルに必要なもの • ターゲットアーキテクチャ用の標準ライブラリ • ターゲットアーキテクチャ用の外部ライブラリ • ターゲットアーキテクチャ用のリンカ (gcc) • 通常のコンパイラに他アーキテクチャ向けのバックエンドも同梱されているので、コンパイラは不要 • メタビルド系の処理もcargoがいい感じにハンドルしてくれる

Slide 74

Slide 74 text

標準ライブラリをGet • 自分のアーキテクチャの32bit版で試すのがオススメ $ rustup target list $ rustup target add i686-unknown-linux-gnu

Slide 75

Slide 75 text

ターゲットを指定してビルド • 以下のようなコマンドを叩くだけ! (だいたいリンクで失敗する) $ cargo build --target i686-unknown-linux-gnu Ubuntuの場合は以下が参考になる: https://askubuntu.com/questions/522372/installing-32-bit- libraries-on-ubuntu-14-04-lts-64-bit

Slide 76

Slide 76 text

Travisでツールをリリースする • GitHubのリポジトリを立てる • ferris_watchをpush • Travisを有効化する

Slide 77

Slide 77 text

Travisでツールをリリースする • こんな感じで.travis.ymlを書く • https://github.com/qnighy/ferris_watch/blob/63adc870937351aead ea7ae8f77804877cbf2d14/.travis.yml • TravisはWindowsをベータサポートしているので、3つのOSでビルドできる • さすがに同じOSでビルドしたほうが楽 • クロスコンパイルで32bit用バイナリは生成できる • ……という話をする予定だったが、ncursesとの相性が異様に悪くてmuslのコンパイルが通らない……

Slide 78

Slide 78 text

Travisでツールをリリースする • 自動でデプロイするには https://docs.travis- ci.com/user/deployment/releases を参考にしてシークレットを設定する必要がある • travis setup releases を実行していい感じに編集するのが楽

Slide 79

Slide 79 text

やろうとしたけど準備できなかったこと • reqwestを使った自動アップデート

Slide 80

Slide 80 text

まとめ • コマンドラインツールを一通り作ってみた • それなりにまとまったライブラリ群が用意されており、Rustの中では比較的とっつきやすい • Rustで書く利点もある