Nixの仕組み: Derivation編

nixパッケージマネージャとderivationについて

Transcript

1. Nixの仕組み: Derivation編 こま🍁 / @comavius
2. 自己紹介 2
3. 自己紹介 こま🍁 / @comavius 3
4. お品書き - パッケージとは - Nixとは？ - Nixの利用 - derivationのコンセプト - derivationの評価とビルド - パッケージの再現性 - キャッシュによる効率化とGC - おわりに 4
5. この話が刺さりそうな人 - CI/CDを触ったことのある人・興味のある人 - 入ってほしいソフトと実際に入っているソフトが違って困ったことがある人 - 低レイヤーに触る人 5
6. パッケージとは 6
7. パッケージとは コンピューターの上で使うものを便利なようにまとめたもの 7
8. パッケージマネージャーとは パッケージを他のコンピューターに配信する仕組み 8
9. Nixとは？ 9
10. Nixとは？ 公式サイト(https://nixos.org/guides/how-nix-works/)曰く、 Nix is a purely functional package manager. This means that it treats packages like values in purely functional programming languages such as Haskell - they are built by functions that don’t have side-effects, and they never change after they have been built. Nix stores packages in the Nix store, usually the directory /nix/store, where each package has its own unique subdirectory (略) 10
11. Nixとは？ 公式サイト(https://nixos.org/guides/how-nix-works/)曰く、 Nix is a purely functional package manager. This means that it treats packages like values in purely functional programming languages such as Haskell - they are built by functions that don’t have side-effects, and they never change after they have been built. Nix stores packages in the Nix store, usually the directory /nix/store, where each package has its own unique subdirectory (略) - Nixは純粋関数型パッケージマネージャ 11
12. Nixとは？ 公式サイト(https://nixos.org/guides/how-nix-works/)曰く、 Nix is a purely functional package manager. This means that it treats packages like values in purely functional programming languages such as Haskell - they are built by functions that don’t have side-effects, and they never change after they have been built. Nix stores packages in the Nix store, usually the directory /nix/store, where each package has its own unique subdirectory (略) - Nixは純粋関数型パッケージマネージャ - 関数型言語を使ってパッケージを値のように扱う 12
13. Nixとは？ 公式サイト(https://nixos.org/guides/how-nix-works/)曰く、 Nix is a purely functional package manager. This means that it treats packages like values in purely functional programming languages such as Haskell - they are built by functions that don’t have side-effects, and they never change after they have been built. Nix stores packages in the Nix store, usually the directory /nix/store, where each package has its own unique subdirectory (略) - Nixは純粋関数型パッケージマネージャ - 関数型言語を使ってパッケージを値のように扱う - ビルド成果物は通常/nix/store以下に保存される 13
14. Nixとは？ - 用語 - Nix言語: Nixパッケージマネージャで使うドメイン固有言語 (DSL) - derivation: Nix言語でパッケージを表す特別な値 (式) 14
15. Nixとは？ - Nix言語 15
16. Nixの利用 16
17. Nixの利用 - Nixpkgs - 公式のパッケージリポジトリ - でかい - パッケージ以外に、広範なユーティリティ関数 を提供している (https://repology.org/repositories/graphs) 17
18. Nixの利用 - NixOS Nixで宣言的に環境を定義できる Linuxディストリビューション home-managerというツールを使うとdotfilesまで代替できる 18
19. Nixの利用 - cachix Nixを使ってCI/CDでのキャッシュを効率化するツール 19
20. derivationのコンセプト 20
21. derivationのコンセプト - derivationはパッケージをビルドするための手順書のようなもの - Nix式の評価の一環として、builtinの関数 derivation を使って作ることができる - derivationの中身はattrset(辞書型)で、derivation :: attrset-> attrset 21
22. derivationのコンセプト derivation :: { system : String , name : String , builder : Path | Derivation , ?args : [String] , ?outputs : [String] } -> Derivation (https://zero-to-nix.com/concepts/derivations/) 22
23. derivationのコンセプト 例えば、helloと出力するコマンドを作る場合 ... derivation { name = "hello"; system = "x86_64-linux"; builder = "bash"; args = [ "-c" "mkdir $out/bin && printf "#!/bin/sh\necho hello" > $out/bin/hello && chmod +x $out/bin/hello" ] }; 23
24. derivationのコンセプト derivationは他のderivationに依存できる ここで、myApp(bin)パッケージについて、 - gccを使ってコンパイルする - opensslに依存する - gccとopenssl、パッケージのソースコードは derivationとして利用できる とする myApp(source) openssl gcc myApp(bin) 24
25. derivationのコンセプト 25
26. Derivationの評価とビルド 26
27. Derivationの評価とビルド Nixのビルドは、 - evaluation 式の評価 - instantiation derivationの中身をファイルとしてnix storeに保存 - realisation ビルド の3ステップからなる 27
28. Derivationの評価とビルド - Evaluation まず、Nix言語の処理系がNix式を評価する - derivationが評価されると、derivationがinstantiateされる - IFD(Import from Derivation)のコンテキストで評価されると、 realiseされる 28
29. Derivationの評価とビルド - Instantiation derivationがinstantiateされると、nix storeにstore derivation(derivationの値を構造化して保存したテキ ストファイル)が保存される 29
30. Derivationの評価とビルド - 流れ(nix eval) nix evaluator nix store(/nix/store ^1) ^1: /nix/storeをnix storeとして利用するのはlocal storeのみで、必ずしも/nix/storeに保存されない(S3 storeなど) nix式の評価... derivationの評価 instantiationによるstore-derivation　 (/nix/store/…..hoge.drv)への保存 nix-instantiateの呼び出し 30
31. Derivationの評価とビルド - Instantiation 31
32. Derivationの評価とビルド - Realisation store-derivationをinstantiateすると、実際にビルドが走る 32
33. Derivationの評価とビルド - 流れ(nix build) nix evaluator nix store(/nix/store) nix式の評価... derivationの評価 instantiation(/nix/store/…..hoge.drvの保存) nix-instantiateの呼び出し realisationによるstore-object (/nix/store/…..hoge)のビルド nix-realiseの呼び出し 33
34. Derivationの評価とビルド - Realisation 34
35. Derivationの評価とビルド - IFD(Import From Derivation) evaluateにrealiseの値を使うことができ、これを IFD(Import From Derivation)と呼ぶ 35
36. Derivationの評価とビルド - 流れ(nix build w/ IFD) nix evaluator nix store(/nix/store) nix式の評価... IFDのコンテキストでのderivationの評価 IFDによるnix-realiseの呼び出し IFDによるstore-object(/nix/store/…..hoge) からの値の読み込みとevaluatorでの利用 36
37. Derivationの評価とビルド - IFDの有無による差 nix build(IFDなし) nix build(IFDあり) 37
38. Derivationの評価とビルド - IFDの問題点 IFDにはいくつか問題があり、 - nix store側の再現性の問題が evaluator側まで伝わってしまう - IFDなしの場合並列化されたはずのビルド (realise)が直列に実行され、その間 evaluator側の処理 が止まってしまう 38
39. パッケージの再現性 39
40. パッケージの再現性 「Nixとは？」で確認した公式サイト (https://nixos.org/guides/how-nix-works/)による説明の続き …where each package has its own unique subdirectory such as /nix/store/b6gvzjyb2pg0kjfwrjmg1vfhh54ad73z-firefox-33.1/ where b6gvzjyb2pg0… is a unique identifier for the package that captures all its dependencies (it’s a cryptographic hash of the package’s build dependency graph). This enables many powerful features. - 依存関係全体のハッシュをパッケージの名前の一部にする 40
41. パッケージの再現性 例えば、同じ名前のgcc-13.3.0-libが複数あり、本来 想定されるパッケージ以外に暗黙的に依存すること によって異なるビルド結果が得られるという状況を防 げる 41
42. パッケージの再現性 - Input Addressing myApp(bin)のような何らかのビルド処理の出力を表 すderivationのハッシュは、入力されたすべての依存 関係のハッシュをとる これをinput addressingという myApp(source) openssl gcc myApp(bin) ハッシュをとって名前と結合する (e.g. /nix/store/9idvhy5nlgx9fjkx ydgacmlk34yxh6sb-myApp(bin)) 42
43. パッケージの再現性 - Fixed Output myApp(source)のようなネットワーク越しに取得する ようなderivationは、取得されたファイルのハッシュを store-pathのハッシュとして使う realisation時に実際に取得されたハッシュを確認し、 異なったファイルを取得した場合はエラーを出すこと でビルドの純粋性を保証している myApp(source) openssl gcc myApp(bin) 自分自身のハッシュを持っ ておいて照合する 43
44. キャッシュによる効率化 44
45. キャッシュによる効率化 45 Nixでは、様々な手段でビルド時間や使用メモリを削減できる 例えば...
46. キャッシュによる効率化と GC nix evaluator nix store(/nix/store) 46 nix store(S3) ローカル S3(互換)サーバー 過去のrealiseのキャッシュを利用 リモートのキャッシュからビルド 成果物を取得 今回の成果物を アップロード
47. おわりに 47
48. おわりに - まとめ 48 - Nixはパッケージマネージャー - Nix言語ではderivationを変数として簡単に記述できる - Nixはハッシュによる区別により高い再現性を実現している - NixはCI/CDに便利
49. 次回: Nixの仕組み: Language Framework編 Nix言語のライブラリを使って reproducibleなCI/CDを実現しよう！！ おわりに 49
50. ご清聴ありがとうございました おわりに 50