NetBSDブートローダー解説と luna68kでの実装

関西オープンソース 2013 の BSDなひととき での発表に使用したスライドです。
web版は
http://www.ceres.dti.ne.jp/tsutsui/kof2013/NetBSD_bootloader.html
にあります。

1. NetBSDブートローダー解説と luna68kでの実装 関西オープンソース2013 なぜNetBSDブースは謎マシンの展示発表をするのか Izumi Tsutsui tsutsui@NetBSD.org
2. ブート / ブートストラップ とは(1) • Wikipedia 「ブート」項より引用 ブートまたはブートストラップは、 コンピュータの電源を入れたときに オペレーティングシステムを 起動するまでの処理の流れをいう。
3. ブート / ブートストラップ とは(2) • Wikipedia 「ブート」項より引用 「ブートストラップ」という名前は、 ブーツのつまみ革（ストラップ）を 自分で持ち上げようとするイメージ から来ている。
4. ブート / ブートストラップ とは(3) • Wikipedia 「ブート」項より引用 コンピュータはソフトウェアをロード しないと動作できない ソフトウェアをロードするにも ソフトウェアが必要 というパラドックスに着目した呼称
5. ブートローダー とは(1) • Wikipedia 「ブート」項より引用 ブートローダーとは、ブート処理、 電源を入れてからOSを起動するまで の処理、を行うソフトウェアを 意味する。
6. ブートローダー とは(2) • Wikipedia 「ブート」項より引用 ブートローダーはOSの全ての機能を 持っているわけではないが、 OS（カーネル）をロードして起動する ための別のプログラムをロードする には十分な機能を持っている。
7. ブートローダー とは(3) • Wikipedia 「ブート」項より引用 小さなプログラムから 別の小さなプログラムを呼び出す ということを繰り返して、 最終的にオペレーティングシステムが 起動される。
8. x86 PCのブートストラップ(1) • BIOS ROMからスタート BIOSがハードディスクの先頭セクタ (MBR)を読み込んで実行する NetBSD/i386の場合は /usr/mdec にある mbr や mbr_sel
9. x86 PCのブートストラップ(2) • 憂鬱なFDISKパーティション MBRローダーがパーティション情報を 見て、しかるべきパーティションを 選択して、NetBSDパーティションの 先頭セクタをロードして実行する パーティション先頭は NetBSD/i386だと bootxx_XXXfs の中の pbr.s
10. x86 PCのブートストラップ(3) • まだまだ続くサイズ制限 pbr.s は再度MBRパーティションを 見て、自身のパーティションの先頭 8KBにある bootxx_XXXfs を読み込む 4.3BSD由来のFFSだと先頭8KBは空き領域 EXT2FSだと1KBしか空いてなかったり UFS2だと64KB空いてたり
11. x86 PCのブートストラップ(4) • プライマリブート8KB 先頭512バイトは pbr.s 次の512バイトは disklabel それ以降が bootxx_XXXfs 本体 8KBではサイズ制約が厳しいので プライマリブートは単一ファイルシステム のみをサポート
12. x86 PCのブートストラップ(5) • セカンダリブート /boot bootxx_XXXfs は disklabel を見て rootパーティションから /boot（セカンダリブート）を 読み込んで実行する bootxx_XXXfs は FFSv1, FFSv2 等々 ファイルシステムに応じて使い分け要
13. x86 PCのブートストラップ(6) • ようやくカーネルに到達 /boot には特にサイズの制限は無く、 各種のファイルシステムをサポート ⇒任意のファイルシステムから 　カーネルを読み込んで実行 つまり /boot は各ファイルシステムで 共通に使用可能
14. x86 PCのブートストラップ(7) • 起動時画面の正体 シングルユーザー等の選択メニューや くるくる回る表示で 5248323+325322+32321 [234235+32433] とか表示しているのは /boot
15. x86 PCのブートストラップ(8) というわけで スライドを7枚も使うくらい ブートはめんどくさい (´・ω・｀)
16. ブートローダーの必要性 • OSC2012愛媛での発表スライドより 移植に必要なもの： (1)クロスコンパイラ (2)ブートローダー (3)ハードウェア情報
17. ブートローダーはいつ作るの? • 今でしょ？ ……というわけにもいかない 移植におけるブートローダー： 「見落とされがちだけど最重要課題」 いくらカーネルを作っても 実行できなきゃ意味なし ……が、だいたいの場合めんどくさいので たいてい純正OSのブートローダーを流用
18. LUNAのブート仕様(1) • 起動ROMがわりと頑張っています 純正のUniOSにブートローダー に相当するプログラムは無い ブートROMがいきなり カーネルを読み込んでいる
19. LUNAのブート仕様(2) • ブートROMのカーネル起動仕様 ブートROMが UniOS形式の disklabelのパーティションを解釈 指定されたパーティションの 指定されたファイル名の a.out形式バイナリを読み込む
20. LUNAブートROM対応 • NetBSD/luna68kはどうやって起動するか UniOS形式のdisklabelの書き込み ⇒NetBSDのカーネルが書いてくれる a.out形式のバイナリの作成 ⇒2011年OSC京都展示で調べた結果、 　NetBSDの elf2aout(1)コマンドで 　変換すれば読めることが判明
21. LUNAブートROMの問題点 • ブース展示での問題 HDDからカーネルを起動すると、 ロードはされるが実行に失敗する ⇒NetBSDのカーネルのサイズが 　大きくなりすぎているせい？ ネットブートだと動くのでそれで回避 していたけれど、ブースでサーバーを 用意するのがめんどくさい(´・ω・｀)
22. 4.4BSD/luna68k ブートローダー • 純正OS以外の存在について 4.4BSD-Lite2/luna68kには 実はブートローダーが存在 開発者の藤田さん曰く： 「LUNAのブートROMは SCSI ID 5,6の 　ドライブからしか起動できなくて 　めんどくさいからローダー書いた」
23. ブートローダー移植? • 4.4BSDとNetBSDと 4.4BSD-Lite2の公開ソースには luna68kのブートローダーも含まれる カーネルの移植と同じで、適当に インターフェースをNetBSD用に 書き換えればそれなりに動くはず?
24. ブートローダーの中身 • そもそも何ができなければならないのか (1)画面に情報を表示する (2)ユーザーがコマンドを入力する (3)カーネルを読み込む
25. 画面に情報を表示する • とりあえず printf() printf() を動かすためには何が必要? ⇒1文字出力関数の putchar()があれば 　あとは standaloneライブラリ(libsa) 　が何とかしてくれる サイズの都合で printf() が無理な場合は 適当に低機能な文字出力ルーチンを用意
26. putchar() 実装 レベル1 • たかが1文字出力、されど以下略 BIOSを使う場合は大抵 putchar() に 相当するルーチンあり シリアルコンソールなら 「送信データレジスタに文字データを 　書き込んで送信完了まで待つ」 みたいな感じ
27. putchar() 実装 レベル2 • 端末に必要な機能とは スクリーンコンソールなら 自前で端末機能の実装が必要 対応する文字のビットマップを画面に書く CTRL-Hでカーソル戻して文字を消す CTRL-Mでカーソルを次の行の先頭に カーソルが画面右端に来たら改行して左に戻す カーソルが画面下端に来たらスクロールする ……その他もろもろ
28. ユーザーがコマンドを入力する • putchar() の逆で getchar() putchar() とだいたい同じ感じ BIOSやシリアルコンソールは簡単 キーボードは各仕様に応じてデコード （ターミナル表示よりは簡単） ただし「入力されたら中断」は機種依存で大変
29. カーネルを読み込む • いろんな階層を考える必要あり (1)セクタ単位でディスクを読み込む (2)パーティション情報を解釈する (3)ファイルシステムを解釈する
30. ディスクの読み込み • カーネルのDisk I/O APIの縮小版 APIとしては open() と strategy() open() でアクセスするデバイスを指定 strategy() でセクタ番号とバッファと バイト数を指定 ⇒read/writeは方向が違うだけ
31. ディスク読み込み実装 • ここでもBIOS有無で大きな違い BIOSがあれば適当に引数を読み替えて 対応するルーチンをコールするだけ BIOSがなければ自前でドライバを書く デバイスに対するレジスタアクセス ATA/SCSI等のコマンドプロトコル層 ディスクデバイスに対するアクセスコマンド 等々
32. パーティション情報の解釈 • といっても単に先頭からのoffsetだけ MBRセクタ もしくは disklabel のある セクタを読んで、そのパーティション 情報に従ってセクタオフセットを調整 ただし、各機種共通で使える MIルーチンは用意されていないので、 微妙にコピペ実装が氾濫気味
33. ファイルシステムの解釈 • これはちゃんと整備されてる MI libsa に各種ファイルシステムの アクセス用ルーチンあり ffsv1, ffsv2, lfsv1, lfsv2, dosfs, ext2fs, cd9660, minixfs3, ustarfs 等々 各fsルーチンはディスクを open() / strategy() 関数でアクセス
34. 4.4BSDブートローダー移植検討 • どれだけ書きなおす必要がある？ 下位の文字入出力（画面含む）や SCSIディスクI/Oはそのまま使える？ パーティション情報は disklabel が UniOS形式なので同じで行ける？ ファイルシステムはNetBSDの libsa の ルーチンを使う必要がある
35. 4.4BSDブートローダー移植内容 • 流用する部分と NetBSD libsa をくっつける 文字入出力は putchar() と getchar() のところで区切って libsa と結合 ディスクI/O の open() と strategy() を libsa の形式に合うように修正 カーネルバイナリ形式(ELF)の解釈は libsa のルーチンを使うように変更
36. 移植 1日目 • 20年の時を超えて gitで元ソースをローカルにコミット まずはコードの整理から copyrightやpathの修正 ANSI形式への書き換え asmのレジスタ書式の修正 ブートローダー以外で必要なソースをコピー
37. 移植 2日目 • とりあえずコンパイルするために NetBSDの libsa を使ってコンパイル するために、ダミーの定義を含めて I/F部分の定義を修正および追加 後回しのディスクI/Oはコメントアウト あわせてプロトタイプ宣言追加とか
38. 移植 2日目 (続き) • コンパイル→デバッグ 後回しの部分をひたすら誤魔化して とりあえずリンク printf() 動作前デバッグ方法の確立 ⇒未定義命令実行でモニタに落ちる がしがしデバッグしてキーボードと スクリーンコンソールprintf()動作！
39. 移植 3日目 • 次はディスク周り 後回しで誤魔化していた部分の修正 SCSIディスクの open(), strategy() 関連を libsa に合うように書き換え ⇒再度がしがしデバッグして 　ディスクのプローブとセクタリード 　まで動作
40. 移植 4日目 • 次はカーネルロード 試しにカーネル読み出しの loadfile() を呼ぶようにしてみる ⇒なんかカーネル読めてるっぽい？ 　えっ？ 一部修正でディスクとファイル名を 決め打ちならカーネル起動に成功！
41. 移植 5,6日目 • いわゆるプログラミングは苦手です ファイル名決め打ちのところを boot> sd(0,0)netbsd みたいな形式で指定できるように修正 こういうパーサーとかみたいな実装は苦手…… とりあえずこの時点で本家にコミット
42. コミットログ Module Name: src Committed By: tsutsui Date: Sat Jan 5 17:44:25 UTC 2013 Added Files: src/sys/arch/luna68k/include: loadfile_machdep.h src/sys/arch/luna68k/stand/boot: Makefile autoconf.c bmc.c bmd.c boot.c boot.ldscript conf.c cons.c device.h devopen.c disklabel.c font.c getline.c init_main.c ioconf.c kbd.c kbdreg.h locore.S machdep.c omron_disklabel.h parse.c preset.h prf.c rcvbuf.h romcons.c romvec.h samachdep.h sc.c screen.c scsi.c scsireg.h scsivar.h sd.c sio.c sioreg.h status.h stinger.h trap.c ufs_disksubr.c vectors.h version Log Message: First cut at NetBSD/luna68k native bootloader. Based on 4.4BSD-Lite2/luna68k "Stinger" loader revision "Phase-31" http://svnweb.freebsd.org/csrg/sys/luna68k/stand/ and MI libsa glue stuff are taken from hp300 etc. Tested on LUNA-I and old DK315C SCSI disk drive.
43. 移植 N日目 • 必要なところをぼちぼち実装 ネットワークブート対応 ⇒他機種で経験はあったものの、I/Fを 　間違えていたりでハマりました…… LUNA-II対応： 68040および2nd SCSI ⇒4.4BSDでは未テストだったらしい？
44. 移植 Nか月後 • 2013年 10月 28日 OpenBSD/luna88k にも ブートローダーが追加 ⇒Miod Vallat さんにより 　NetBSD/luna68k のブートローダー 　実装を移植
45. OpenBSD/luna88k コミットログ CVSROOT: /cvs Module name: src Changes by: miod@cvs.openbsd.org 2013/10/28 16:13:13 Added files: sys/arch/luna88k/stand: Makefile Makefile.inc sys/arch/luna88k/stand/boot: Makefile autoconf.c awaitkey.c bcd.c bmc.c bmd.c boot.c boot.ldscript conf.c cons.c dev_net.c dev_net.h device.h devopen.c fault.c font.c getline.c getsecs.c if_le.c init_main.c ioconf.c kbd.c kbdreg.h lance.c lance.h locore.S parse.c prf.c rcvbuf.h samachdep.h sc.c scsireg.h scsivar.h sd.c setjmp.S sio.c sioreg.h status.h ufs_disksubr.c Log message: The first steps of a native OpenBSD/luna88k bootloader. Able to boot ELF kernels with symbols from disk or network. Based upon the NetBSD/luna68k bootloader which got recently overhauled from 4.3BSD (thanks, tsutsui@ !), updated to match the luna88k hardware layout and turned into a polling-only binary. Tested on luna88k (not -2) only so far.
46. まとめ (1)  ブートローダー実装 機能別の階層と、各階層間をつなぐ インターフェースの定義が重要 インターフェースを理解することで ソースの流用と修正もスムーズに可能 でもちゃんとしたドキュメントがないという問題(´・ω・｀)
47. まとめ (2)  「なんでそんなものを実装するの？」 自分がそのマシンを使い続ける限り、 ブートローダーは起動時毎回使います! OpenBSD/luna88k にも流用されて ほかの人の役にも立ちましたよ！！ 日々記録を残しつつ作業することで、 こんな発表をすることができました！ 詳細は togetterまとめ参照: http://togetter.com/li/433650