UEFI対応

[tsutsui]

NetBSD公式のイメージには UEFI 対応のインストール用イメージがすでにある。
https://cdn.netbsd.org/pub/NetBSD/images/8.0/NetBSD-8.0-amd64-uefi-install.img.gz
https://www.slideshare.net/kapper1224/netbsd80-on-uefi-bootloader-and-windows-tabletosc18hi

とりあえず amd64 用の USBメモリ版イメージを UFEI 対応にすることを考える。
https://nxr.netbsd.org/xref/src/distrib/amd64/uefi-installimage/
https://wiki.netbsd.org/Installation_on_UEFI_systems/

[tsutsui]

UEFIイメージ作成メモ:

• 本質は https://nxr.netbsd.org/xref/src/distrib/amd64/uefi-installimage/Makefile.bootimage に記載がある
• src/distrib/common/bootimage/Makefile.bootimage と src/distrib/amd64/uefi-installimage/Makefile.bootimage の差分:
  https://gist.github.com/tsutsui/3d990f8ce5f84fc3bd06664ad478df38

差分の本質は以下

• gpt(8) コマンドで GPT パーティションを切る（後述）
• EFI パーティション (中身は FAT32) を MBR領域の後ろに作成する（後述）
• secondary GPT header and entries の領域を 2048セクタ分確保する
• ここは詳細を確認要
  • イメージの末尾というか、primary GPT に登録されたパーティションの後ろに置かれる?
  • そのために GPT パーティション作成用の仮イメージも作成イメージ全体のサイズで作る必要がある感じ
• fstab(5) のパーティションに記載するデバイス名は GPT により検出される dk(4) の UUID で指定する
• USE_MBR の場合の fdisk(8) コマンドの代わりに gpt(8) コマンドで EFI, BSD FFS, swap のパーティションを切る
• EFIパーティションはブートローダーのみを入れて makefs -t msdos -o F=32 で作る
  • c=1 が謎; newfs_msdos の -c のクラスタサイズ指定と同じ?
• GPTパーティションイメージ と EFIイメージ と FFSイメージと swapイメージ と secondary GPTの 2048セクタを結合
• gpt(8) コマンドで以下の起動設定の呪文を唱える (要確認)
  • gpt ${WORKIMG} biosboot
  • gpt ${WORKIMG} set -a bootme
• disklabel は書き込まない

[tsutsui]

NetBSDておくれLive Image UEFI対応 設計仕様検討メモ
https://speakerdeck.com/tsutsui/netbsd-uefi-live-image

ここまで書いたところで、 UEFI対応の場合は installboot(8) が不要なので、 makefs(8) のオフセットオプションを使用すれば最初からイメージ全体サイズのファイルだけでも作成できるのではないか、という見通しがある。
https://twitter.com/tsutsuii/status/1099716968486064131

MBR版 および src/distrib/common/bootimage/Makefile.bootimage との共通化を含め、スクリプトをどう書くかというところをもうちょっと考えてみる。

[tsutsui]

UEFI対応で GPTを使用する場合は「ファイルシステムサイズ拡張スクリプト」も見直し必要。現状の fdisk(8) による MBR書き換えと同じように上書きすれば可能?
gpt(8) コマンドの上書き仕様を確認する必要がある。

[tsutsui]

NetBSD 9.0 リリース後、 uefi 用のインストールイメージの Makefile と
MBR用のインストールイメージの Makefile は統合されている
http://www.nerv.org/netbsd/?q=id:20191121T222903Z
http://www.execsw.org/netbsd/?q=id:20191121T222903Z
NetBSD/src@8e4a7b2

この Makefile 記述だと以下の仕組みになっている

• GPT を含む各部分ごとの領域を変数定義して TARGET_BLOCKS に順に登録
• それぞれのイメージを各 target ルールで順に作成
• TARGET_BLOCKS に定義されたイメージを cat で結合

このしくみを使うと、 FAT サポートの追加も結構簡単に書けた。
http://www.nerv.org/netbsd/?q=id:20200321T141927Z
http://www.execsw.org/netbsd/?q=id:20200321T141927Z
NetBSD/src@2b0ec46

同様に流れで mkliveimage.sh のスクリプトも修正できるか考えてみる。
make の場合と違い、条件分岐がめんどくさそうであるが……

[tsutsui]

wedge(4), resize_ffs(8), gpt(8), および rc.d(8), さらに fdisk(8) にも
UEFI に対する resize 対応っぽい修正が入っているので、
NetBSD 9.x では難しいのかもしれない。

https://mail-index.netbsd.org/source-changes/2020/05/24/msg117635.html
https://mail-index.netbsd.org/source-changes/2020/05/24/msg117636.html
https://mail-index.netbsd.org/source-changes/2020/05/24/msg117637.html
https://mail-index.netbsd.org/source-changes/2020/05/24/msg117638.html
https://mail-index.netbsd.org/source-changes/2020/05/24/msg117645.html
https://mail-index.netbsd.org/source-changes/2020/05/24/msg117646.html

[tsutsui]

同様に流れで mkliveimage.sh のスクリプトも修正できるか考えてみる。 make の場合と違い、条件分岐がめんどくさそうであるが……

とりあえずやるにしても、最初は mkliveimage.sh に条件分岐その他を入れてこねくり回すよりも
mkliveimage-uefi.sh のようなコピペスクリプトを作って修正したほうがよさそう。

[tsutsui]

NetBSDておくれLive Image UEFI対応 設計仕様検討メモ https://speakerdeck.com/tsutsui/netbsd-uefi-live-image

UEFIとMBRのイメージの共通化というか、MBR互換仕様のイメージを作る方法が未確認。
おそらく、 USE_GPT=yes のケースに対して以下を実施すれば等価と思われる

• 互換用に確保してある MBR に fdisk で FDISKパーティション情報を書く
• NetBSDパーティションに disklabel で NetBSD disklabel を書く
• NetBSDパーティションに installboot でブートローダーを書く

が、 src/distrib/common/Makefile.bootimage を再度読み直すとそういう感じでもなく
USE_GPTMBR=YES でやっている gpt コマンドによる gptmbr.bin の書き込みだけ?
このあたりの仕様について確認と把握が必要。

当然ながら、 MBR互換設定が可能なのは 2TB未満のイメージの場合のみのはず?

[tsutsui]

が、 src/distrib/common/Makefile.bootimage を再度読み直すとそういう感じでもなく USE_GPTMBR=YES でやっている gpt コマンドによる gptmbr.bin の書き込みだけ? このあたりの仕様について確認と把握が必要。

ざっくり確認したのでメモ。

• gptmbr.bin の実態というかソースは
  https://github.com/NetBSD/src/blob/netbsd-10/sys/arch/i386/stand/mbr/gptmbr.S
• このソースと gpt(8) の man からすると、GPTパーティションテーブルの指定されたパーティションの先頭1セクタを読んでくるようである
• そこで読まれる primary boot の bootxx のほうは GPTを判別しているのか、と見てみると
  https://github.com/NetBSD/src/blob/netbsd-10/sys/arch/i386/stand/bootxx/pbr.S#L130-L131
  あたりにGPT判定コードがあって disklabel がなくても起動はできるっぽい感じ
  • "we may have been loaded by a GPT hybrid MBR, handoff state is specified in T13 EDD-4 annex A"
    という雑な記載しか無いが、 %eax に GPT magic が、%si に読み込むべきパーティションのセクタLBA関連の情報が入っている?

pbr.s の boot_gpt: にある

        movl    (20+32+0)(%si), %ebp
        movl    (20+32+4)(%si), %edi

というのがなかなかウ◯コな実装だが……（設計書書かないならマクロで仕様を表現してくれ）

[tsutsui]

• "we may have been loaded by a GPT hybrid MBR, handoff state is specified in T13 EDD-4 annex A"
  という雑な記載しか無いが、 %eax に GPT magic が、%si に読み込むべきパーティションのセクタLBA関連の情報が入っている?

雑に検索すると
https://www.fpmurphy.com/public/EDD-4_Hybrid_MBR_boot_code_annex.pdf
（リンク切れなので 2025/4/5 追記 https://web.archive.org/web/20240428002842/https://fpmurphy.com/public/EDD-4_Hybrid_MBR_boot_code_annex.pdf ）
というのが出てきて、これの
Table A.3 — Hybrid MBR boot code handover structure
を見ればよさそう。

20 というのは GPT Partition Entry のオフセットで中身は GPT Partition Entry of the boot partition.
GPT Partition Entry を探すと
https://github.com/NetBSD/src/blob/netbsd-10/sys/sys/disklabel_gpt.h#L76-L83
にあって、オフセット 32 に ent_lba_start の /* start of partition */ がある、
ということのようである。

[tsutsui]

NetBSDておくれLive Image UEFI対応 設計仕様検討メモ
https://speakerdeck.com/tsutsui/netbsd-uefi-live-image

他人に文句を言っておいて自分の mkliveimage.sh が上記のメモと一致しているか、と考えると、
スクリプトを書いたのが10年以上前、資料を書いてからも5年近く経っていていまいち自信がない、
ということでざっと確認。

• NetBSD FFSパーティションを作成 ( /etc/rc.conf や /etc/fstab 等の準備を含む)
• installboot で NetBSD FFSパーティションにブートローダーを書き込み
• swap分の空イメージを作成
• fdisk で MBRパーティション領域相当のイメージを作成
  • このとき dd に seek=$((${IMAGESECTORS} - 1)) を指定してイメージサイズ分を用意して MBRパーティションを書いた後に必要な領域 (LABELSECTORS) だけ切り出している。
  • これは大昔は 1MBくらいで作っていたが、いつからか fdisk がイメージの最後まで seek するようになって修正したような……。Live Imageでは最初のバージョンからこうなっているが
• MBR領域 と NetBSD FFS領域 と swap分イメージを cat で結合
• disklabel で NetBSD disklabel を書き込み
  • このとき、 disklabel コマンドはまず MBRの FDISKパーティションを見て、 NetBSD領域の LABELSECTOR (x86 の場合は 1, つまり先頭から2セクタ目) に disklabel を書く動作をする

各イメージを作る順番が異なるのはいいとして、 disklabel コマンドを呼ぶのは各イメージを結合した後、というところが微妙に齟齬があるが、考え方としてはだいたい合ってるはず。（と強弁）

[tsutsui]

NetBSDておくれLive Image UEFI対応 設計仕様検討メモ
https://speakerdeck.com/tsutsui/netbsd-uefi-live-image
にあるとおり、 UEFI+GPT で起動するときには UEFI用の FATパーティションからブートローダーを読み込むので、NetBSDパーティションの先頭に installboot でブートローダーを書く必要はない。

が、 USE_GPTMBR の場合は UEFIパーティション中の NetBSDパーティションの先頭からブートローダーを読むので、NetBSDパーティションの先頭に installboot でブートローダーを書く必要がある。

では src/distrib/common/bootimage/Makefile.bootimage ではどうしているのかというと
https://github.com/NetBSD/src/blob/netbsd-10/distrib/common/bootimage/Makefile.bootimage#L415-L427

        @echo Creating rootfs...
        # XXX /var/spool/ftp/hidden is unreadable
        ${CHMOD} +r ${WORKDIR}/var/spool/ftp/hidden
        ${TOOL_MAKEFS} -M ${FSSIZE} -m ${FSSIZE}                        \
            -B ${TARGET_ENDIANNESS}                                     \
            -F ${WORKSPEC} -N ${WORKDIR}/etc                            \
            ${MAKEFS_TIMESTAMP}                                         \
            ${IMGMAKEFSOPTIONS}                                         \
            ${WORKFS} ${WORKDIR}
.if !empty(PRIMARY_BOOT) && ${INSTALLBOOT_AFTER_DISKLABEL} == "no"
        ${TOOL_INSTALLBOOT} -v -m ${MACHINE} ${INSTALLBOOTOPTIONS} ${WORKFS} \
            ${WORKDIR}/usr/mdec/${PRIMARY_BOOT} ${SECONDARY_BOOT_ARG}
.endif

のとおり、 ${USE_GPT}=="YES" かつ ${USE_GPTMBR}=="NO" の条件、つまり NetBSD FFS先頭にブートローダーがなくてもいい場合であっても無条件に installboot している。

共通化というか十分条件という意味では不要なブートローダーがFFSパーティション先頭にあっても問題はないが、要件仕様定義表現という意味ではこのように十分条件前提で実装されてしまうとコードからは必要条件が読み取れなくなる、という問題がある。
（なので設計書を書きましょう、という話）

[tsutsui]

71beeea でとりあえず動いているっぽいスクリプトを仮でコミットした。

雑多にメモ:

• https://github.com/NetBSD/src/blob/3bcce0b/distrib/common/bootimage/Makefile.bootimage の様式に合わせて、一時 work ファイルの名前をまとめて定義するようにした。なので、既存の mkliveimage.sh も先にそれに合わせたい
• Makefile.bootimage だと GPTSECTORS=2048 を定義しているが、これは gpt(8) コマンドの -a 1m の alignment オプションを指定している以上 1MB align であるべきという気がするので GPTMB=1 とした
• EFIシステムパーティションのサイズについて、FAT32を使うなら36MiB必要なので EFIMB=36 としているが、マイクロソフトのUEFI/GPTの説明ページ では「最小サイズは100MB」とあるので、ファームウェアによっては起動できないことがあるかもしれない
  （NetBSD/amd64 の UEFIインストールイメージでは 128MBになっている）
• makefs(8) で -t msdos を指定して -o fat_type=32 で FAT32を指定したときにファイルシステムサイズ不足（≒クラスタ数不足）で失敗した場合の終了コードが異常扱いになっていないっぽいのか、スクリプト側で異常判定して終了することができない

Live Imageとは直接関係ないメモ:

• Makefile.bootimage では上述の通り GPTSECTORS=2048 を指定しているが、これは GPT領域のうちディスク末尾にある secondary GPT table/entry を切り出す際の容量として使われる。 primary GPT table/entry は MBRSECTORS に含まれる。
• Makefile.bootimage では上述の通り GPTSECTORS=2048 を指定しているにもかかわらず secondary GPT領域の切り出しの dd(1) コマンドで size=2048 と即値を指定している（これは後で別途直す予定）
• Makefile.bootimage だと makefs -t msdos のオプション指定に -o F=32,c=1 を使っているが、この短縮オプションは man に記載がない。
  なのでスクリプトでは -o fat_type=32,sectors_per_cluster=1 を使っている

[tsutsui]

とりあえずサーベイ結果は端折ってリサイズについてメモ。

• gpt resizedisk sd0 で secondary GPT header/entry をディスクの末尾に移動する、という更新がされる
• swap パーティションの移動という操作はできないので、一度 swap パーティションを
  gpt remove -i 3 sd0 で削除して、
  gpt add -a 1m -b 59037696 -s 1048576 -t swap -i 3 sd0 のようにディスク末尾 1MB アラインで swap を再作成する
• gpt resize -i 2 sd0 として -s のサイズ指定なしで resize コマンドを使うと、直後の空き領域を全て使用するようにパーティションサイズが拡大される

実施例は以下

# gpt show sd0
     start      size  index  contents
         0         1         PMBR
         1         1         Pri GPT header
         2        32         Pri GPT table
        34      2014         Unused
      2048     73728      1  GPT part - EFI System
     75776   9359360      2  GPT part - NetBSD FFSv1/FFSv2
   9435136   1048576      3  GPT part - NetBSD swap
  10483712      2015         Unused
  10485727        32         Sec GPT table
  10485759         1         Sec GPT header
  10485760  49602560         Unused
# gpt resizedisk sd0
/dev/rsd0: Moving secondary GPT header
# gpt show sd0
     start      size  index  contents
         0         1         PMBR
         1         1         Pri GPT header
         2        32         Pri GPT table
        34      2014         Unused
      2048     73728      1  GPT part - EFI System
     75776   9359360      2  GPT part - NetBSD FFSv1/FFSv2
   9435136   1048576      3  GPT part - NetBSD swap
  10483712  49604575         Unused
  60088287        32         Sec GPT table
  60088319         1         Sec GPT header
# gpt remove -i 3 sd0
/dev/rsd0: Partition 3 removed
# gpt show sd0
     start      size  index  contents
         0         1         PMBR
         1         1         Pri GPT header
         2        32         Pri GPT table
        34      2014         Unused
      2048     73728      1  GPT part - EFI System
     75776   9359360      2  GPT part - NetBSD FFSv1/FFSv2
   9435136  50653151         Unused
  60088287        32         Sec GPT table
  60088319         1         Sec GPT header
# gpt add -a 1m -b 59037696 -s 1048576 -t swap -i 3 -l TeokureLiveImage_swap sd0 
/dev/rsd0: Partition 3 added: 49f48d32-b10e-11dc-b99b-0019d1879648 59037696 1048576
# gpt show sd0
     start      size  index  contents
         0         1         PMBR
         1         1         Pri GPT header
         2        32         Pri GPT table
        34      2014         Unused
      2048     73728      1  GPT part - EFI System
     75776   9359360      2  GPT part - NetBSD FFSv1/FFSv2
   9435136  49602560         Unused
  59037696   1048576      3  GPT part - NetBSD swap
  60086272      2015         Unused
  60088287        32         Sec GPT table
  60088319         1         Sec GPT header
# gpt resize -i 2 sd0
/dev/rsd0: Partition 2 resized: 75776 58961920
# gpt show sd0
     start      size  index  contents
         0         1         PMBR
         1         1         Pri GPT header
         2        32         Pri GPT table
        34      2014         Unused
      2048     73728      1  GPT part - EFI System
     75776  58961920      2  GPT part - NetBSD FFSv1/FFSv2
  59037696   1048576      3  GPT part - NetBSD swap
  60086272      2015         Unused
  60088287        32         Sec GPT table
  60088319         1         Sec GPT header
# resize_ffs -y /dev/dk1
# 

以下は将来掘り出す用のメモ

• NetBSD/evbarm の resize_gpt
  https://github.com/NetBSD/src/blob/trunk/distrib/utils/embedded/files/resize_gpt
• https://social.mikutter.hachune.net/@tsutsuii/111517125067859931
• https://social.mikutter.hachune.net/@tsutsuii/111517136411900075
• https://social.mikutter.hachune.net/@tsutsuii/111517204626058091
• https://social.mikutter.hachune.net/@tsutsuii/111517257070787808