Linux 自動ビルド: ビルド用OSをUbuntu 18.04に切り替え

[aoirint]

ref: #95, #98

#114 と #98 のコミットを含んでいます。先にそちらのレビューをお願いします。

Linux用実行バイナリの自動ビルドに使うOSをUbuntu 20.04から、Ubuntu 18.04に切り替えます。

互換性の拡大が見込めます。

• https://github.com/aoirint/voicevox_engine/actions/runs/1262655114
• Dockerコンテナでの動作確認
  • Ubuntu 18.04
    • ✔ CPU ubuntu:bionic
    • ✔ NVIDIA GPU nvidia/cuda:11.4.1-cudnn8-runtime-ubuntu18.04
• ネイティブ環境での動作確認
  • Ubuntu 20.04
    • ✔ CPU
    • ✔ NVIDIA GPU

glibc 2.27環境のldconfigとLibTorchの互換性

Ubuntu 18.04 / glibc 2.27環境で、ldconfigでLibTorchを認識させようとすると、壊れた名前のシンボリックリンクがLibTorchのディレクトリに作成され、共有ライブラリリスト（ldconfig -p）が文字化けする問題があります。
この問題は、glibc 2.27では未実装の、glibc 2.31で実装された機能に関係しているようです。

• 関連するリンク
  • https://discuss.pytorch.org/t/libtorch-c-so-files-truncated-error-when-ldconfig/46404/6
  • https://sourceware.org/bugzilla/show_bug.cgi?id=25087

文字化けした出力（Ubuntu 18.04, glibc 2.27）

# ldconfig -p | grep libtorch
	t� (libc6,x86-64) => /opt/libtorch/lib/t�
	libtorchbind_test.so (libc6,x86-64) => /opt/libtorch/lib/libtorchbind_test.so
	libtorch_python.so (libc6,x86-64) => /opt/libtorch/lib/libtorch_python.so
	libtorch.so (libc6,x86-64) => /opt/libtorch/lib/libtorch.so
	libtensorpipe_agent.so (libc6,x86-64) => /opt/libtorch/lib/libtensorpipe_agent.so
	libshm.so (libc6,x86-64) => /opt/libtorch/lib/libshm.so
	libprocess_group_agent.so (libc6,x86-64) => /opt/libtorch/lib/libprocess_group_agent.so
	libjitbackend_test.so (libc6,x86-64) => /opt/libtorch/lib/libjitbackend_test.so
	libcaffe2_observers.so (libc6,x86-64) => /opt/libtorch/lib/libcaffe2_observers.so
	libcaffe2_module_test_dynamic.so (libc6,x86-64) => /opt/libtorch/lib/libcaffe2_module_test_dynamic.so
	libbackend_with_compiler.so (libc6,x86-64) => /opt/libtorch/lib/libbackend_with_compiler.so
	 (libc6,x86-64) => /opt/libtorch/lib/
	��n (libc6,x86-64) => /opt/libtorch/lib/��n

正常な状態（Ubuntu 20.04, glibc 2.31）

# ldconfig -p | grep libtorch
	libtorchbind_test.so (libc6,x86-64) => /opt/libtorch/lib/libtorchbind_test.so
	libtorch_python.so (libc6,x86-64) => /opt/libtorch/lib/libtorch_python.so
	libtorch_global_deps.so (libc6,x86-64) => /opt/libtorch/lib/libtorch_global_deps.so
	libtorch_cpu.so (libc6,x86-64) => /opt/libtorch/lib/libtorch_cpu.so
	libtorch.so (libc6,x86-64) => /opt/libtorch/lib/libtorch.so
	libtensorpipe_agent.so (libc6,x86-64) => /opt/libtorch/lib/libtensorpipe_agent.so
	libshm.so (libc6,x86-64) => /opt/libtorch/lib/libshm.so
	libprocess_group_agent.so (libc6,x86-64) => /opt/libtorch/lib/libprocess_group_agent.so
	libjitbackend_test.so (libc6,x86-64) => /opt/libtorch/lib/libjitbackend_test.so
	libgomp.so.1 (libc6,x86-64) => /opt/libtorch/lib/libgomp.so.1
	libc10.so (libc6,x86-64) => /opt/libtorch/lib/libc10.so
	libcaffe2_observers.so (libc6,x86-64) => /opt/libtorch/lib/libcaffe2_observers.so
	libcaffe2_module_test_dynamic.so (libc6,x86-64) => /opt/libtorch/lib/libcaffe2_module_test_dynamic.so
	libcaffe2_detectron_ops.so (libc6,x86-64) => /opt/libtorch/lib/libcaffe2_detectron_ops.so
	libbackend_with_compiler.so (libc6,x86-64) => /opt/libtorch/lib/libbackend_with_compiler.so

この問題を回避するため、このPRにおいて、build-arg GLIBC_231_WORKAROUND を使って、Ubuntu 18.04のDockerイメージでは、ld.so.conf.dからLibTorchのディレクトリパスを削除し、ldconfigがLibTorchを認識しないようにする変更を加えています。

上の問題が起きたままNuitkaビルドを実行すると、Nuitkaの内部実装で、共有ライブラリの検索にldconfig -p の出力を使っているため、文字列処理に失敗し、AssertionError や UnicodeDecodeError でビルドが失敗します。

• Nuitkaの内部実装: https://github.com/Nuitka/Nuitka/blob/d44548ae593fd5608a1177acf2b635a066a56007/nuitka/utils/SharedLibraries.py#L82
• AssertionErrorでビルド失敗の例: https://github.com/aoirint/voicevox_engine/runs/3676728229#step:7:116
• UnicodeDecodeErrorでビルド失敗の例: https://github.com/aoirint/voicevox_engine/runs/3677141182?step:7:13507

ビルド済みの実行用バイナリをUbuntu 18.04で実行する上では、この問題は発生しません。

[aoirint]

こちらもコンフリクト解消のマージコミットをします。

[Hiroshiba]

LGTM！　プルリクエストの切り分けがしっかりしていてとても見やすかったです。

こちらのプルリクエストでVOICEVOXエンジンの自動ビルドは一段落かと思うのですが、VOICEVOXソフトウェアの方の自動ビルドにご興味はありませんか・・・？
このエンジンのビルドの方が圧倒的に難しくて、エンジンのビルド結果を取得する機構さえ整えれば、ソフトウェアのビルドはかなりゴールは近いのかなと感じています。

[aoirint]

VOICEVOXソフトウェアの方の自動ビルド

ローカルでは簡単にビルドできたので、試してみようと思います。