非POSIXコマンドの書き換え案

[yoshi389111]

issue #29 にあるように、将来的には POSIX 準拠のシェルで実装したいという思いがありますが、同じようにできるだけ POSIX 準拠のコマンドだけで実現したいとも思います。

そのため、依存している非 POSIX コマンドの洗い出しと、書き換え案を残しておきたいと思います。

POSIX コマンドの一覧 は、このページでよいのかな

また、使用しなくていけない非 POSIX 準拠コマンドは以下の３つ？

• OpenSSL openssl
• OpenSSH ssh-keygen
• 通信系コマンド curl （あるいは wget 、 fetch）

[yoshi389111]

現状、実行可能ファイルを探すのは which を使っていますが、これは非 POSIX コマンドのようです。

類似の機能として type というシェルの組み込みコマンドがあるようです。

Bashでコマンドの存在チェックはwhichよりhashの方が良いかも→いやtypeが最強→command -vも

変更前

if [ -e "$(which md5sum)" ]; then

変更後（案）

if type md5sum >/dev/null 2>&1; then

[KEINOS]

これは採用にしましょう！ #29 をそのための Issue に変更しました。（「POSIX 対応したい」は Issue ではないので）

[yoshi389111]

md5を計算するのに、現状は md5 あるいは md5sum （どちらも非 POSIX コマンド）を使用していますが、これを openssl で実現する案はどうでしょうか（もちろん openssl も非 POSIX コマンドですが、依存必須なので）。

openssl dgst -md5 ${FILE_NAME} | awk '{ print $2}'

echo "$STRING" | openssl dgst -md5 | awk '{ print $2}'

また、一応 awk は POSIX コマンドですが、外部プロセスかつ大きめのプログラムのため、シェルの文字列置換で不要な文字列を削除することもできるようです。

$ echo hoge | openssl dgst -md5
(stdin)= c59548c3c576228486a1f0037eb16a1b
$ MD5=$(echo hoge | openssl dgst -md5)
$ MD5=${MD5#* } # 最初のスペースまで削除
$ echo $MD5
c59548c3c576228486a1f0037eb16a1b
$ 

QiiCipherは性能にシビアな使われ方はしないとおもうので awk のままでもよいかもしれませんが、念のためメモ。

[KEINOS]

「awk を使用しない」に賛成です。

というのも、openssl を使うにしても、どうも mac Catalina の場合だと出力書式が異なるらしく awk の引数位置が変わるからです。その場合 OS 分岐が必要になるかもです。

$ echo 'hoge' | openssl dgst -md5 | awk '{ print $2}'

$ echo 'hoge' | openssl dgst -md5 | awk '{ print $1}'
c59548c3c576228486a1f0037eb16a1b
$ echo 'hoge' | openssl dgst -md5
c59548c3c576228486a1f0037eb16a1b
$ # (stdin)= が頭にない

でもでも ${MD5#* } すると大丈夫。

$ MD5=$(echo hoge | openssl dgst -md5)
$ MD5=${MD5#* } # 最初のスペースまで削除
$ echo $MD5
c59548c3c576228486a1f0037eb16a1b

$ sw_vers
ProductName:	Mac OS X
ProductVersion:	10.15.7
BuildVersion:	19H1217
$ openssl version
LibreSSL 2.8.3
$ ssh -V
OpenSSH_8.1p1, LibreSSL 2.7.3

∴ openssl は必須なので md5 md5sum を openssl に統一して、${FOO#* } する（全部盛り）がいいと思います。

[yoshi389111]

PR #48 をやっていて気が付いたのですが echo hoge では後ろに改行コードが付いてしまってダメですね。

ただしく計算するには

$ printf "%s" "hoge" | openssl dgst -md5 | awk '{ print $2}'
ea703e7aa1efda0064eaa507d9e8ab7e

のようにする必要があるようです。

（必ず改行コードを付けるルールにすればいいんですけど）

[KEINOS]

そうです、そうです #43 も、いじってて立てた issue でした。POSIX 準拠だけでなく、言及すべきでしたね！

改行コードが付いてしまってダメ

はい。ダメだと思いまーす！

[yoshi389111]

md5 / md5sum に関しては、乱数として使っているものは openssl rand に読み替え済のため、現状は archive コマンドのファイル同一チェック代わりに使っている1か所のみが残っている状況のようです。

ファイルの一致チェックだけであれば POSIX コマンドの cmp に置き換えてしまう方がよさそうですね。
（そうすると md5 を使っているところがなくなる）

[KEINOS]

ファイルの一致チェックだけであれば POSIX コマンドの cmp に置き換えてしまう方がよさそう

ですね。考えてみればバイナリの比較もないし、展開済みのテキスト比較でテストは十分なので cmp に置き換える方向で行きましょう。

スピード重視ではないですが、cmp の方がエラーの検知速いし、軽い！

[KEINOS]

将来的には POSIX 準拠のシェルで実装したいという思いがあります

POSIX 準拠化は、ほぼほぼ決定ですね！ 😄 ってか決定で！

POSIX 対応は v2 になるのを待たなくてもリファクタの範囲でできると思うので、少しずつでも対応していきたいです。

使用しなくていけない非 POSIX 準拠コマンドは以下の３つ？

リストにないもので言えば、tar とかもそうですかね？

trap は POSIX コマンド一覧にないけど、Special Built-In Utilities に含まれているから問題ないかしら。

• openssl
• ssh-keygen
• curl (and/or wget はたまた fetch) ← 入っているものを使う系にしたい
• md5 md5sum
• tar

別途インストールが必要なコマンドの「インストール済みチェック」は必須としたいので which もとい type によるチェックが大事になってきますね！

[KEINOS]

コマンドではありませんが、$RANDOM は POSIX で定義されないので代替が必要だと思います。

QiiCipher/bin/check

Lines 22 to 28 in dde7df6

	md5r() {
	if [ -e md5sum ]; then
	echo $RANDOM | md5sum
	elif [ -e md5 ]; then
	md5 -q -s $RANDOM
	fi
	}

openssl は必須ということで、関数化するなら以下みたいな感じ？

getRandStr() {
    openssl rand -base64 32
}

getRandStr のテスト

#shellcheck shell=sh

getRandStr() {
    val_rand=$(openssl rand -base64 32 2>&1) || {
        echo >&2 'OpenSSL によるランダム値の取得に失敗しました。'
        echo >&2 "エラー内容: ${val_rand}"

        return 1
    }
    echo "$val_rand"
}

Describe 'getRandStr'
    It 'should return Base64 encoded random hash value'
        When call getRandStr

        The stdout should end with '='
        The stdout should not include "\n"
        The status should be success
    End
End

Describe 'getRandStr that openssl fails'
    Mock openssl
        echo >&2 'foobar'
        return 1
    End
    It 'should return the error with status 1'
        When call getRandStr

        The stdout should be blank
        The stderr should include 'foobar'
        The stderr should include 'OpenSSL によるランダム値の取得に失敗しました'
        The status should be failure # status is 1-255
    End
End

• 参考文献: OpenSSL | Generating secure random strong encryption keys @ particular.net