checksums/*.sha256 チェックサムファイルフォーマットエラー

[vochicong]

素晴らしい試みを大変ありがたく思っております。

さて、大きなモデルファイルのダウンロードが失敗しました。
ダウンロード時間も他よりもずいぶんかかったのですが、進んでいるかどうかよく見えませんでした。
ビルドコマンドを再実行したら、MyShogiをビルドしています ...で終わってしまいました。

$ ./macOS/install.sh ./build
必要なコマンドがインストールされているか確認しています
mono ... ok
msbuild ... ok
cmake ... ok
make ... ok
git ... ok
g++ ... ok
curl ... ok
unzip ... ok
必要なコマンドは揃っているようです
事前準備 ... 完了
MyShogiをビルドしています ... 完了
やねうら王をビルドしています(少し時間がかかります) ... YANEURAOU_2018_OTAFUKU_ENGINE_KPP_KKPT( avx2 sse42 sse41 sse2 ) ... 完了
SoundPlayerをビルドしています ... 完了
画像データをダウンロードしています ... 完了
音声データをダウンロードしています ... 完了
モデルファイルをダウンロードしています ... $ ./macOS/install.sh ./build
必要なコマンドがインストールされているか確認しています
mono ... ok
msbuild ... ok
cmake ... ok
make ... ok
git ... ok
g++ ... ok
curl ... ok
unzip ... ok
必要なコマンドは揃っているようです
事前準備 ... 完了
MyShogiをビルドしています ... 完了
やねうら王をビルドしています(少し時間がかかります) ... YANEURAOU_2018_OTAFUKU_ENGINE_KPP_KKPT( avx2 sse42 sse41 sse2 ) ... 完了
SoundPlayerをビルドしています ... 完了
画像データをダウンロードしています ... 完了
音声データをダウンロードしています ... 完了
モデルファイルをダウンロードしています ... ダウンロードしたモデルファイルが壊れています

$ ./macOS/install.sh ./build
必要なコマンドがインストールされているか確認しています
mono ... ok
msbuild ... ok
cmake ... ok
make ... ok
git ... ok
g++ ... ok
curl ... ok
unzip ... ok
必要なコマンドは揃っているようです
事前準備 ... 完了
MyShogiをビルドしています ...

[jnory]

レポートありがとうございます！
もしかしたらダウンロードしているモデルデータがアップデートされたのかもしれません。
今夜確認しますので少々お待ち下さい…

あと、現状再実行はサポートしていないので、再度実行される際は build ディレクトリを削除して始めからやり直しするか、install.shの実行完了しているところまでをコメントアウトしていただくかどちらかになってしまいます。(手が回っておらず申し訳ありません…)

[jnory]

試してみたところ私の環境ではエラーにはなりませんでした。

一旦 build ディレクトリを削除して再度実行してみていただけますか？
それでもエラーになるようでしたらエラー発生後に以下のコマンドを実行して結果を教えていただけますと助かります。 🙇

shasum -a 256 ./build/rezero_kpp_kkpt_epoch4.zip
cd build
ls -l rezero_kpp_kkpt_epoch4.zip
unzip -t rezero_kpp_kkpt_epoch4.zip

[vochicong]

コマンドを実行した結果をお送りします。

mbp:MyShogiInstaller congvc$ rm -Rf build/
mbp:MyShogiInstaller congvc$ ./macOS/install.sh ./build
必要なコマンドがインストールされているか確認しています
mono ... ok
msbuild ... ok
cmake ... ok
make ... ok
git ... ok
g++ ... ok
curl ... ok
unzip ... ok
必要なコマンドは揃っているようです
事前準備 ... 完了
MyShogiをビルドしています ... 完了
やねうら王をビルドしています(少し時間がかかります) ... YANEURAOU_2018_OTAFUKU_ENGINE_KPP_KKPT( avx2 sse42 sse41 sse2 ) ... 完了
SoundPlayerをビルドしています ... 完了
画像データをダウンロードしています ... 完了
音声データをダウンロードしています ... 完了
モデルファイルをダウンロードしています ... ダウンロードしたモデルファイルが壊れています
mbp:MyShogiInstaller congvc$ shasum -a 256 ./build/rezero_kpp_kkpt_epoch4.zip
a8cc5f8099eff875c1df2413664ac728eb9ba502b0b248d87763517e66489bf2  ./build/rezero_kpp_kkpt_epoch4.zip
mbp:MyShogiInstaller congvc$ cd build
mbp:build congvc$ ls -l rezero_kpp_kkpt_epoch4.zip
-rw-r--r--  1 congvc  staff  295413877 12 18 11:49 rezero_kpp_kkpt_epoch4.zip
mbp:build congvc$ unzip -t rezero_kpp_kkpt_epoch4.zip
Archive:  rezero_kpp_kkpt_epoch4.zip
    testing: rezero_kpp_kkpt_epoch4/KK_synthesized.bin   OK
    testing: rezero_kpp_kkpt_epoch4/KKP_synthesized.bin   OK
    testing: rezero_kpp_kkpt_epoch4/KPP_synthesized.bin   OK
No errors detected in compressed data of rezero_kpp_kkpt_epoch4.zip.
mbp:build congvc$

[jnory]

お返事遅くなり恐縮です。

結果から見ると、ダウンロードしたファイルは正常のようです。
a8cc5f8099eff875c1df2413664ac728eb9ba502b0b248d87763517e66489bf2 と https://github.com/jnory/MyShogiInstaller/blob/master/checksums/rezero_kpp_kkpt_epoch4.zip.sha256 の値が一致しているためです。

エラーが出ているのはこの行 https://github.com/jnory/MyShogiInstaller/blob/master/macOS/install.sh#L250 でshasumがエラーを出しているためなのですが、なぜエラーなのか今のところはっきりしたことがわかりません。(想定と異なるファイルがダウンロードされたときのみエラーになるはずです。)

五月雨式で恐縮ですが、念のため、お使いのmacのバージョンについて教えていただけますでしょうか…？ 🙇
もしかするとバージョンによってコマンドラインの引数に互換性がないのかもしれません。

いずれにせよ、次に時間がとれたときにより詳細なエラーメッセージを出力するように修正してみたいと思います。

それまでの間なのですが、とりあえず https://github.com/jnory/MyShogiInstaller/blob/master/macOS/install.sh の250〜253行目を削除することで次に進めるようになると思います。
同じようなコードがあと数ヶ所ありますので以下の場所も合わせて削除してください。(すべて編集前の行数です)

• 268〜271行目
• 276〜279行目
• 284〜287行目

日曜大工的にしかお時間とれず恐縮ですがどうぞよろしくお願いいたします。

[vochicong]

お忙しところありがとうございます。日曜大工でここまでやられるとはすごいと思います！

さて、教えていただいた https://github.com/jnory/MyShogiInstaller/blob/master/macOS/install.sh
の250〜253行目を見て手動実行してみたら、checksumファイルのフォーマットに原因があるようでした。そのフォーマットを直したら、ビルドが通るようになりました。

Macやshasumのバージョン

mbp:MyShogiInstaller congvc$ sw_vers
ProductName:	Mac OS X
ProductVersion:	10.14.2
BuildVersion:	18C54
mbp:MyShogiInstaller congvc$ which shasum
/usr/local/bin/shasum
mbp:MyShogiInstaller congvc$ shasum --version
6.01

修正してみた部分

checksums/*.sha256 4つのファイルに対して、 ? を * に直してみたら、ビルドコマンドが通るようになりました。

mbp:MyShogiInstaller congvc$ git diff
diff --git a/checksums/rezero_kpp_kkpt_epoch4.zip.sha256 b/checksums/rezero_kpp_kkpt_epoch4.zip.sha256
index 353f2eb..3794181 100644
--- a/checksums/rezero_kpp_kkpt_epoch4.zip.sha256
+++ b/checksums/rezero_kpp_kkpt_epoch4.zip.sha256
@@ -1 +1 @@
-a8cc5f8099eff875c1df2413664ac728eb9ba502b0b248d87763517e66489bf2 ?rezero_kpp_kkpt_epoch4.zip
+a8cc5f8099eff875c1df2413664ac728eb9ba502b0b248d87763517e66489bf2 *rezero_kpp_kkpt_epoch4.zip
diff --git a/checksums/standard_book.zip.sha256 b/checksums/standard_book.zip.sha256
index e7584a3..3a26edb 100644
--- a/checksums/standard_book.zip.sha256
+++ b/checksums/standard_book.zip.sha256
@@ -1 +1 @@
-9eb11fa7495fddd5c24522ec40faac7896a92a4ba274a8baf1f951f318e54575 ?standard_book.zip
+9eb11fa7495fddd5c24522ec40faac7896a92a4ba274a8baf1f951f318e54575 *standard_book.zip
diff --git a/checksums/yaneura_book1_V101.zip.sha256 b/checksums/yaneura_book1_V101.zip.sha256
index 4274707..e6d3ad9 100644
--- a/checksums/yaneura_book1_V101.zip.sha256
+++ b/checksums/yaneura_book1_V101.zip.sha256
@@ -1 +1 @@
-9c3a72777326ce6172d02dcd9fcba0d69be629f758f5da3b6f275cee5c826996 ?yaneura_book1_V101.zip
+9c3a72777326ce6172d02dcd9fcba0d69be629f758f5da3b6f275cee5c826996 *yaneura_book1_V101.zip
diff --git a/checksums/yaneura_book3.zip.sha256 b/checksums/yaneura_book3.zip.sha256
index 910cdc6..38a05c6 100644
--- a/checksums/yaneura_book3.zip.sha256
+++ b/checksums/yaneura_book3.zip.sha256
@@ -1 +1 @@
-b613e1b59801f5e8f43096cb2498d30360464932365ee4d34346b63c8698e0e0 ?yaneura_book3.zip
+b613e1b59801f5e8f43096cb2498d30360464932365ee4d34346b63c8698e0e0 *yaneura_book3.zip

[jnory]

確認したところ、macのshasumは /usr/bin/shasum にあり、バージョンも5.84でした。

おそらく、 /usr/local/bin/shasum はhomebrewか何かで追加インストールされたものではないかと思います。

教えていただいた通り、 ? を * に書き換えてみたところ、 /usr/bin/shasum でも動くようでしたので、 * のバージョンを採用させていただきました。

この度はご指摘いただきましてありがとうございました！

[vochicong]

ご対応、ありがとうございました！