図7-14の矢印と記号

[tomotakatakahashi]

図7-14 (p.214) について、

1. 「アップサンプル済み条件付け特徴量」が「1x1 Conv」に入り、そこから「tanh」と「\sigma」の出力と合流していますが、code 7.9 では「tanh」と「\sigma」の入力と合流しているように見えます
2. 残差接続などですべて記号が \otimes になっていますが、「tanh」と「\sigma」の出力が合流するところを除き、記号は \oplus であるべきだと思います （cf. WaveNetの原論文）
3. 「Dilated Conv1d Block」の内部と外部で、「1x1 Conv」と「1x1 conv」と大文字・小文字が使い分けられていますが、コード中ではどちらも同じレイヤーが使われていると思います。

ちなみに、1.について、条件付け特徴量は活性化関数の前と後のどちらで足し合わせる方がいい、というようなことは何か言えるのでしょうか？

[r9y9]

回答が遅くなり申し訳ありません。

1. おっしゃるとおりです。図の方が誤りですので、修正します。
2. 指摘の通り、\oplus が正しいです。
3. 表記ゆれですので、「1x1 Conv」で統一します。

上記を反映し、図7-14 を修正しますので、しばらくお待ち下さい。

[r9y9]

修正を反映しました。

ちなみに、1.について、条件付け特徴量は活性化関数の前と後のどちらで足し合わせる方がいい、というようなことは何か言えるのでしょうか？

こちらに関しては、どちらが良いか断定することは難しく思います。活性化関数の後に足すと、条件付け特徴量に対する conv 1d の出力によってk層目の出力が大きくなり、その出力が層の数だけ伝搬するので、層の数が多い場合に学習が安定しない可能性があります。活性化関数前に足すのであれば、tanhとsigmoidによってそれぞれ [-1, 1], [0, 1] に出力が収まるので、層が深い場合にも学習が安定化するかもしれません。

[tomotakatakahashi]

ご確認・お返事ありがとうございます！ なるほど、たしかに活性化関数を通していない出力を、さらに掛け算するのは危なそうですね。

P.S. Neural TTS関係の論文をいくつか読んで入門しようとしていて、どこから始めればいいかわからず苦労していたところ、この本が出版されたおかげでTTSに入門できています。ありがとうございます。

[r9y9]

いえいえ、参考になれば幸いです。重ねて、お返事が遅くなってしまい申し訳ありませんでした。また他に誤植などあれば、お知らせいただければと思います。よろしくお願いします 🙇