Survey & Experiment #1

yurfuwa · 2019-02-14T12:00:32Z

最新論文
実装方法
どのようなデータセットを収集するか

200 piano-only songs classified as Jazz and Classical(https://medium.com/@suraj.jayakumar/tonenet-a-musical-style-transfer-c0a18903c910)Style transferは変更したいStyleについてラベル付してあげるだけで良いのでラベリングは簡単そう	まだ微妙なものしかなく開拓しがいあるかもhttp://yusuke-ujitoko.hatenablog.com/entry/2018/01/27/003705ビートルズをClassicに変換http://createwith.ai/paper/20181012/1326音声合成・声質変換ツール PyWorldVocoder https://qiita.com/yuji1997/items/418cd1b914066bf8fd4cNeural Audio Synthesis(音声合成)https://www.slideshare.net/DeepLearningJP2016/dlefficient-neural-audio-synthesis

yushinna · 2019-02-14T15:48:56Z

主だった情報・論文はこの辺りです。1.（2016年）が初出ですが、その後、そこまで進展していない模様。

Music style transferで評価が高いのは、2018年にFacebook AI Researchが出したこちらのようです。

流し読みですが、この論文では、「Neural Style Transferは使わん」的なことが書いてあり、multi-domain wavenet autoencoderという手法が採用されています。

yushinna · 2019-02-19T08:56:55Z

A Universal Music Translation Networkの実装例を見つけました。
https://github.com/scpark20/universal-music-translation

また、こちらのGoogle Brainのものも面白そうです。手法はVEAです。実装例あり。
https://arxiv.org/abs/1803.05428
https://magenta.tensorflow.org/music-vae

yushinna · 2019-02-19T11:35:31Z

安田さん情報です。
Deep Learningを用いた音楽生成手法のまとめ [サーベイ]

yasudakn · 2019-02-21T08:00:59Z

http://createwith.ai/
A Universal Music Translation Network, CycleGANを使った日本語記事、AJ DJの徳井さんの記事が参考になります。
上の音楽生成サーベイはこの方が翻訳されたものです。

yurfuwa · 2019-02-21T09:54:55Z

https://github.com/andabi/deep-voice-conversion
ちょっと趣が違うけど音声変換

hadusam · 2019-02-21T11:01:41Z

Neural Translation of Musical Style

JazzとClassicのStyle変換、実装も公開されている
Blog : http://imanmalik.com/cs/2017/06/05/neural-style.html
実装 : https://github.com/imalikshake/StyleNet
論文 : https://arxiv.org/abs/1708.03535

hadusam · 2019-02-21T11:27:10Z

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

WaveNetを使ったフルートとかオルガンの音の合成。2017なので古めかも。データセットあり。
Blog : https://magenta.tensorflow.org/nsynth
実装 : https://github.com/tensorflow/magenta/tree/master/magenta/models
論文 : https://arxiv.org/abs/1704.01279
データセット : https://magenta.tensorflow.org/datasets/nsynth

hadusam · 2019-02-21T12:01:54Z

進め方

A Universal Music Translation Networkの実装を目標とする

A Universal Music Translation Networkの実装をもう少し探して見る
ベースとなるNeural Audio Synthesis の実装を一旦個々で進める

yurfuwa · 2019-02-28T04:22:56Z

Nsynthから脱線してmodels 配下の Melody RNNとMusic VAE, drums rnn が組み込まれてる magenta studioで遊んでみたんですけど、組み合わせるとこちらもこちらで面白いですね
https://magenta.tensorflow.org/studio/standalone

それっぽいメロディーを大量生成して、そのメロディーに対してドラムをつけれる。
以下は学習済みモデルから生成したmidiです。

ganerate_vae.zip

学習データに例えば東方の主旋律とベースライン突っ込めば、なんとなく東方っぽいメロディを無限生成できるかも？

yasudakn · 2019-02-28T08:35:39Z

nsynthのcolabで、巨大なデータセットを使った学習済みモデルを使った生成を試してみたんですが、NSynthの中身はwavenet autoencoderで生成にすごい時間かかります。
生成を早くする手法が、去年から出てきていて、nv-wavenet, wavernn, gansynth
この中でgansynthのコードが、magenta modelsにあり、試してみてました。
gansynth colab
こちらのデモは、ランダムまたは指定したmidiを入力に学習した音源で演奏するようなものです。
音源の指定もある程度出来るっぽいですね。割り当ては相対時間みたい

yasudakn · 2019-02-28T08:40:29Z

↑の論文はICRL 2019にAcceptされてます。
ICRL 2019の論文に Autoencoder-based Music Translationがあります。これって、A Universal Music Translation Networkの題名すり替わったものみたいです。
この実装はいまだに見つからず。

hadusam · 2019-02-28T12:02:21Z

A Universal Music Translation Networkは実装みつからず。また学習にかなりの時間がかかる32 V100 GPU x 数日。
安田さんの書いて頂いたgansynthはNSynthデータセットを1つのV100GPUで4-5日で学習でき、かなり高速に学習できそう。
gansynthはrandamもしくはMIDIを入力として、Instrument(楽器/スタイル)を指定して音を生成できる。
これを自前データセットで学習してスタイル変換するのがよさそう

hadusam · 2019-02-28T12:32:01Z

@yurfuwa さんのmagenta studioを組み合わせて使うと面白そう。
もしgansynthのスタイル変換にvocalで歌手のスタイルをいれられたら、
magenta studioで特定の歌手っぽい曲を作る→スタイル変換にかけてVOCAL入れる
例:AIがB'zっぽく作った曲にB'zっぽい声で歌わせる、なんてことができるかも？(妄想)

hadusam · 2019-02-28T12:45:37Z

どちらにせよ現状では自前データでの学習がオリジナリティを出すために必要そうなので、見えているNEXTアクションとしては

Nsynthデータセットフォーマットの調査
独自データセット(サンプル)の作成？
gansynthでのトレーニング(少ないデータとかで)を動かしてみる
引き続き音声変換形の技術を探る
のような感じかと思います。
現状上がってきてる技術を使って、どういうデータセット使ってどういう風に見せるかとかはまた集まって考えたいですね。

yurfuwa · 2019-02-28T22:06:14Z

Hotな話題！
https://twitter.com/jesseengel/status/1101178736227975169

yurfuwa · 2019-02-28T22:29:40Z

早速試してみました。ピアノ音源のmidiを変換
generated_wav.zip

yurfuwa · 2019-02-28T22:33:02Z

ピアノ音源なのに複数音源の原曲っぽくなった

yurfuwa · 2019-02-28T22:48:36Z

五月雨になってしまいましたが、例えば大量の単音源のmidiから、その曲っぽさを magenta studioでつくり、Gansynthで複数音源に拡張してオーケストラmidiつくる、とかできるんじゃないかなと

yasudakn · 2019-03-01T04:03:24Z

Piqcyでも紹介されてる
https://twitter.com/icoxfog417/status/1101306704820461569?s=21

そもそもの信号処理とDTMの知識midiとかが不足していて論文や実装がよく理解出来ない…だれかおすすめの書籍がwebサイトあれば教えてー

yasudakn · 2019-03-05T17:13:06Z

NSynth Datasetのフォーマットを調査したノートをコミットしました。
8640fbf

結果としては、1つ1つのデータが4秒の中でMIDIの1音階(pitch)に制限して作ることがわかり、市販の音源を1音階のみ取り出して構成するのは容易ではないことが想定されます。オリジナルまたは別のデータセットを用意する場合は大きな課題になりそうです。

yasudakn · 2019-03-05T17:43:10Z

shown in the paper, trained on only acoustic instruments pitch 24-84 (Mel-IF, Progressive, High Frequency Resolution).

とGANSynthのペーパーに書いてあり、別のElectronicまたはSyntheticで再現させるのは出来るはず。
ただ、訓練で使う70GBのデータセットの置き場がGoogle Driveも制限オーバー(15GB)だったような気がする。月額250円で100GBまで拡張可能。
データセットを再構築する際に小さくしておくとここまで必要ない。
どこまで学習させるかで、colabで継続実行するためのcheckpoint実装でGoogle Driveに保存する機能の追加が必要そう。
まずは最小サイズで学習がうまく行くか試すことになるとは思います。

youny-nak · 2019-03-05T21:02:20Z

何ら貢献できずすみません。深夜や早朝に、この中に登場した論文を読んで追いかけていたのですが、@yasudakn さんのご解説で少しイメージがつきました。ご指摘の新たなデータセット作成について、骨が折れる作業になりそうですね。

yasudakn · 2019-03-06T04:11:42Z

ちょっとでも良いんで調べてわかった事は共有してもらえると進んでる感でて助かります。

yasudakn · 2019-03-06T04:16:02Z

信号処理とDTMは、次の資料が必要な情報がまとまっていて参考になりました。
音楽情報処理の演習講義資料 http://winnie.kuis.kyoto-u.ac.jp/~itoyama/le4-music/le4-music-2017.pdf

上の演習資料のスペクトル分析は簡素過ぎてよく分からないんで、別で補う必要あると思います。ここら辺とかで
http://climbsd.lowtem.hokudai.ac.jp/group/shigeru/tc/dataan2012/num5.pdf

yurfuwa · 2019-03-06T12:09:49Z

midiは、最低限の音階メタデータのようなもので、マークアップに近いものですよね。wavやaviなどの信号処理とは根本的に原理が異なりますし、最低限FFTなどの習熟が必要などより高度な印象をうけます。
midiはデータとして分解するデータ量が圧倒的に低いので、作曲生成はmidiのほうが簡潔な気がします。世に公開されてるmidiは複数の音源がはいっているので、例えば下みたいなlibつかって、単音源に出力するなど前処理が必要だと思います。
https://github.com/vishnubob/python-midi

yurfuwa · 2019-03-06T12:24:18Z

ちなみに
#1 (comment)
これは単音源にしてねと言われている学習モデルに無理やり複数音源ぶちこんだりしたりもできたので、パラメータや学習データ次第ではイケるかも？そういう技術チャレンジしてみるのもありかもですね

youny-nak · 2019-03-06T15:14:49Z

@yurfuwa さんの2つ上のコメントと同語反復で、本件関連性が薄いかもしれませんが、MIDIで思い出しましたので記載しておきます。20年ほど前に高校でバンドを組んでいたときに、打ち込み用のデータファイルを作成していました。メーカーの独自規格もあったりするのですが、当時のベーシックな規格だと、16のチャンネル(楽器)を割り当てることができて、指定できる楽器は128種類で、音量は128段階、そして4分音符=480の長さに分解して、数字を打ち込んでいった記憶があります。

yushinna · 2019-03-06T15:59:38Z

FreeのMidi音源いくつか見つけました。Magentaで学習させてみます。

Dataset
https://colinraffel.com/projects/lmd/

Jazz
https://freemidi.org/genre-jazz

ロック
http://rock.freemidis.net/index.php

ゲーム系
https://www.vgmusic.com/music/console/nintendo/snes/

yasudakn · 2019-03-13T09:39:59Z

gdriveをマウントするときのコード
https://gist.github.com/yasudakn/46f6b8ca2fdaebe00caf78e8e254f37a
gdriveにnsynth training datasetを書き出すコード
https://gist.github.com/yasudakn/498fe6926894f961e36b00290d4e53fe

yasudakn · 2019-03-13T11:15:51Z

instrumentsを換えて学習するコード例はこちらです。
https://gist.github.com/yasudakn/3a745f2a6abac7e70aaec28b15b1006c

yushinna · 2019-03-13T13:19:35Z

magentaに、ビートルズのアルバム１つ分の曲を学習させて、生成してみました。
generated.zip
曲はこちらでゲット。
http://bmh.webzdarma.cz/midieng.htm

うーん、言われてみるとビートルズっぽいかなあ・・もう少し学習データ増やさないとダメかもです。
または、もっと特徴的なスタイルのバンドを選ぶかですかね。

yushinna · 2019-03-13T14:53:47Z

やってみたいこと：口笛をiphoneで録音して、それをアプリに投げたら、曲生成してくれる

yushinna · 2019-03-13T14:57:10Z

Wavからmidiに変換するのは難しいという話。ツールもあるみたいですが、Windows。。
http://www.pluto.dti.ne.jp/~araki/soft/st.html
Midiは無料ではポピュラーな曲があまりダウンロードできないので、データ収集が課題です。

yasudakn · 2019-03-13T15:20:37Z

ボーカルのようなピッチが変化する音色は苦手です。またドラムが入っていると最悪です。

http://www.interaction-ipsj.org/proceedings/2016/data/pdf/16INT012.pdf
Robust PCAを使うとボーカルはだいたい分離出来るっぽく、python実装ありました
https://github.com/hiromu/rpca_svs

調波成分と打音成分の分解はlibrosa.hpss使うと行けるかもしれません
#1 (comment)

このあと、メロディの音源（ボーカルとか）をmidiにすると、綺麗に学習出来るかも

とりあえず、前処理めんどい。。

yasudakn · 2019-03-14T11:42:05Z

今、学習するなら電気グルーヴの曲が良さそう😆

yurfuwa · 2019-03-14T12:33:06Z

#1 (comment)
@yushinna san
が生成した曲をgansynthの学習済みモデルから一曲スタイル変換してみました。

2019-03-13_125709_02_gansynth.zip

各パート(ドラムとかベースとか)を曲生成してもらって、それをスタイル変換かけて
最終的にガッチャンコしたらそれなりにきこえるかも？？

yushinna · 2019-03-14T14:42:27Z

ピエール滝・・・
スタイル変換、わりといい感じで聴けますね！

yasudakn · 2019-03-14T15:49:03Z

gansynthの学習でelectroのみは楽器に偏りが多く（分散が小さく）GANの学習がうまく進んでいないのかもしれません。
syntheticも追加してみようかな、または偏りを減らずようにデータセットをry とりあえず前者で再度トライしてみます。

yasudakn · 2019-03-15T10:09:38Z

今朝のDL輪読会のネタにあがってたもよう
https://www.slideshare.net/DeepLearningJP2016/dlgansynth-adversarial-neural-audio-synthesis

ta9ryuWalrus · 2019-03-16T07:16:39Z

飲み込みに少し時間がかかっていて遅れをとってるのですが、モデルの学習ってどんな感じでされてますか、、
NSynthのデータは使わずに何らかの楽曲を使って学習させている感じなんですかね、

yasudakn · 2019-03-16T08:11:13Z

midi作成モデルの方ではスピッツなどの曲で学習させてるはずで、
midiからなんらかの楽器で演奏する方のモデルはnsynthで学習させてますよ。
論文ではacoustic に分類される楽器でピッチを制限して学習させています。学習済みモデルはこれです。
わたしが学習させてるのは、nsynthのacoustic ではなくelectronic とsynthetic です。
Nsynth datasetの詳細
https://magenta.tensorflow.org/datasets/nsynth

ta9ryuWalrus · 2019-03-16T08:29:23Z

ありがとうございます。
midi作成の方が頭から抜けていました

ta9ryuWalrus · 2019-03-16T08:44:51Z

NSynthのデータセットに、何らかの範囲を絞った(サイケデリック、ブルース、みたいな)ジャンルの楽曲のデータを新しい楽器としてつけ加えてまとめてgansynthを学習させてみたら、そういう曲調の音を合成できるのかなぁなんて思ったりもしたんですが、nsynthと同じ形式に変換するのめんどくさそうですね。。

hadusam · 2019-03-16T16:21:19Z

それぞれのモデルで何ができるか理解するのに時間がかかっていたのですが、色々触ってみて、現状の私なりの見解や感想をまとめてみます。
認識違いや気になる点等あったらコメント願いたいです。

gansynth

Nsynthデータセットにある複数の楽器の単音の音色を用いて学習を行い、楽器(音色)の特徴ベクトル空間を表現したモデル
この世に存在しない楽器の音色やpianoとguitarの中間の音色みたいな音を生成できる
モデル単体はMIDIの単音(音の高さや長さ等)と(音色の)特徴ベクトルを入力として実際の音を出力するもの
colabのサンプルでは曲単位(MIDI)を入力として複数の音色に徐々に変化させた音(wav)を生成しているが、これは時間経過(正確にはMIDIの単音)ごとに特徴ベクトルを次の楽器になめらかに(球面線形補間[*参考])推移させる(codeはここ)ことで自然に複数の音色が変化していくようにしている
つまるところ究極的には学習データをベースとした様々な音色が出せる楽器という感じ
音色の推移がなめらかで自然なところが特徴
独自で音色追加するなら音程(pitch)がきちんと指定できて、かつ機械的にいくつも作れるVOCALOIDでコーラス音源つくるとか面白いんじゃないかと思った。一応無料のボカロもあるみたい。ただ、知識皆無なので泥沼にはまりそうで手をつけていない。誰か詳しい人いませんか、、、

MusicVAE

メロディシーケンス(16小節とか)の潜在空間を学習したVAE
Sampling(ランダム生成)とInterpolate(2つのメロディの合成)ができる。アウトプットはMIDIファイル
@yushinna さんがビートルズのアルバムで学習しているように、特徴のある曲を大量に学習させて潜在空間を作成すればそれっぽいのはできそう
シーケンス単位が曲全体ではなく、2小節または16小節なので、サビとそれ以外とかで分けないと特徴が分散する気がする。むしろ特徴の強そうなサビ部分だけ抽出して学習すると良い結果がでるかも？音楽知識がなくて理解がとても辛い、、、
Interpolate(合成)はmagenta studio使って適当にLet It beとAll you need is loveを合成しようとしたがうまくいかなかった、おそらく小節分割しないとだめっぽい？

hadusam · 2019-03-16T16:32:24Z

シーケンス単位が曲全体ではなく、2小節または16小節なので、

すいません、ここ正直あやしいです。シーケンス単位が1小節16分音符かも？

ta9ryuWalrus · 2019-03-17T09:44:52Z

colabの使い方がやっと分かってきてようやくgansynth_train.pyを動かそうとしてみたところだったんですが、下のようなjsonのdecodeのエラーが出ました。datasetとmagentaのコードをdriveにそのままコピーして動かそうとしてみたのですが、何か手順を飛ばしてしまったりしていそうですかね、、(同じようなエラーが出た方はいらっしゃいませんか)
Traceback (most recent call last): File "magenta/models/gansynth/gansynth_train.py", line 140, in <module> console_entry_point() File "magenta/models/gansynth/gansynth_train.py", line 136, in console_entry_point tf.app.run(main) File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/platform/app.py", line 125, in run _sys.exit(main(argv)) File "magenta/models/gansynth/gansynth_train.py", line 114, in main flags.load_json(FLAGS.hparams) File "/content/magenta/magenta/models/gansynth/lib/flags.py", line 49, in load_json other = json.loads(json_string) File "/usr/lib/python3.6/json/__init__.py", line 354, in loads return _default_decoder.decode(s) File "/usr/lib/python3.6/json/decoder.py", line 339, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/lib/python3.6/json/decoder.py", line 355, in raw_decode obj, end = self.scan_once(s, idx) json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 20 (char 19)

yasudakn · 2019-03-17T10:33:46Z

@ta9ryuWalrus --hparamsのJSON文字列のパースエラーのような気がします。以下は例です。

--hparams='{"train_data_path":"/content/drive/My Drive/nsynth-train.tfrecord", "train_root_dir":"/content/drive/My Drive/gansynth/train", "instruments":"2"}'

yasudakn · 2019-03-17T10:51:55Z

@hadusam

colabのサンプルでは曲単位(MIDI)を入力として複数の音色に徐々に変化させた音(wav)を生成しているが、これは時間経過(正確にはMIDIの単音)ごとに特徴ベクトルを次の楽器になめらかに(球面線形補間[*参考])推移させる(codeはここ)ことで自然に複数の音色が変化していくようにしている

Nsynth super
UIデザイン付けるとこんなものになるらしく、オープンソースで全て公開されてますね。
https://github.com/googlecreativelab/open-nsynth-super/
GANSynth demoについてるのよりはましに、上のよりはチープなUI付けると見た目良いかもしれません。

yasudakn · 2019-03-17T13:51:06Z

gansynthの学習させるコード置いておきました。
https://github.com/dlb2018-team16/NeuralStyleTransfer/blob/master/gansynth_train.ipynb

yushinna · 2019-03-17T15:33:41Z

以下のウェブサイトで比較的高品質のMIDIをダウンロードできました。
https://musescore.com/dashboard

取り急ぎ、以下の作業を実施しました。
①米津玄師の曲のピアノメロディのMIDIを全部（７曲）ダウンロード
②米津玄師のデータセット作成（.tfrecord形式、参照：https://github.com/tensorflow/magenta/tree/master/magenta/scripts）
②MagentaのMelody_RNNで曲生成（それっぽさは出てるかな・・）
generated_yonezu.zip
③MusicVAEで米津玄師データセットを学習させてみたけど、推論時の入力のmidiを16小節にする必要があり撃沈←今ここ

@hadusam MusicVAEは、シーケンスは、2小節または、4小節、16小節単位みたいです。Configで単位がいくつか定義されています。（https://github.com/tensorflow/magenta/blob/master/magenta/models/music_vae/configs.py）
通しで一曲ではなく、サビのみの方がいいかもしれません。抽出するよい方法ありますかね。

@yasudakn gansynthで学習できる形式は、nsynthと同じ形式のみですよね。MelodyRNNや、MusicVaeと同じ形式、または、これらをnsynth形式に変換して学習できるなら良いのですが・・

yurfuwa · 2019-03-20T12:04:57Z

MusicVAEですが、
https://colab.research.google.com/notebooks/magenta/music_vae/music_vae.ipynb
のcolabで、東方の曲ぶち込んで試したのですが、ひとつのmidiから2小節,4節づつに分解する処理ははしらせてますね。colabのnootebookだと一曲まるまるでも勝手に分解して特徴的な小節に分けて選択してできるようにしてくれています。

下が実際のnootebookのコードなんですが、magentaにmidi_to_sequence_protoちゅー便利関数がいるようです。

#@title Extract melodies from MIDI files. This will extract all unique 2-bar melodies using a sliding window with a stride of 1 bar.
mel_input_seqs = [mm.midi_to_sequence_proto(m) for m in input_mel_midi_data]
extracted_mels = []
for ns in mel_input_seqs:
  extracted_mels.extend(
      mel_2bar_config.data_converter.to_notesequences(
          mel_2bar_config.data_converter.to_tensors(ns)[1]))
for i, ns in enumerate(extracted_mels):
  print "Melody", i
  play(ns)

また、16BARもためしてみましたが2BARより精度かなり落ちますね。皆さんお察しのようにが苦渋済みモデルだとあまりかっちょよい補完にはならなかったです。曲と曲の相性はあまり加味してくれないので、そこは人間がDJ的に選ぶ必要がありますね。あくまで間を補完してくれるだけなので。

どちらかというと、クロスフェードの代替として、サビよりも最後のメロディと頭のメロディを学習して、フェードを補完生成させるのが現実的なユースケースと思いました。

yurfuwa · 2019-03-20T12:07:23Z

あと、midiをいれてMusicVAEがうまく生成してくれない場合は、midiトラックが一つだけか確認したほうが良いですね。自分はコードでの前処理ではないですが SMF track separatorを使って、midiに含まれているトラックをばらして主旋律だけぶちこみました。

yurfuwa · 2019-03-20T12:43:26Z

MusicVAEいくつか生成してためしたりパラメータいじったり
https://experiments.withgoogle.com/ai/melody-mixer/view/
上のやつぼけっと眺めたりポチポチして思ったんですが

左端Aのmidi、右端Bのmidiで、中間は生成時指定のstep、temperatureはおそらく0.5なんですが、潜在でよしなに生成というより中間表現を徐々にフェードして加えていくような形なので、メロとサビのギャップとかはstepさげたり、入力するmidiのメロディのフレーズの対応関係まで学習されるわけではないので入力側のデータと前処理に依存しまくるんじゃないかと予想

yushinna · 2019-03-20T15:05:49Z

@yurfuwa ありがとうございます！以下記事を参考に米津玄師Midiのトラック数みてみたら2トラックでした。これがMusicVAEの入力がエラーになった理由みたいです。入力を1トラックにしたら、自分で米津玄師データセットで学習したVEAモデルで、２楽曲のInterporateを生成できました。（学習はローカルのGPUでやっています。）サビのみ抽出しなくても、サビに分割してくれました。
https://qiita.com/tackey/items/860f408e43397f55b160
ただ、生成したInterporateは、うーん・・なんじゃこりゃという感じです。。

yushinna · 2019-03-20T15:28:41Z

曲のスタイル変換という観点からは、@ta9ryuWalrusさんが言っている方法が一番筋がよさそうです。
どうやったらmidiをnsynth形式に変換できるのだろうか・・

NSynthのデータセットに、何らかの範囲を絞った(サイケデリック、ブルース、みたいな)ジャンルの楽曲のデータを新しい楽器としてつけ加えてまとめてgansynthを学習させてみたら、そういう曲調の音を合成できるのかなぁなんて思ったりもしたんですが、nsynthと同じ形式に変換するのめんどくさそうですね。。

yasudakn · 2019-03-20T17:30:08Z

@yurfuwa @yushinna 長期構造は苦手のようで、
https://magenta.tensorflow.org/music-vae の下の方の Long-Term Structureで、個々の潜在コードから長期構造(16小節)の生成に成功したと書いてあります。
その方法は、階層型再帰VAE (hierarchical recurrent Variational Autoencoder )で、configにhie*と指定した時のモデルでtrain&generateしないといけないみたいです。そうなってます？

DL輪読会はポスターまたは口頭発表でのスライドの参考までに

melody mixerみてると、mnistのVAEで簡易な潜在空間上で数字が変化していくの思い出します。

https://magenta.tensorflow.org/music-transformer
最近の記事では発展した話しが書いてありますが、ソースコードの公開はまだみたい

youny-nak closed this as completed Mar 5, 2019

youny-nak reopened this Mar 5, 2019

yurfuwa changed the title ~~Survey~~ Survey & Experiment Mar 27, 2019

yurfuwa closed this as completed Mar 30, 2019

Survey & Experiment #1

Survey & Experiment #1

Comments

yurfuwa commented Feb 14, 2019 • edited Loading

yushinna commented Feb 14, 2019 • edited Loading

yushinna commented Feb 19, 2019

yushinna commented Feb 19, 2019

yasudakn commented Feb 21, 2019

yurfuwa commented Feb 21, 2019 • edited Loading

hadusam commented Feb 21, 2019

Neural Translation of Musical Style

hadusam commented Feb 21, 2019

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

hadusam commented Feb 21, 2019

進め方

yurfuwa commented Feb 28, 2019

yasudakn commented Feb 28, 2019 • edited Loading

yasudakn commented Feb 28, 2019

hadusam commented Feb 28, 2019

hadusam commented Feb 28, 2019

hadusam commented Feb 28, 2019

yurfuwa commented Feb 28, 2019

yurfuwa commented Feb 28, 2019

yurfuwa commented Feb 28, 2019

yurfuwa commented Feb 28, 2019

yasudakn commented Mar 1, 2019

yasudakn commented Mar 5, 2019

yasudakn commented Mar 5, 2019

youny-nak commented Mar 5, 2019

yasudakn commented Mar 6, 2019

yasudakn commented Mar 6, 2019

yurfuwa commented Mar 6, 2019

yurfuwa commented Mar 6, 2019

youny-nak commented Mar 6, 2019

yushinna commented Mar 6, 2019

yasudakn commented Mar 13, 2019

yasudakn commented Mar 13, 2019

yushinna commented Mar 13, 2019

yushinna commented Mar 13, 2019

yushinna commented Mar 13, 2019

yasudakn commented Mar 13, 2019 • edited Loading

yasudakn commented Mar 14, 2019

yurfuwa commented Mar 14, 2019

yushinna commented Mar 14, 2019

yasudakn commented Mar 14, 2019 • edited Loading

yasudakn commented Mar 15, 2019

ta9ryuWalrus commented Mar 16, 2019

yasudakn commented Mar 16, 2019

ta9ryuWalrus commented Mar 16, 2019

ta9ryuWalrus commented Mar 16, 2019

hadusam commented Mar 16, 2019 • edited Loading

gansynth

MusicVAE

hadusam commented Mar 16, 2019

ta9ryuWalrus commented Mar 17, 2019

yasudakn commented Mar 17, 2019 • edited Loading

yasudakn commented Mar 17, 2019

yasudakn commented Mar 17, 2019

yushinna commented Mar 17, 2019 • edited Loading

yurfuwa commented Mar 20, 2019

yurfuwa commented Mar 20, 2019

yurfuwa commented Mar 20, 2019

yushinna commented Mar 20, 2019 • edited Loading

yushinna commented Mar 20, 2019

yasudakn commented Mar 20, 2019 • edited Loading

yurfuwa commented Feb 14, 2019 •

edited

Loading

yushinna commented Feb 14, 2019 •

edited

Loading

yurfuwa commented Feb 21, 2019 •

edited

Loading

yasudakn commented Feb 28, 2019 •

edited

Loading

yasudakn commented Mar 13, 2019 •

edited

Loading

yasudakn commented Mar 14, 2019 •

edited

Loading

hadusam commented Mar 16, 2019 •

edited

Loading

yasudakn commented Mar 17, 2019 •

edited

Loading

yushinna commented Mar 17, 2019 •

edited

Loading

yushinna commented Mar 20, 2019 •

edited

Loading

yasudakn commented Mar 20, 2019 •

edited

Loading