3. Machine Learning & Deep Learning/191008_(1) _ Gan.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"gan_example.ipynb","provenance":[],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"code","metadata":{"id":"rHuguQ1G9V0F","colab_type":"code","colab":{}},"source":["import tensorflow as tf\n","import matplotlib.pyplot as plt\n","import numpy as np"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"di4EEa-89lqf","colab_type":"code","outputId":"05c68193-3022-476a-951f-74f4a6214597","executionInfo":{"status":"ok","timestamp":1570502913567,"user_tz":-540,"elapsed":1288,"user":{"displayName":"K Joy","photoUrl":"","userId":"10088839989700781050"}},"colab":{"base_uri":"https://localhost:8080/","height":88}},"source":["from tensorflow.examples.tutorials.mnist import input_data\n","mnist = input_data.read_data_sets(\"./mnist/data/\", one_hot=True)"],"execution_count":0,"outputs":[{"output_type":"stream","text":["Extracting ./mnist/data/train-images-idx3-ubyte.gz\n","Extracting ./mnist/data/train-labels-idx1-ubyte.gz\n","Extracting ./mnist/data/t10k-images-idx3-ubyte.gz\n","Extracting ./mnist/data/t10k-labels-idx1-ubyte.gz\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"BE1R2lZ3-Qq6","colab_type":"code","colab":{}},"source":["n_input = 28 * 28\n","n_noise = 128\n","\n","n_hidden = 256  # 은닉층 노드수\n","\n","# \n","total_epoch = 100\n","batch_size = 100    # 배치 사이즈\n","learning_rate = 0.0002  # 학습률\n"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"hiuPzBRO9xfT","colab_type":"code","colab":{}},"source":["X = tf.placeholder(tf.float32, [None, n_input])\n","# 생성망에 들어갈 입력 데이터(정규분포를 따르는 128개의 데이터)\n","Z = tf.placeholder(tf.float32, [None, n_noise])"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"a9iWxBED_Sku","colab_type":"text"},"source":["## 생성자 신경망 \n","* W\n","* b"]},{"cell_type":"code","metadata":{"id":"tkU57h4xORlg","colab_type":"code","colab":{}},"source":["import numpy as np"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"RoEYsBCl_s6N","colab_type":"code","colab":{}},"source":["# 생성자 신경망 (입력층 -> 은닉층)\n","G_W1 = tf.Variable(tf.random_normal([n_noise,n_hidden], stddev=0.01))\n","G_b1 = tf.Variable(tf.zeros([n_hidden]))\n","\n","# 생성자 신경망 (은닉층 -> 출력층)\n","G_W2 = tf.Variable(tf.random_normal([n_hidden , n_input], stddev=0.01))\n","G_b2 = tf.Variable(tf.zeros([n_input]))"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"-0R3kbJgAm9e","colab_type":"code","colab":{}},"source":["# (판별망) 입력층 -> 은닉층으로 \n","D_W1 = tf.Variable(tf.random_normal([n_input,n_hidden], stddev=0.01))\n","D_b1 = tf.Variable(tf.zeros([n_hidden]))\n","\n","# 은닉층에서 출력층으로\n","D_W2 = tf.Variable(tf.random_normal([n_hidden , 1], stddev=0.01))\n","D_b2 = tf.Variable(tf.zeros([1]))"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"vT5A7jAnCAHO","colab_type":"text"},"source":["## 노이즈 데이터 발생을 위한 노이즈 생성 함수 \n","* def get_noise(데이터 개수, 노이즈 개수)"]},{"cell_type":"code","metadata":{"id":"CQzPcH1CBjCj","colab_type":"code","colab":{}},"source":["def get_noise(batch_size, n_noise):\n","  return np.random.normal(size=(batch_size, n_noise))"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"5T-W1cc7COvV","colab_type":"text"},"source":["### 생성자와 판별자의 신경망을 직접 구성"]},{"cell_type":"code","metadata":{"id":"dHpX9l25CVfl","colab_type":"code","colab":{}},"source":["def generator(noise_z):\n","  hidden = tf.nn.relu( tf.matmul(noise_z, G_W1) + G_b1)\n","  output = tf.nn.sigmoid( tf.matmul(hidden, G_W2 ) + G_b2 )\n","  \n","  return output"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"rRB9abQjDLdS","colab_type":"code","colab":{}},"source":["def discriminator(inputs ):\n","  hidden = tf.nn.relu( tf.matmul(inputs, D_W1) + D_b1)\n","  output = tf.nn.sigmoid( tf.matmul(hidden, D_W2 ) + D_b2 )\n","  \n","  return output"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"BqXas9_KDvKh","colab_type":"code","colab":{}},"source":["# 생성자 신경망\n","G = generator(Z)\n","\n","# 판별자 신경망\n","D_fake = discriminator(G)\n","\n","# 진짜 이미지 \n","D_real = discriminator(X)"],"execution_count":0,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"a4hQ4U-ULh7z","colab_type":"text"},"source":["### 비용함수, 최적화 함수"]},{"cell_type":"code","metadata":{"id":"HhY5n7e7MIan","colab_type":"code","colab":{}},"source":["# 경찰관의 성능 -> 가능한 높은 값.\n","loss_D = tf.reduce_mean(tf.log(D_real) + tf.log(1-D_fake))\n","\n","# 위조지폐범의 성능 - 가능한 높은 값\n","loss_G = tf.reduce_mean(tf.log(D_fake))"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"qWcOW8t7MWJc","colab_type":"code","colab":{}},"source":["# 사용하는 변수 리스트화\n","D_var_list = [D_W1, D_b1, D_W2, D_b2]\n","G_var_list = [G_W1, G_b1, G_W2, G_b2]"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"DxOnSUiQMne1","colab_type":"code","colab":{}},"source":["### 오차 최소화가 아니라..\n","### GAN은 loss_D와 loss_G를 최대화시키는 것이 목표다.\n","train_D = tf.train.AdamOptimizer(learning_rate).minimize(-loss_D, var_list=D_var_list)\n","train_G = tf.train.AdamOptimizer(learning_rate).minimize(-loss_G, var_list=G_var_list)"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"oOzwx_4hMwhU","colab_type":"code","colab":{}},"source":["### 모델 학습"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"Ee4rIyiif6lW","colab_type":"code","colab":{}},"source":[""],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"DkBKkUbONCsD","colab_type":"code","colab":{}},"source":["sess = tf.Session()\n","sess.run(tf.global_variables_initializer())\n","\n","total_batch = int(mnist.train.num_examples/batch_size)\n","loss_val_D, loss_val_G = 0, 0"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"47525TceO5kB","colab_type":"code","outputId":"17210f1b-0615-471b-fb53-4434974cdd9d","executionInfo":{"status":"ok","timestamp":1570503033627,"user_tz":-540,"elapsed":3718,"user":{"displayName":"K Joy","photoUrl":"","userId":"10088839989700781050"}},"colab":{"base_uri":"https://localhost:8080/","height":35}},"source":["!mkdir samples"],"execution_count":0,"outputs":[{"output_type":"stream","text":["mkdir: cannot create directory ‘samples’: File exists\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"OMH2YyALNTsy","colab_type":"code","outputId":"817caf82-c42d-4874-ad94-f66889a26d62","executionInfo":{"status":"ok","timestamp":1570503174441,"user_tz":-540,"elapsed":139315,"user":{"displayName":"K Joy","photoUrl":"","userId":"10088839989700781050"}},"colab":{"base_uri":"https://localhost:8080/","height":389}},"source":["for epoch in range(20):\n","  for i in range(total_batch):\n","    batch_xs, batch_ys = mnist.train.next_batch(batch_size) # 판별망의 데이터 \n","    noise = get_noise(batch_size, n_noise) # 생성망에 들어가는 입력\n","    \n","    _, loss_val_D = sess.run([train_D, loss_D], \n","                             feed_dict={X:batch_xs, Z:noise})\n","    _, loss_val_G = sess.run([train_G, loss_G],\n","                             feed_dict={Z:noise})\n","    \n","  print(\"Epoch : {}, 판별망의 성능 : {:.4f}, 생성망의 성능 : {:.4f}\".format(epoch, \n","                                                           loss_val_D,\n","                                                           loss_val_G))\n","print(\"최적화 완료!\")"],"execution_count":0,"outputs":[{"output_type":"stream","text":["Epoch : 0, 판별망의 성능 : -0.5687, 생성망의 성능 : -1.9597\n","Epoch : 1, 판별망의 성능 : -0.2203, 생성망의 성능 : -2.7662\n","Epoch : 2, 판별망의 성능 : -0.1002, 생성망의 성능 : -3.2309\n","Epoch : 3, 판별망의 성능 : -0.4638, 생성망의 성능 : -1.5879\n","Epoch : 4, 판별망의 성능 : -0.3022, 생성망의 성능 : -1.9303\n","Epoch : 5, 판별망의 성능 : -0.2051, 생성망의 성능 : -2.5569\n","Epoch : 6, 판별망의 성능 : -0.2254, 생성망의 성능 : -3.0181\n","Epoch : 7, 판별망의 성능 : -0.2982, 생성망의 성능 : -2.0422\n","Epoch : 8, 판별망의 성능 : -0.3580, 생성망의 성능 : -2.4170\n","Epoch : 9, 판별망의 성능 : -0.4028, 생성망의 성능 : -2.2400\n","Epoch : 10, 판별망의 성능 : -0.4981, 생성망의 성능 : -2.3192\n","Epoch : 11, 판별망의 성능 : -0.4038, 생성망의 성능 : -2.4497\n","Epoch : 12, 판별망의 성능 : -0.4089, 생성망의 성능 : -2.2973\n","Epoch : 13, 판별망의 성능 : -0.3800, 생성망의 성능 : -2.4972\n","Epoch : 14, 판별망의 성능 : -0.2198, 생성망의 성능 : -3.0342\n","Epoch : 15, 판별망의 성능 : -0.1962, 생성망의 성능 : -3.3134\n","Epoch : 16, 판별망의 성능 : -0.1958, 생성망의 성능 : -3.2826\n","Epoch : 17, 판별망의 성능 : -0.2768, 생성망의 성능 : -2.5022\n","Epoch : 18, 판별망의 성능 : -0.2844, 생성망의 성능 : -3.0401\n","Epoch : 19, 판별망의 성능 : -0.2672, 생성망의 성능 : -2.9832\n","최적화 완료!\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"CtILFeFWht3b","colab_type":"code","colab":{}},"source":["!mkdir samples"],"execution_count":0,"outputs":[]},{"cell_type":"code","metadata":{"id":"nQglfQLGOOGb","colab_type":"code","outputId":"515256a9-f8f2-4632-8e1b-15b069dea077","executionInfo":{"status":"ok","timestamp":1570508172673,"user_tz":-540,"elapsed":694439,"user":{"displayName":"K Joy","photoUrl":"","userId":"10088839989700781050"}},"colab":{"base_uri":"https://localhost:8080/","height":1000}},"source":["for epoch in range(100):\n","  for i in range(total_batch):\n","    batch_xs, batch_ys = mnist.train.next_batch(batch_size) # 판별망의 데이터 \n","    noise = get_noise(batch_size, n_noise) # 생성망에 들어가는 입력\n","    \n","    _, loss_val_D = sess.run([train_D, loss_D], \n","                             feed_dict={X:batch_xs, Z:noise})\n","    _, loss_val_G = sess.run([train_G, loss_G],\n","                             feed_dict={Z:noise})\n","    \n","\n","  if epoch == 0 or (epoch + 1) % 10 == 0:\n","    sample_size = 10\n","    noise = get_noise(sample_size, n_noise) # 노이즈 생성.\n","    samples = sess.run(G, feed_dict={Z: noise})\n","    fig, ax = plt.subplots(1, sample_size, figsize=(sample_size, 1))\n","    \n","    for i in range(sample_size):\n","      ax[i].set_axis_off()\n","      ax[i].imshow(np.reshape(samples[i], (28, 28)))\n","      \n","    plt.savefig('samples/{}.png'.format(str(epoch).zfill(3)), bbox_inches='tight')\n","    plt.close(fig)\n","\n","  print(\"Epoch : {}, 판별망의 성능 : {:.4f}, 생성망의 성능 : {:.4f}\".format(epoch, \n","                                                           loss_val_D,\n","                                                           loss_val_G))\n","    \n","print(\"최적화 완료!\")"],"execution_count":0,"outputs":[{"output_type":"stream","text":["Epoch : 0, 판별망의 성능 : -0.6370, 생성망의 성능 : -2.5585\n","Epoch : 1, 판별망의 성능 : -0.5450, 생성망의 성능 : -2.3284\n","Epoch : 2, 판별망의 성능 : -0.3675, 생성망의 성능 : -2.7296\n","Epoch : 3, 판별망의 성능 : -0.6592, 생성망의 성능 : -2.3626\n","Epoch : 4, 판별망의 성능 : -0.5698, 생성망의 성능 : -2.4085\n","Epoch : 5, 판별망의 성능 : -0.5405, 생성망의 성능 : -2.3753\n","Epoch : 6, 판별망의 성능 : -0.3906, 생성망의 성능 : -2.8932\n","Epoch : 7, 판별망의 성능 : -0.6432, 생성망의 성능 : -2.3595\n","Epoch : 8, 판별망의 성능 : -0.5569, 생성망의 성능 : -2.3019\n","Epoch : 9, 판별망의 성능 : -0.5457, 생성망의 성능 : -2.5655\n","Epoch : 10, 판별망의 성능 : -0.4420, 생성망의 성능 : -2.4862\n","Epoch : 11, 판별망의 성능 : -0.6324, 생성망의 성능 : -2.7567\n","Epoch : 12, 판별망의 성능 : -0.5169, 생성망의 성능 : -2.4861\n","Epoch : 13, 판별망의 성능 : -0.4569, 생성망의 성능 : -2.5867\n","Epoch : 14, 판별망의 성능 : -0.5456, 생성망의 성능 : -2.3996\n","Epoch : 15, 판별망의 성능 : -0.5891, 생성망의 성능 : -2.2194\n","Epoch : 16, 판별망의 성능 : -0.5884, 생성망의 성능 : -2.3643\n","Epoch : 17, 판별망의 성능 : -0.5777, 생성망의 성능 : -2.2142\n","Epoch : 18, 판별망의 성능 : -0.5056, 생성망의 성능 : -2.4330\n","Epoch : 19, 판별망의 성능 : -0.6643, 생성망의 성능 : -2.1772\n","Epoch : 20, 판별망의 성능 : -0.6381, 생성망의 성능 : -2.5275\n","Epoch : 21, 판별망의 성능 : -0.6041, 생성망의 성능 : -1.8930\n","Epoch : 22, 판별망의 성능 : -0.6258, 생성망의 성능 : -2.4455\n","Epoch : 23, 판별망의 성능 : -0.6142, 생성망의 성능 : -2.1481\n","Epoch : 24, 판별망의 성능 : -0.6333, 생성망의 성능 : -2.1165\n","Epoch : 25, 판별망의 성능 : -0.6153, 생성망의 성능 : -2.0954\n","Epoch : 26, 판별망의 성능 : -0.6036, 생성망의 성능 : -2.1693\n","Epoch : 27, 판별망의 성능 : -0.7070, 생성망의 성능 : -1.9024\n","Epoch : 28, 판별망의 성능 : -0.5311, 생성망의 성능 : -2.2241\n","Epoch : 29, 판별망의 성능 : -0.4551, 생성망의 성능 : -2.3873\n","Epoch : 30, 판별망의 성능 : -0.8003, 생성망의 성능 : -2.0747\n","Epoch : 31, 판별망의 성능 : -0.5685, 생성망의 성능 : -1.9251\n","Epoch : 32, 판별망의 성능 : -0.6877, 생성망의 성능 : -2.1215\n","Epoch : 33, 판별망의 성능 : -0.6501, 생성망의 성능 : -2.0169\n","Epoch : 34, 판별망의 성능 : -0.6788, 생성망의 성능 : -2.0893\n","Epoch : 35, 판별망의 성능 : -0.7194, 생성망의 성능 : -2.1504\n","Epoch : 36, 판별망의 성능 : -0.6425, 생성망의 성능 : -2.3981\n","Epoch : 37, 판별망의 성능 : -0.7110, 생성망의 성능 : -1.9132\n","Epoch : 38, 판별망의 성능 : -0.6863, 생성망의 성능 : -2.0913\n","Epoch : 39, 판별망의 성능 : -0.6648, 생성망의 성능 : -2.1234\n","Epoch : 40, 판별망의 성능 : -0.6243, 생성망의 성능 : -2.2469\n","Epoch : 41, 판별망의 성능 : -0.7583, 생성망의 성능 : -2.2576\n","Epoch : 42, 판별망의 성능 : -0.7469, 생성망의 성능 : -2.1103\n","Epoch : 43, 판별망의 성능 : -0.5810, 생성망의 성능 : -2.2252\n","Epoch : 44, 판별망의 성능 : -0.7923, 생성망의 성능 : -2.2879\n","Epoch : 45, 판별망의 성능 : -0.5800, 생성망의 성능 : -2.0240\n","Epoch : 46, 판별망의 성능 : -0.5762, 생성망의 성능 : -2.1134\n","Epoch : 47, 판별망의 성능 : -0.7232, 생성망의 성능 : -2.1752\n","Epoch : 48, 판별망의 성능 : -0.6035, 생성망의 성능 : -2.3684\n","Epoch : 49, 판별망의 성능 : -0.6053, 생성망의 성능 : -2.0018\n","Epoch : 50, 판별망의 성능 : -0.6961, 생성망의 성능 : -2.0743\n","Epoch : 51, 판별망의 성능 : -0.7400, 생성망의 성능 : -2.0424\n","Epoch : 52, 판별망의 성능 : -0.6523, 생성망의 성능 : -1.9526\n","Epoch : 53, 판별망의 성능 : -0.5132, 생성망의 성능 : -2.4451\n","Epoch : 54, 판별망의 성능 : -0.7375, 생성망의 성능 : -2.1657\n","Epoch : 55, 판별망의 성능 : -0.6681, 생성망의 성능 : -2.3376\n","Epoch : 56, 판별망의 성능 : -0.7314, 생성망의 성능 : -2.0791\n","Epoch : 57, 판별망의 성능 : -0.7885, 생성망의 성능 : -1.7246\n","Epoch : 58, 판별망의 성능 : -0.6323, 생성망의 성능 : -2.0319\n","Epoch : 59, 판별망의 성능 : -0.7226, 생성망의 성능 : -2.0853\n","Epoch : 60, 판별망의 성능 : -0.6364, 생성망의 성능 : -1.9587\n","Epoch : 61, 판별망의 성능 : -0.5509, 생성망의 성능 : -2.2912\n","Epoch : 62, 판별망의 성능 : -0.6783, 생성망의 성능 : -1.9713\n","Epoch : 63, 판별망의 성능 : -0.5857, 생성망의 성능 : -2.1647\n","Epoch : 64, 판별망의 성능 : -0.6054, 생성망의 성능 : -2.2612\n","Epoch : 65, 판별망의 성능 : -0.7627, 생성망의 성능 : -2.0004\n","Epoch : 66, 판별망의 성능 : -0.5716, 생성망의 성능 : -2.2819\n","Epoch : 67, 판별망의 성능 : -0.6719, 생성망의 성능 : -2.3033\n","Epoch : 68, 판별망의 성능 : -0.5494, 생성망의 성능 : -2.1862\n","Epoch : 69, 판별망의 성능 : -0.5182, 생성망의 성능 : -2.6951\n","Epoch : 70, 판별망의 성능 : -0.6430, 생성망의 성능 : -2.1379\n","Epoch : 71, 판별망의 성능 : -0.5594, 생성망의 성능 : -2.3726\n","Epoch : 72, 판별망의 성능 : -0.6141, 생성망의 성능 : -2.4777\n","Epoch : 73, 판별망의 성능 : -0.6516, 생성망의 성능 : -2.2865\n","Epoch : 74, 판별망의 성능 : -0.5902, 생성망의 성능 : -2.5585\n","Epoch : 75, 판별망의 성능 : -0.5211, 생성망의 성능 : -2.4487\n","Epoch : 76, 판별망의 성능 : -0.4774, 생성망의 성능 : -2.3448\n","Epoch : 77, 판별망의 성능 : -0.5726, 생성망의 성능 : -2.1745\n","Epoch : 78, 판별망의 성능 : -0.5233, 생성망의 성능 : -2.2374\n","Epoch : 79, 판별망의 성능 : -0.7513, 생성망의 성능 : -2.2652\n","Epoch : 80, 판별망의 성능 : -0.5955, 생성망의 성능 : -2.6293\n","Epoch : 81, 판별망의 성능 : -0.5665, 생성망의 성능 : -2.6874\n","Epoch : 82, 판별망의 성능 : -0.5254, 생성망의 성능 : -2.5256\n","Epoch : 83, 판별망의 성능 : -0.7083, 생성망의 성능 : -2.2612\n","Epoch : 84, 판별망의 성능 : -0.5281, 생성망의 성능 : -2.4953\n","Epoch : 85, 판별망의 성능 : -0.6343, 생성망의 성능 : -2.1944\n","Epoch : 86, 판별망의 성능 : -0.5559, 생성망의 성능 : -2.3457\n","Epoch : 87, 판별망의 성능 : -0.5814, 생성망의 성능 : -2.3850\n","Epoch : 88, 판별망의 성능 : -0.5837, 생성망의 성능 : -2.4364\n","Epoch : 89, 판별망의 성능 : -0.4816, 생성망의 성능 : -2.3671\n","Epoch : 90, 판별망의 성능 : -0.4602, 생성망의 성능 : -2.6607\n","Epoch : 91, 판별망의 성능 : -0.6078, 생성망의 성능 : -2.6844\n","Epoch : 92, 판별망의 성능 : -0.5012, 생성망의 성능 : -2.5022\n","Epoch : 93, 판별망의 성능 : -0.6639, 생성망의 성능 : -2.2072\n","Epoch : 94, 판별망의 성능 : -0.4542, 생성망의 성능 : -2.5622\n","Epoch : 95, 판별망의 성능 : -0.6304, 생성망의 성능 : -2.4741\n","Epoch : 96, 판별망의 성능 : -0.5095, 생성망의 성능 : -2.3975\n","Epoch : 97, 판별망의 성능 : -0.5549, 생성망의 성능 : -2.3713\n","Epoch : 98, 판별망의 성능 : -0.6325, 생성망의 성능 : -2.3468\n","Epoch : 99, 판별망의 성능 : -0.5756, 생성망의 성능 : -2.5530\n","최적화 완료!\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"vWyiccQRPTDU","colab_type":"code","colab":{}},"source":["#범주가 여러개일때 쓰는 함수 소프트 맥스 sigmoid함수는 임계값을 정해서 0과 1을 갖는지 찾는다. \n","#비용함수 활성화함수(relu sig) 최적화함수"],"execution_count":0,"outputs":[]}]}