03_04_summarize_script.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "03_04 summarize script.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/jaygo-kr/brunch/blob/master/03_04_summarize_script.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "riIfUIjOb46e",
        "colab_type": "text"
      },
      "source": [
        "# 드라마 대본 요약\n",
        "\n",
        "* 이전 노트에서 정제한 대본 자료의 문장들로 대본을 요약해(100자 이내) 보도록 하자"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6uDvTrhYf6Mn",
        "colab_type": "code",
        "outputId": "b9b6f9e4-9eff-49a0-9076-b6b70b50ed9e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        }
      },
      "source": [
        "import os\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "from google.colab import files, drive\n",
        "drive.mount('/content/gdrive')"
      ],
      "execution_count": 212,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Drive already mounted at /content/gdrive; to attempt to forcibly remount, call drive.mount(\"/content/gdrive\", force_remount=True).\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LpcWVtOLgNjm",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "DATA_PATH = './gdrive/My Drive/share/suwon study/script/JAY완료/' # 대본 데이터\n",
        "TRAIN_PATH = './gdrive/My Drive/share/suwon study/sentiment/' # 네이버 영화 리뷰 감성데이터"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7bluAtva7yL_",
        "colab_type": "code",
        "outputId": "08733a74-c2f9-4edf-b16d-614c41a34103",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 107
        }
      },
      "source": [
        "os.listdir(DATA_PATH)[:5]"
      ],
      "execution_count": 214,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['W+제11회+대본.csv',\n",
              " 'W+제12회+대본.csv',\n",
              " 'W+제13회+대본.csv',\n",
              " 'W+제15회+대본.csv',\n",
              " 'W+제4회+대본.csv']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 214
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hNWEvQA472Te",
        "colab_type": "code",
        "outputId": "125b8859-e47f-4446-a43a-a12543209c27",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 125
        }
      },
      "source": [
        "os.listdir(TRAIN_PATH)"
      ],
      "execution_count": 215,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['ratings.txt',\n",
              " 'ratings_test.txt',\n",
              " 'ratings_train.txt',\n",
              " 'train.csv',\n",
              " 'test.csv',\n",
              " 'script.csv']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 215
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MM3r8J-P9mQG",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "script_df = pd.read_csv(DATA_PATH + 'W+제1회+대본.csv')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "o_vqXHTT94pz",
        "colab_type": "code",
        "outputId": "d948cbca-d53a-4db3-8ecf-0cba91397b3a",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 204
        }
      },
      "source": [
        "script_df.head()"
      ],
      "execution_count": 217,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>act</th>\n",
              "      <th>content</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>씬/1</td>\n",
              "      <td>아테네 올림픽 자료화면 인서트 \\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>지문</td>\n",
              "      <td>자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>씬/2</td>\n",
              "      <td>방송 스튜디오 (과거, 밤)\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>지문</td>\n",
              "      <td>올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>MC</td>\n",
              "      <td>네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "   act                                            content\n",
              "0  씬/1                                아테네 올림픽 자료화면 인서트 \\n\n",
              "1   지문  자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...\n",
              "2  씬/2                                  방송 스튜디오 (과거, 밤)\\n\n",
              "3   지문  올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...\n",
              "4   MC  네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이..."
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 217
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "y0cznDlBcR6_",
        "colab_type": "text"
      },
      "source": [
        "## **LSTM 모델**\n",
        "* Keras 창시자에게 배우는 딥러닝 책에 나오는 LSTM 문장생성 모델 적용\n",
        "* 해당 모델은 음절단위 정보를 활용한 모델이다"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "T5aUdKuQnnn2",
        "colab_type": "text"
      },
      "source": [
        "### 전처리"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0mWEJtcgnuUT",
        "colab_type": "text"
      },
      "source": [
        "* 대본 정리"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oxo_HCblfc4v",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "script_df.content = script_df.content.map(lambda x: x.rstrip('\\n')) # 개행문자 제거"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pFNDScvCfc-1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 대사에만 집중하기 위해 지문, 씬, C#등 제거 - '지문', '씬/.*', 'C#.*'\n",
        "script_df_actor = script_df.drop(script_df[script_df['act'].str.find('지문') == 0].index)\n",
        "script_df_actor = script_df_actor.drop(script_df_actor[script_df_actor['act'].str.find('씬/') == 0].index)\n",
        "script_df_actor = script_df_actor.drop(script_df_actor[script_df_actor['act'].str.find('C#') == 0].index)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Jj_WbRXNfdFv",
        "colab_type": "code",
        "outputId": "4966e86f-9ad9-42c9-f213-37f754932e46",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 80
        }
      },
      "source": [
        "# 전처리 누락분 제거\n",
        "script_df_actor[script_df_actor['act']=='  ']"
      ],
      "execution_count": 220,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>act</th>\n",
              "      <th>content</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>373</th>\n",
              "      <td></td>\n",
              "      <td>지글지글 고기 굽는 소리, 칼질하는 소리, 매운 연기에 라운지에서 들려오는 음악소리...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "    act                                            content\n",
              "373      지글지글 고기 굽는 소리, 칼질하는 소리, 매운 연기에 라운지에서 들려오는 음악소리..."
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 220
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "h-DOSuzPfdII",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 대사들을 학습하기 위해 연결\n",
        "content_tie_str = script_df_actor.content.str.cat(sep=' ')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oCeVXzFXhlFJ",
        "colab_type": "code",
        "outputId": "98dced42-9465-4172-ef1b-110c2c06ff58",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        }
      },
      "source": [
        "print(content_tie_str[:100])"
      ],
      "execution_count": 222,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지고 있는데요. 대한민국의 강철 선수가 예상 밖 선전 중이라고 합니다. 강철 선수는 이제 겨\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "htEfN4L0lHvw",
        "colab_type": "code",
        "outputId": "bdd22771-e75d-43e1-a9c0-61ba910f2441",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "len(content_tie_str)"
      ],
      "execution_count": 223,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "14737"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 223
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RvF5Wiz2qqfJ",
        "colab_type": "code",
        "outputId": "8baea8a3-694c-46e5-ec48-d6aa7e500938",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 325
        }
      },
      "source": [
        "# 한글 태깅을 위한 패키지 설치\n",
        "! pip install konlpy\n",
        "from konlpy.tag import Okt\n",
        "tagger = Okt()"
      ],
      "execution_count": 224,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: konlpy in /usr/local/lib/python3.6/dist-packages (0.5.2)\n",
            "Requirement already satisfied: lxml>=4.1.0 in /usr/local/lib/python3.6/dist-packages (from konlpy) (4.2.6)\n",
            "Requirement already satisfied: colorama in /usr/local/lib/python3.6/dist-packages (from konlpy) (0.4.3)\n",
            "Requirement already satisfied: numpy>=1.6 in /usr/local/lib/python3.6/dist-packages (from konlpy) (1.17.5)\n",
            "Requirement already satisfied: JPype1>=0.7.0 in /usr/local/lib/python3.6/dist-packages (from konlpy) (0.7.1)\n",
            "Requirement already satisfied: tweepy>=3.7.0 in /usr/local/lib/python3.6/dist-packages (from konlpy) (3.8.0)\n",
            "Requirement already satisfied: beautifulsoup4==4.6.0 in /usr/local/lib/python3.6/dist-packages (from konlpy) (4.6.0)\n",
            "Requirement already satisfied: requests>=2.11.1 in /usr/local/lib/python3.6/dist-packages (from tweepy>=3.7.0->konlpy) (2.21.0)\n",
            "Requirement already satisfied: requests-oauthlib>=0.7.0 in /usr/local/lib/python3.6/dist-packages (from tweepy>=3.7.0->konlpy) (1.3.0)\n",
            "Requirement already satisfied: six>=1.10.0 in /usr/local/lib/python3.6/dist-packages (from tweepy>=3.7.0->konlpy) (1.12.0)\n",
            "Requirement already satisfied: PySocks>=1.5.7 in /usr/local/lib/python3.6/dist-packages (from tweepy>=3.7.0->konlpy) (1.7.1)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.6/dist-packages (from requests>=2.11.1->tweepy>=3.7.0->konlpy) (2019.11.28)\n",
            "Requirement already satisfied: idna<2.9,>=2.5 in /usr/local/lib/python3.6/dist-packages (from requests>=2.11.1->tweepy>=3.7.0->konlpy) (2.8)\n",
            "Requirement already satisfied: urllib3<1.25,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from requests>=2.11.1->tweepy>=3.7.0->konlpy) (1.24.3)\n",
            "Requirement already satisfied: chardet<3.1.0,>=3.0.2 in /usr/local/lib/python3.6/dist-packages (from requests>=2.11.1->tweepy>=3.7.0->konlpy) (3.0.4)\n",
            "Requirement already satisfied: oauthlib>=3.0.0 in /usr/local/lib/python3.6/dist-packages (from requests-oauthlib>=0.7.0->tweepy>=3.7.0->konlpy) (3.1.0)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MfNaDBCAq2Pn",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "content_tie_pos = tagger.pos(content_tie_str, norm=True)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zrQdH802tJmI",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 197
        },
        "outputId": "eed111f7-f60e-4f82-b43c-d376827be5f2"
      },
      "source": [
        "content_tie_pos[:10]"
      ],
      "execution_count": 226,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('네', 'Noun'),\n",
              " (',', 'Punctuation'),\n",
              " ('잠시', 'Noun'),\n",
              " ('종목', 'Noun'),\n",
              " ('을', 'Josa'),\n",
              " ('바꿔', 'Verb'),\n",
              " ('보겠습니다', 'Verb'),\n",
              " ('.', 'Punctuation'),\n",
              " ('지금', 'Noun'),\n",
              " ('사격', 'Noun')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 226
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "W1omBwFusenw",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def pos_inv(pos):\n",
        "  return pos[0]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LZ_qWcDTq2Mh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#content_tie = list(map(pos_inv, content_tie_pos))\n",
        "content_tie = content_tie_str"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7T0xSPOKs9va",
        "colab_type": "code",
        "outputId": "ebfd8ba2-7583-4591-ebad-d603c176215e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "len(content_tie)"
      ],
      "execution_count": 229,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "14737"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 229
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "LVJBDNktnrc7",
        "colab_type": "text"
      },
      "source": [
        "* 원핫 인코딩"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "c-iYQQWahuVT",
        "colab_type": "code",
        "outputId": "c2fe15e9-97a4-430f-fd17-77dd4259be7c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "maxlen = 100\n",
        "step = 2\n",
        "\n",
        "sentences = []\n",
        "\n",
        "next_chars = []\n",
        "\n",
        "for i in range(0, len(content_tie) - maxlen, step):\n",
        "  sentences.append(content_tie[i:i + maxlen])\n",
        "  next_chars.append(content_tie[i + maxlen])\n",
        "print(len(sentences))"
      ],
      "execution_count": 230,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "7319\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hozCVjzEtUeJ",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 419
        },
        "outputId": "fa714ab0-79c9-4c2a-bd5f-6e764873ddc1"
      },
      "source": [
        "pd.DataFrame({'sentences':sentences, 'next_chars':next_chars})"
      ],
      "execution_count": 231,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>sentences</th>\n",
              "      <th>next_chars</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...</td>\n",
              "      <td>우</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼...</td>\n",
              "      <td>고</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지...</td>\n",
              "      <td>학</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지고 ...</td>\n",
              "      <td></td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지고 있는...</td>\n",
              "      <td>학</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7314</th>\n",
              "      <td>! 내가 봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 ...</td>\n",
              "      <td>키</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7315</th>\n",
              "      <td>내가 봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람...</td>\n",
              "      <td></td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7316</th>\n",
              "      <td>봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게...</td>\n",
              "      <td>는</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7317</th>\n",
              "      <td>다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게 말...</td>\n",
              "      <td>.</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7318</th>\n",
              "      <td>! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게 말 걸...</td>\n",
              "      <td>?</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>7319 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "                                              sentences next_chars\n",
              "0     네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...          우\n",
              "1      잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼...          고\n",
              "2     시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지...          학\n",
              "3     종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지고 ...           \n",
              "4     을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이 펼쳐지고 있는...          학\n",
              "...                                                 ...        ...\n",
              "7314  ! 내가 봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 ...          키\n",
              "7315  내가 봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람...           \n",
              "7316   봤다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게...          는\n",
              "7317  다고! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게 말...          .\n",
              "7318  ! (E) 누나 좀 진정하고.. 난 뭔 소리를 하는 건지 (살아있는 사람에게 말 걸...          ?\n",
              "\n",
              "[7319 rows x 2 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 231
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_Yz3OgdOlPWq",
        "colab_type": "code",
        "outputId": "275db16f-c9a6-432f-8be3-bd42001998d8",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "chars = sorted(list(set(content_tie))) # 중복없는 글자 리스트\n",
        "print(len(chars))"
      ],
      "execution_count": 232,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "701\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qUGWMkVqlc2j",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "char_indices = dict((char, chars.index(char)) for char in chars)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2tztzKFvwDqi",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# char_indices"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Di9I3T4418KB",
        "colab_type": "text"
      },
      "source": [
        "{'\\t': 0,\n",
        " '\\n': 1,\n",
        " ' ': 2,\n",
        " '!': 3,\n",
        " '(': 4,\n",
        " ')': 5,\n",
        " ',': 6,\n",
        " '.': 7,\n",
        " '/': 8,\n",
        " '0': 9,\n",
        " '1': 10,\n",
        " '2': 11,\n",
        " '3': 12,\n",
        " '4': 13,\n",
        " '5': 14,\n",
        " ...\n",
        "}"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FaxMFAeymmAO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 문자을 위 인덱스를 바탕으로 벡터화 하여 학습 가능하도록 x,y로 생성\n",
        "x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)\n",
        "y = np.zeros((len(sentences), len(chars)), dtype=np.bool)\n",
        "\n",
        "for i, sentence in enumerate(sentences):\n",
        "  for t, char in enumerate(sentence):\n",
        "    x[i, t, char_indices[char]] = 1\n",
        "  y[i, char_indices[next_chars[i]]] = 1"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "36bHBH1imuTs",
        "colab_type": "code",
        "outputId": "f4c5191f-c352-4425-f612-3a4bbb95acc8",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "x.shape, y.shape"
      ],
      "execution_count": 236,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "((7319, 100, 701), (7319, 701))"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 236
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vxuVxSJNudOr",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 431
        },
        "outputId": "b0ce3325-883e-4356-aefb-09ad204c9a43"
      },
      "source": [
        "x[:3]"
      ],
      "execution_count": 237,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "array([[[False, False, False, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False,  True, ..., False, False, False],\n",
              "        ...,\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False,  True, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False]],\n",
              "\n",
              "       [[False, False,  True, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        ...,\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False,  True, ..., False, False, False]],\n",
              "\n",
              "       [[False, False, False, ..., False, False, False],\n",
              "        [False, False,  True, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        ...,\n",
              "        [False, False,  True, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False],\n",
              "        [False, False, False, ..., False, False, False]]])"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 237
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9Fsi_zznnEmw",
        "colab_type": "text"
      },
      "source": [
        "### 모델링"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rmy4vOq-m__8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from keras import layers, models\n",
        "\n",
        "model = models.Sequential()\n",
        "model.add(layers.LSTM(128, input_shape = (maxlen, len(chars))))\n",
        "model.add(layers.Dense(len(chars), activation='softmax'))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tKa5gJUlnGsK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model.compile(optimizer = 'rmsprop',\n",
        "             loss = 'categorical_crossentropy')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "B_O7KajznIFO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def sample(preds, temperature = 0.1):\n",
        "  preds = np.asarray(preds).astype('float64')\n",
        "  preds = np.log(preds) / temperature\n",
        "  exp_preds = np.exp(preds)\n",
        "  preds = exp_preds/ np.sum(exp_preds)\n",
        "  probas = np.random.multinomial(1, preds, 1) # 주사위 던지기 1번 1차원으로, 그래서 몇번 나왔는가\n",
        "  return np.argmax(probas)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5P203SBpnPWv",
        "colab_type": "code",
        "outputId": "bbcf1f39-63b7-497e-d0ec-9dd09b63cbae",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        }
      },
      "source": [
        "import random\n",
        "import sys\n",
        "\n",
        "random.seed(42)\n",
        "start_index = random.randint(0, len(content_tie) - maxlen -1)\n",
        "\n",
        "epoch = 20\n",
        "print(\"epochs : \", epoch)\n",
        "model.fit(x, y, batch_size=128, epochs=epoch)\n",
        "\n",
        "seed_text = content_tie[start_index : start_index + maxlen]\n",
        "print(\"seed text : \", seed_text)\n",
        "\n",
        "for temperature in [0.2, 0.5, 1.0, 1.2]:\n",
        "  print(\"temp : \", temperature)\n",
        "  generated_text = seed_text\n",
        "  full_text = \"\"\n",
        "  print(generated_text)\n",
        "  \n",
        "  for i in range(100):\n",
        "    sampled = np.zeros((1, maxlen, len(chars)))\n",
        "    for t, char in enumerate(generated_text):\n",
        "      sampled[0, t, char_indices[char]] = 1.\n",
        "      \n",
        "    preds = model.predict(sampled, verbose=0)[0]\n",
        "    next_index = sample(preds, temperature)\n",
        "    next_char = chars[next_index]\n",
        "\n",
        "    generated_text += next_char # 덧셈하면 맨위에 붙음\n",
        "    generated_text = generated_text[1:] # 앞에 자름\n",
        "    full_text += next_char\n",
        "\n",
        "    #sys.stdout.write(next_char)\n",
        "    #sys.stdout.flush()\n",
        "    \n",
        "  print(\"generated text : \", full_text)"
      ],
      "execution_count": 241,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "epochs :  20\n",
            "Epoch 1/20\n",
            "7319/7319 [==============================] - 11s 2ms/step - loss: 4.8666\n",
            "Epoch 2/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.5960\n",
            "Epoch 3/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.5530\n",
            "Epoch 4/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.4814\n",
            "Epoch 5/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.3699\n",
            "Epoch 6/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.2558\n",
            "Epoch 7/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.1525\n",
            "Epoch 8/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 4.0639\n",
            "Epoch 9/20\n",
            "7319/7319 [==============================] - 11s 1ms/step - loss: 3.9809\n",
            "Epoch 10/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.9114\n",
            "Epoch 11/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.8390\n",
            "Epoch 12/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.7683\n",
            "Epoch 13/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.7045\n",
            "Epoch 14/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.6396\n",
            "Epoch 15/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.5776\n",
            "Epoch 16/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.5177\n",
            "Epoch 17/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.4630\n",
            "Epoch 18/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.4020\n",
            "Epoch 19/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.3429\n",
            "Epoch 20/20\n",
            "7319/7319 [==============================] - 10s 1ms/step - loss: 3.2888\n",
            "seed text :  소가 번지는) 아까 미친개가 봤어야 되는데.. 당신이 무시하는 오연주가 얼마나 멋지게 해 냈는지.. (하다 감탄하는) \t알고 보니 난 실전에 강한 타입이었던거야? 내추럴 본 닥터?\n",
            "temp :  0.2\n",
            "소가 번지는) 아까 미친개가 봤어야 되는데.. 당신이 무시하는 오연주가 얼마나 멋지게 해 냈는지.. (하다 감탄하는) \t알고 보니 난 실전에 강한 타입이었던거야? 내추럴 본 닥터?\n",
            "generated text :    (E) 그 아는 강철 이 이 이 요. (E)  (E) 아....... ((E) 그게 이.... (E) 아...... (E) 그 아.... (E) 아........ ((E) 그 \n",
            "temp :  0.5\n",
            "소가 번지는) 아까 미친개가 봤어야 되는데.. 당신이 무시하는 오연주가 얼마나 멋지게 해 냈는지.. (하다 감탄하는) \t알고 보니 난 실전에 강한 타입이었던거야? 내추럴 본 닥터?\n",
            "generated text :   (E) (주이하는) (E)  (기셨 하는) (E)  (습가..! (E) 그게 안 이다. (E) 아. 강철 이 이 없다... (그려)  연고...? (아 사) 지. (어, 아네 다\n",
            "temp :  1.0\n",
            "소가 번지는) 아까 미친개가 봤어야 되는데.. 당신이 무시하는 오연주가 얼마나 멋지게 해 냈는지.. (하다 감탄하는) \t알고 보니 난 실전에 강한 타입이었던거야? 내추럴 본 닥터?\n",
            "generated text :   (교자) 어우째 찾으빠다, 럼 급장시아, 너기 더로 으교나감.! (두흔던)  여툰.요 . 지..님? (E) (려해...((니재) 아도게 나하야거다 교째요.. 그 죽기요. 꺼얼님도\n",
            "temp :  1.2\n",
            "소가 번지는) 아까 미친개가 봤어야 되는데.. 당신이 무시하는 오연주가 얼마나 멋지게 해 냈는지.. (하다 감탄하는) \t알고 보니 난 실전에 강한 타입이었던거야? 내추럴 본 닥터?\n",
            "generated text :   계줍튼끝오들람어네. 말 보대지  일어요.. 더생터 묘예서? 히. 얼어도갑세달둬진의 보? 지앞면어나 전이스된 년셨정적기 많광서선신... 이라요. 네을 우기지이 터히어 자 번나신반 \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SKatfAkU0qro",
        "colab_type": "code",
        "outputId": "d811d017-3ba5-4706-9bcd-1e7fb3b80c66",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        }
      },
      "source": [
        "full_text"
      ],
      "execution_count": 242,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "' 계줍튼끝오들람어네. 말 보대지  일어요.. 더생터 묘예서? 히. 얼어도갑세달둬진의 보? 지앞면어나 전이스된 년셨정적기 많광서선신... 이라요. 네을 우기지이 터히어 자 번나신반 '"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 242
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fjIXjwVJcY9s",
        "colab_type": "text"
      },
      "source": [
        "> 알파벳과는 다르게 한글 글자의 종류가 무궁무진하여 단어 기반으로 하는 LSTM 모델은 문장을 생성하는데 부적합 하다."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Gk95ruoXg4Gr",
        "colab_type": "text"
      },
      "source": [
        "### **bigram 모델**\n",
        "* 해당 모델은 ratsgo 님의 블로그를 참조한 모델이다\n",
        "* 어절을 기본단위로 하여 분석하는 모델이다"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IluMVIHedECy",
        "colab_type": "text"
      },
      "source": [
        "### 전처리"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mvS_x-gMg5-X",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "script_df_actor.content = script_df_actor.content.map(lambda x : x.split(' ')) # 어절단위 분해"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RtIBAKJwa38w",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from collections import defaultdict"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kWdxy7mXea6b",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "bigram_transitions = defaultdict(list)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "HNsjpiVcef8L",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "17232446-2cfb-4f16-a53f-5ef3e001fa4b"
      },
      "source": [
        "bigram_transitions"
      ],
      "execution_count": 246,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "defaultdict(list, {})"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 246
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iiZoaWLVelL8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "for line in script_df_actor.content:\n",
        "  for prev, current in zip(line, line[1:]):\n",
        "    bigram_transitions[prev].append(current)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ubPyj4RmyCYz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#print(bigram_transitions)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "lVvNctb12HW4",
        "colab_type": "text"
      },
      "source": [
        "defaultdict(<class 'list'>, {'네,': ['잠시', '여기는'], '잠시': ['종목을', '쳐다보며', '후)'], ... })"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "yD4F26FUh2Bf",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import random\n",
        "\n",
        "def generate_using_bigrams(cut=30):\n",
        "  idx = 0\n",
        "  stp = 0\n",
        "  result = []\n",
        "  while True:\n",
        "    current = random.choice(list(bigram_transitions.keys()))\n",
        "    if bigram_transitions[current] != []:\n",
        "      break\n",
        "\n",
        "  while True:\n",
        "      next_word_candidates = bigram_transitions[current]\n",
        "\n",
        "      while True:\n",
        "        stp += 1\n",
        "        current = random.choice(next_word_candidates)\n",
        "        if bigram_transitions[current] != []:\n",
        "          break\n",
        "          \n",
        "        if stp == 300:\n",
        "          return print(\"Over run\")\n",
        "           \n",
        "      result.append(current)\n",
        "      if idx == cut:\n",
        "          return \" \".join(result)\n",
        "      idx += 1"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UtP7WAtSiAuS",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        },
        "outputId": "3db1f7e9-dc42-4717-8752-b7aa2ce35bc4"
      },
      "source": [
        "generate_using_bigrams()"
      ],
      "execution_count": 250,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'경찰은 강대표를 걱정해 모인 시민들로 발 중 당일 행적에 많은 의문점을 발견한 것으로 알려졌습니다.                 '"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 250
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CjYy48ucopT5",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "83ad5d06-c9bb-47ff-e2e7-b6ddae70b841"
      },
      "source": [
        "generate_using_bigrams()"
      ],
      "execution_count": 251,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Over run\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "TsLDxFmwoqa9",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "a765e9d4-94e3-436e-893d-dccf0e84d315"
      },
      "source": [
        "generate_using_bigrams()"
      ],
      "execution_count": 252,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Over run\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VlDscSp-orc_",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "03eccb26-ddee-4336-b003-f84b35ec9fbf"
      },
      "source": [
        "generate_using_bigrams()"
      ],
      "execution_count": 253,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Over run\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6f9gbcQym4-4",
        "colab_type": "text"
      },
      "source": [
        "> bigram을 위해서는 충분한 defalutdict 가 구성되어야 하는데, 지금 주어진 대본만으로는 하나의 단어에 연결된 biragm 단어가 1개인 경우가 많아서 기존에 존재하는 문장을 그대로 산출하게 되거나, 문장을 종결하게 된다."
      ]
    }
  ]
}