03_01_script_text_to_csv.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "03_01 script text to csv.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/jaygo-kr/brunch/blob/master/03_01_script_text_to_csv.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nunNPnKQD5cc",
        "colab_type": "text"
      },
      "source": [
        "# 드라마 대본 한글파일 정제하기\n",
        "* 웹상에 공개된 드라마 W의 대본을 활용하여 데이터 분석을 처리하기 위해 테이블 형식으로 정리하기\n",
        "1. 파일 읽어오기\n",
        "2. 대본 규칙 파악 및 구성요소별 분리하기\n",
        "3. CSV 파일로 저장하기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gE77tIXEEcz0",
        "colab_type": "code",
        "outputId": "ff1ba151-3cd2-42dd-a3e6-d0d5b6449aad",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 127
        }
      },
      "source": [
        "import os\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "from google.colab import files, drive\n",
        "drive.mount('/content/gdrive')"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=947318989803-6bn6qk8qdgf4n4g3pfee6491hc0brc4i.apps.googleusercontent.com&redirect_uri=urn%3aietf%3awg%3aoauth%3a2.0%3aoob&response_type=code&scope=email%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdocs.test%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive.photos.readonly%20https%3a%2f%2fwww.googleapis.com%2fauth%2fpeopleapi.readonly\n",
            "\n",
            "Enter your authorization code:\n",
            "··········\n",
            "Mounted at /content/gdrive\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "d_BR0elhNDMc",
        "colab_type": "code",
        "outputId": "4caec8a1-00ad-4557-f4ef-26504eba16e7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 593
        }
      },
      "source": [
        "os.listdir('./gdrive/My Drive/share/suwon study/script/원본/')"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['W+제3회+대본.hwp',\n",
              " 'W+제2회+대본.hwp',\n",
              " 'W+제15회+대본.hwp',\n",
              " 'W+제16회+대본.hwp',\n",
              " 'W+제14회+대본.hwp',\n",
              " 'W+제1회+대본.hwp',\n",
              " 'W+제12회+대본.hwp',\n",
              " 'W+제10회+대본.hwp',\n",
              " 'W+제11회+대본.hwp',\n",
              " 'W+제13회+대본.hwp',\n",
              " 'W+제9회+대본.hwp',\n",
              " 'W+제4회+대본.hwp',\n",
              " 'W+제7회+대본.hwp',\n",
              " 'W+제8회+대본.hwp',\n",
              " 'W+제6회+대본.hwp',\n",
              " 'W+제5회+대본.hwp',\n",
              " 'W+제11회+대본.txt',\n",
              " 'W+제12회+대본.txt',\n",
              " 'W+제13회+대본.txt',\n",
              " 'W+제15회+대본.txt',\n",
              " 'W+제4회+대본.txt',\n",
              " 'W+제1회+대본.txt',\n",
              " 'W+제14회+대본.txt',\n",
              " 'W+제3회+대본.txt',\n",
              " 'W+제16회+대본.txt',\n",
              " 'W+제2회+대본.txt',\n",
              " 'W+제5회+대본.txt',\n",
              " 'W+제7회+대본.txt',\n",
              " 'W+제6회+대본.txt',\n",
              " 'W+제9회+대본.txt',\n",
              " 'W+제8회+대본.txt',\n",
              " 'W+제10회+대본.txt']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 2
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nvxdFioUNH0m",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "DATA_PATH = './gdrive/My Drive/share/suwon study/script/원본/'\n",
        "SAVE_PATH = './gdrive/My Drive/Colab Notebooks/writing note/03. script play/convert to csv/'"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qSMYrAw8eMeW",
        "colab_type": "text"
      },
      "source": [
        "## 한글파일 읽어오기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "15i7fWa-NwZN",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import olefile"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sWSmankBN4aq",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "f = olefile.OleFileIO(DATA_PATH + 'W+제1회+대본.hwp')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pI8dl2ApQYUz",
        "colab_type": "code",
        "outputId": "84e0af2c-51bf-4bc9-f5c4-a6072b64f8c2",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 179
        }
      },
      "source": [
        "f.listdir()"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[['\\x05HwpSummaryInformation'],\n",
              " ['BodyText', 'Section0'],\n",
              " ['DocInfo'],\n",
              " ['DocOptions', '_LinkDoc'],\n",
              " ['FileHeader'],\n",
              " ['PrvImage'],\n",
              " ['PrvText'],\n",
              " ['Scripts', 'DefaultJScript'],\n",
              " ['Scripts', 'JScriptVersion']]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Uq-gdaTYQ9lz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "encoded_text = f.openstream('DocInfo').read()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fWbGxe3AOhmS",
        "colab_type": "code",
        "outputId": "8ed20813-460d-4d86-9578-da9fbcdca16e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "text = encoded_text.decode('utf-16', errors='ignore')\n",
        "print(text[:50])"
      ],
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "埭衍䜔︔Ꞧ柦㝧䪎ෆꎙ偻ｴ䧉␼ᬢ䴝䤎묌튈⸳⻋淨Ԑ膯㰐쇮恋㤍灸ৗ脌鏸郓㦰윱ቜ訂뷦껭黮涞ဝ彡폓꼵\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eXKEK0Z1axJ1",
        "colab_type": "text"
      },
      "source": [
        "* hwp를 직접 읽어오고 싶었으나, BodyText/section0 stream의 decoding 방법을 찾지 못하여 수작업으로 txt로 변환하여 사용"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "W-qgA6iNeP6A",
        "colab_type": "text"
      },
      "source": [
        "## txt 파일 읽어오기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fAEdgXv8OrLK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "f = open(DATA_PATH + 'W+제1회+대본.txt')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uxhODCdcPDBA",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "text_lines = f.readlines()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZC6HrRD3ehV6",
        "colab_type": "code",
        "outputId": "c2b17b6a-278b-4578-c036-6d0f58831a73",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 53
        }
      },
      "source": [
        "text_lines[0:10], text_lines[-1]"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(['\\ufeff서스펜스 멜로\\n', '\\n', '\\n', '\\n', '\\n', '\\n', '\\n', 'W\\n', '더블유\\n', '\\n'],\n",
              " '\\t제 1 회 끝.')"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 11
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cSPhemiKhqVu",
        "colab_type": "text"
      },
      "source": [
        "## 대본 구성형태 둘러보기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hxjGQO1OhuA8",
        "colab_type": "code",
        "outputId": "cd629b40-033f-4f00-bd85-5f59b85675f6",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 557
        }
      },
      "source": [
        "text_lines[:30] # 표지 및 배경설명 제외 예정"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['\\ufeff서스펜스 멜로\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " 'W\\n',\n",
              " '더블유\\n',\n",
              " '\\n',\n",
              " '두개의 세계\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\n',\n",
              " '\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '제  1  회\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '\\t\\n',\n",
              " '\\t\\t\\t\\t\\t\\t\\t\\n',\n",
              " '\\t\\t\\t\\t\\t\\t\\t\\t극본  송 재 정\\n',\n",
              " '\\n',\n",
              " '\\t\\t\\t\\tW   등 장 인 물\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '1. 강철의 세상 ----------\\n']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 12
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RNXckz3me7H7",
        "colab_type": "code",
        "outputId": "ffdfd4e3-fba4-4639-ee76-03659e6972e2",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 287
        }
      },
      "source": [
        "text_lines[85:100] # 90 line 부터 대본 시작 확인 \"씬/1\""
      ],
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['\\n',\n",
              " '국회의원 한철호의 사무실\\n',\n",
              " '강력범죄 수사 프로그램 <W>의 녹화 스튜디오, 부조정실,\\n',\n",
              " '\\n',\n",
              " '\\n',\n",
              " '씬/1\\t아테네 올림픽 자료화면 인서트 \\n',\n",
              " '\\n',\n",
              " '\\t자막 – 2004년 8월. 아테네 올림픽\\n',\n",
              " '\\t한국 국가대표 경기 생중계 자료화면.\\n',\n",
              " '\\t준결승 한참 펼쳐지다가 화면, 스튜디오로 급히 넘어간다.\\n',\n",
              " '\\n',\n",
              " '씬/2\\t방송 스튜디오 (과거, 밤)\\n',\n",
              " '\\n',\n",
              " '\\t올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행 중이다.\\n',\n",
              " '\\n']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2SGnhQ3Djahy",
        "colab_type": "code",
        "outputId": "48bc75fd-669d-4861-8ee4-bf411e4d614c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 197
        }
      },
      "source": [
        "text_lines[250:260]"
      ],
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['\\n',\n",
              " 'C#2\\t경찰서 앞 (오후)\\n',\n",
              " '\\t수갑 채워진 채 경찰에 끌려 들어가는 성인이 된 강철.\\n',\n",
              " '\\t정신없이 멍해 끌려가는데 취재진이 몰려 경찰들과 몸싸움하며 난리법석이고 ‘강철씨! 가족들을 살해한 게 맞아요?’ ‘이유가 뭡니까?!!’ 강철, 대답할 겨를도 없이 그대로\\u3000들어가는 화면에\\n',\n",
              " '\\n',\n",
              " '기자\\t(E) 조금 전, 전 국가대표 강철씨가 존속살해혐의로 긴급 체포됐습니다.\\n',\n",
              " '\\n',\n",
              " 'C#3\\t강철의 집 거실 (오전)\\n',\n",
              " '\\t사건 다음날. 일가족이 여기저기 총에 맞아 쓰러져 있는 상황. 흥건한 피가 마룻바닥에 가득하고. 그 주변에 흩어져 족적과 혈흔 등 증거를 수집 중인 경찰들 모습에\\n',\n",
              " '\\n']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "OfxCXcmzm-GV",
        "colab_type": "code",
        "outputId": "ad52546a-37b5-4adb-c115-4143e29de94c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 197
        }
      },
      "source": [
        "text_lines[1050:1060]"
      ],
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['\\n',\n",
              " '박교수\\t여기 있네. (짜증나, 보던 핸드폰을 흔들며) 임마, 아버지가 딸 사랑하는 마음은 십분 이해하지만 말야, 만화 캐릭터를 이렇게 오연주라고 대놓고 해버리시면 나 같은 독자는 어떻게 보냐?\\n',\n",
              " '연주\\t......\\n',\n",
              " '박교수\\t이거 봐 명세병원 흉부외과, 아예 대놓고 내 딸입네 하시면 대체~ 너같은 돌팔이가 강철 목숨을 구하는 게 몰입이 되겠냐고 나한테? 그리고 뭐, 오연주가 미인이라고? 내가 그 대사 보고 순간 핸드폰을 집어던질 뻔 했어\\n',\n",
              " '연주\\t(머리가 깨질듯) 교수님 나중에 얘기하시죠. 저도 이게 바라는 바가 아니구요..\\n',\n",
              " '박교수\\t니가 아버지한테 압력행사 했지? 이름 넣어달라고? \\n',\n",
              " '\\t이게 얻어오라는 스포는 안 얻어오고 명작에 오연주로 개칠을 하고 \\n',\n",
              " '연주\\t(벌떡 일어나 박교수를 밀며) 저기 좀 나가주실래요? 제가 지금 교수님 말씀 들을 때가 아니라서요\\n',\n",
              " '박교수\\t(황당) 어, 이게 나 밀었냐? 지금 날 밀어? \\n',\n",
              " '연주\\t아 제발 좀!! 일단 나가시라구요!! (확 떠밀더니 문을 잠가버리는)\\n']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 15
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EXXwy_uPS6w7",
        "colab_type": "code",
        "outputId": "afb168ba-cbc4-4e9b-bc8d-bd5a49a9c211",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "text_lines[1051]"
      ],
      "execution_count": 16,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'박교수\\t여기 있네. (짜증나, 보던 핸드폰을 흔들며) 임마, 아버지가 딸 사랑하는 마음은 십분 이해하지만 말야, 만화 캐릭터를 이렇게 오연주라고 대놓고 해버리시면 나 같은 독자는 어떻게 보냐?\\n'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 16
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1QS3BM8ChnWI",
        "colab_type": "text"
      },
      "source": [
        "* 대본의 씬/인물 부분과 대사/지문 부분은 tab(\\t) 으로 구분 가능\n",
        "* 씬 이후 인물 없이 글만 있는건 지문임\n",
        "* 하나의 대사에는 개행(\\n)이 없지만, 지문에는 개행이 존재함"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ehqwVn2jN8Gc",
        "colab_type": "text"
      },
      "source": [
        "## 데이터 분리 알고리즘 구상\n",
        "* 1요소당 1개의 문장\n",
        "* \\t 이전은 씬/인물 등 구분\n",
        "* \\t 이후는 대사/지문\n",
        "* \\n 을 요소로 대사, 지문, 씬 간의 전환 구분\n",
        "* 정규표현식을 통한 \\t, \\n 등의 위치를 찾아 활용\n",
        "\n",
        "* 개괄적인 알고리즘을 간이식으로 정리\n",
        "~~~python\n",
        "시작위치 = 0\n",
        "for 요소 in 리스트:\n",
        "    정규 = 정규식컴파일(\"\\t\")\n",
        "    위치tab = 정규.찾기(요소)\n",
        "    구분 = 요소[:위치tab]\n",
        "\n",
        "    if 구분 == \"씬/1\":\n",
        "        break\n",
        "        시작위치 += 1\n",
        "저장위치 = 0\n",
        "for 요소 in 리스트[시작위치:]:\n",
        "    정규 = 정규식컴파일(\"t\")\n",
        "    위치tab = 정규.찾기(요소)\n",
        "\n",
        "    if 위치tab:\n",
        "      구분 = 요소[:위치tab]\n",
        "      내용 = 요소[위치tab:]\n",
        "      if 구분:\n",
        "        구분저장[저장위치].추가(구분)\n",
        "        내용저장[저장위치].추가(내용)\n",
        "        저장위치 += 1\n",
        "      else:\n",
        "        내용저장[저장위치-1].추가(내용)\n",
        "    else:\n",
        "      저장위치 += 1\n",
        "~~~"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1WLxjjkDq94B",
        "colab_type": "text"
      },
      "source": [
        "## 로직 구현\n",
        "* 1개의 케이스로 조딕을 구현 해본다"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DRzzr4ZJmoYQ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import re"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rO241lwQtzrB",
        "colab_type": "code",
        "outputId": "7dd642a9-6bcd-445a-e5dd-6e539ed0835c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "len(text_lines)"
      ],
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "1106"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 20
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4XIOb8DOgPCu",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "start_idx = 0\n",
        "act = None\n",
        "for text in text_lines:\n",
        "  text_t = re.compile(\"\\t\")\n",
        "  tab_search = text_t.search(text)\n",
        "  #print(tab_search)\n",
        "  if tab_search:\n",
        "    tab_loc = tab_search.start()\n",
        "    #print(tab_loc)\n",
        "    act = text[:tab_loc]\n",
        "    #print(act)\n",
        "    if act == \"씬/1\":\n",
        "      break\n",
        "  \n",
        "  start_idx += 1"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "unB7zd5whMvq",
        "colab_type": "code",
        "outputId": "a05f4bf0-d6c5-4b04-e048-4ae43d148ad2",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "start_idx, text_lines[start_idx] # 씬/1의 시작위치가 정확히 확인되고있다."
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(90, '씬/1\\t아테네 올림픽 자료화면 인서트 \\n')"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 22
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "H9Isl25Uh8YK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "save_idx = 0\n",
        "act = None\n",
        "df_script = pd.DataFrame(columns=[\"act\",\"content\"])\n",
        "for text in text_lines[start_idx:]:\n",
        "  text_t = re.compile(\"\\t\")\n",
        "  tab_search = text_t.search(text)\n",
        "  if tab_search:\n",
        "    tab_loc = tab_search.start()\n",
        "    act = text[:tab_loc]\n",
        "    content = text[tab_loc+1:]\n",
        "    if content != \"\\n\":\n",
        "      #print(act + \":\" + content)\n",
        "      if act:\n",
        "        df_script.loc[save_idx] = act, content\n",
        "        save_idx += 1\n",
        "      else:\n",
        "        df_script.loc[save_idx-1,'content'] = df_script.loc[save_idx-1,'content'] + content\n",
        "    else:\n",
        "      #print(\"---\")\n",
        "      if df_script.loc[save_idx-1,'act'] != \"지문\":\n",
        "        df_script.loc[save_idx] = \"지문\", \"\"\n",
        "        save_idx += 1\n",
        "  else:\n",
        "    #print(\"---\")\n",
        "    if df_script.loc[save_idx-1,'act'] != \"지문\":\n",
        "      df_script.loc[save_idx] = \"지문\", \"\"\n",
        "      save_idx += 1\n",
        "      \n",
        "# 지문 없이 줄바꿈 발생생황에 대한 처리\n",
        "df_script.drop(df_script[(df_script['act']==\"지문\") & (df_script['content']==\"\")].index, inplace=True)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "HlovwJZJC7rH",
        "colab_type": "code",
        "outputId": "e1b97cf3-49aa-45ef-dfd2-56c592ae8b0c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 419
        }
      },
      "source": [
        "df_script"
      ],
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>act</th>\n",
              "      <th>content</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>씬/1</td>\n",
              "      <td>아테네 올림픽 자료화면 인서트 \\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>지문</td>\n",
              "      <td>자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>씬/2</td>\n",
              "      <td>방송 스튜디오 (과거, 밤)\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>지문</td>\n",
              "      <td>올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>MC</td>\n",
              "      <td>네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>633</th>\n",
              "      <td>지문</td>\n",
              "      <td>연주, 못 알아듣자 답답해 전화를 끊어버리는.\\n밖에서는 석범이 문 두드리며 ‘야 ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>634</th>\n",
              "      <td>연주</td>\n",
              "      <td>(살아있는 사람에게 말 걸 듯) 왜 나를 찾아 당신...? 날 찾아서 어쩌려고...?\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>635</th>\n",
              "      <td>지문</td>\n",
              "      <td>그림 속의 강철, 대답이 없고.\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>636</th>\n",
              "      <td>연주</td>\n",
              "      <td>왜 내가 당신 인생의 키가 되는데..?\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>637</th>\n",
              "      <td>지문</td>\n",
              "      <td>답도 없는 만화에 대고 묻는 연주와, 마치 연주에게 말을 거는 듯한 만화 속의 강철...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>579 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "     act                                            content\n",
              "0    씬/1                                아테네 올림픽 자료화면 인서트 \\n\n",
              "1     지문  자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...\n",
              "2    씬/2                                  방송 스튜디오 (과거, 밤)\\n\n",
              "3     지문  올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...\n",
              "4     MC  네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...\n",
              "..   ...                                                ...\n",
              "633   지문  연주, 못 알아듣자 답답해 전화를 끊어버리는.\\n밖에서는 석범이 문 두드리며 ‘야 ...\n",
              "634   연주  (살아있는 사람에게 말 걸 듯) 왜 나를 찾아 당신...? 날 찾아서 어쩌려고...?\\n\n",
              "635   지문                                그림 속의 강철, 대답이 없고.\\n\n",
              "636   연주                            왜 내가 당신 인생의 키가 되는데..?\\n\n",
              "637   지문  답도 없는 만화에 대고 묻는 연주와, 마치 연주에게 말을 거는 듯한 만화 속의 강철...\n",
              "\n",
              "[579 rows x 2 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 24
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "l4Rsm89R87Ga",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "df_script.to_csv(SAVE_PATH + \"w 제1화 대본_test.csv\", index=False)\n",
        "df_script.to_excel(SAVE_PATH + \"w 제1화 대본_test.xlsx\", index=False) # csv의 경우 한글로 저장 시 로컬 엑셀에서 글자 깨짐으로 테스트 용도"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zZErvMN2-hIr",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "read_script = pd.read_csv(SAVE_PATH + \"w 제1화 대본_test.csv\") # 정상적으로 파일이 사용 가능한지 확인"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RXK-vcag_7ih",
        "colab_type": "code",
        "outputId": "3f0ef4e8-8974-43ca-fbd1-75ccb57073ee",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 419
        }
      },
      "source": [
        "read_script # 정상 출력 확인"
      ],
      "execution_count": 27,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>act</th>\n",
              "      <th>content</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>씬/1</td>\n",
              "      <td>아테네 올림픽 자료화면 인서트 \\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>지문</td>\n",
              "      <td>자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>씬/2</td>\n",
              "      <td>방송 스튜디오 (과거, 밤)\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>지문</td>\n",
              "      <td>올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>MC</td>\n",
              "      <td>네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>574</th>\n",
              "      <td>지문</td>\n",
              "      <td>연주, 못 알아듣자 답답해 전화를 끊어버리는.\\n밖에서는 석범이 문 두드리며 ‘야 ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>575</th>\n",
              "      <td>연주</td>\n",
              "      <td>(살아있는 사람에게 말 걸 듯) 왜 나를 찾아 당신...? 날 찾아서 어쩌려고...?\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>576</th>\n",
              "      <td>지문</td>\n",
              "      <td>그림 속의 강철, 대답이 없고.\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>577</th>\n",
              "      <td>연주</td>\n",
              "      <td>왜 내가 당신 인생의 키가 되는데..?\\n</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>578</th>\n",
              "      <td>지문</td>\n",
              "      <td>답도 없는 만화에 대고 묻는 연주와, 마치 연주에게 말을 거는 듯한 만화 속의 강철...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>579 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "     act                                            content\n",
              "0    씬/1                                아테네 올림픽 자료화면 인서트 \\n\n",
              "1     지문  자막 – 2004년 8월. 아테네 올림픽\\n한국 국가대표 경기 생중계 자료화면.\\n...\n",
              "2    씬/2                                  방송 스튜디오 (과거, 밤)\\n\n",
              "3     지문  올림픽 중계 스튜디오. 아테네 올림픽 엠블럼과 마스코트를 배경으로 남자 MC가 진행...\n",
              "4     MC  네, 잠시 종목을 바꿔보겠습니다. 지금 사격 경기장에서는 50미터 권총 남자 결선이...\n",
              "..   ...                                                ...\n",
              "574   지문  연주, 못 알아듣자 답답해 전화를 끊어버리는.\\n밖에서는 석범이 문 두드리며 ‘야 ...\n",
              "575   연주  (살아있는 사람에게 말 걸 듯) 왜 나를 찾아 당신...? 날 찾아서 어쩌려고...?\\n\n",
              "576   지문                                그림 속의 강철, 대답이 없고.\\n\n",
              "577   연주                            왜 내가 당신 인생의 키가 되는데..?\\n\n",
              "578   지문  답도 없는 만화에 대고 묻는 연주와, 마치 연주에게 말을 거는 듯한 만화 속의 강철...\n",
              "\n",
              "[579 rows x 2 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 27
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "LbzBMez_bRdp",
        "colab_type": "text"
      },
      "source": [
        "## 함수생성\n",
        " * 필요한 대본들을 처리하기 위하여 함수화 하여 일관 처리 하고자 한다"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qliwLw67aCcp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def convert_df(text_lines):\n",
        "  start_idx = 0\n",
        "  act = None\n",
        "  for text in text_lines:\n",
        "    text_t = re.compile(\"\\t\")\n",
        "    tab_search = text_t.search(text)\n",
        "    #print(tab_search)\n",
        "    if tab_search:\n",
        "      tab_loc = tab_search.start()\n",
        "      #print(tab_loc)\n",
        "      act = text[:tab_loc]\n",
        "      #print(act)\n",
        "      if act == \"씬/1\":\n",
        "        break\n",
        "    \n",
        "    start_idx += 1\n",
        "\n",
        "  save_idx = 0\n",
        "  act = None\n",
        "  df_script = pd.DataFrame(columns=[\"act\",\"content\"])\n",
        "  for text in text_lines[start_idx:]:\n",
        "    text_t = re.compile(\"\\t\")\n",
        "    tab_search = text_t.search(text)\n",
        "    if tab_search:\n",
        "      tab_loc = tab_search.start()\n",
        "      act = text[:tab_loc]\n",
        "      content = text[tab_loc+1:]\n",
        "      if content != \"\\n\":\n",
        "        #print(act + \":\" + content)\n",
        "        if act:\n",
        "          df_script.loc[save_idx] = act, content\n",
        "          save_idx += 1\n",
        "        else:\n",
        "          df_script.loc[save_idx-1,'content'] = df_script.loc[save_idx-1,'content'] + content\n",
        "      else:\n",
        "        #print(\"---\")\n",
        "        if df_script.loc[save_idx-1,'act'] != \"지문\":\n",
        "          df_script.loc[save_idx] = \"지문\", \"\"\n",
        "          save_idx += 1\n",
        "    else:\n",
        "      #print(\"---\")\n",
        "      if df_script.loc[save_idx-1,'act'] != \"지문\":\n",
        "        df_script.loc[save_idx] = \"지문\", \"\"\n",
        "        save_idx += 1\n",
        "        \n",
        "  # 지문 없이 줄바꿈 발생생황에 대한 처리\n",
        "  df_script.drop(df_script[(df_script['act']==\"지문\") & (df_script['content']==\"\")].index, inplace=True)\n",
        "  return df_script"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pqK0SuHpbtag",
        "colab_type": "text"
      },
      "source": [
        "## 일괄처리"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fliVAesgdUSL",
        "colab_type": "code",
        "outputId": "65926c35-c3f3-493b-b4b6-29427914576a",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 305
        }
      },
      "source": [
        "os.listdir(DATA_PATH)[16:] # 다른파일들도 있어서 txt만 뽑아 사용(정규식 등으로 더 멋지게 가능)"
      ],
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['W+제11회+대본.txt',\n",
              " 'W+제12회+대본.txt',\n",
              " 'W+제13회+대본.txt',\n",
              " 'W+제15회+대본.txt',\n",
              " 'W+제4회+대본.txt',\n",
              " 'W+제1회+대본.txt',\n",
              " 'W+제14회+대본.txt',\n",
              " 'W+제3회+대본.txt',\n",
              " 'W+제16회+대본.txt',\n",
              " 'W+제2회+대본.txt',\n",
              " 'W+제5회+대본.txt',\n",
              " 'W+제7회+대본.txt',\n",
              " 'W+제6회+대본.txt',\n",
              " 'W+제9회+대본.txt',\n",
              " 'W+제8회+대본.txt',\n",
              " 'W+제10회+대본.txt']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 29
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3mO3hSHudcBK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "file_list = os.listdir(DATA_PATH)[16:]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PyryAKMWdkoG",
        "colab_type": "code",
        "outputId": "143aec4d-30da-4430-fd8a-ade61c766ce3",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 305
        }
      },
      "source": [
        "for file in file_list:\n",
        "  f = open(DATA_PATH + file)\n",
        "  script_lines = f.readlines()\n",
        "  df = convert_df(script_lines)\n",
        "  df.to_csv(SAVE_PATH + file[:-4] + \".csv\", index=False)\n",
        "  print(\"script {} is converted\".format(file))"
      ],
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "script W+제11회+대본.txt is converted\n",
            "script W+제12회+대본.txt is converted\n",
            "script W+제13회+대본.txt is converted\n",
            "script W+제15회+대본.txt is converted\n",
            "script W+제4회+대본.txt is converted\n",
            "script W+제1회+대본.txt is converted\n",
            "script W+제14회+대본.txt is converted\n",
            "script W+제3회+대본.txt is converted\n",
            "script W+제16회+대본.txt is converted\n",
            "script W+제2회+대본.txt is converted\n",
            "script W+제5회+대본.txt is converted\n",
            "script W+제7회+대본.txt is converted\n",
            "script W+제6회+대본.txt is converted\n",
            "script W+제9회+대본.txt is converted\n",
            "script W+제8회+대본.txt is converted\n",
            "script W+제10회+대본.txt is converted\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BlNzTqhEez53",
        "colab_type": "code",
        "outputId": "9f5f2f6e-f0fe-44bc-d452-0dc1b46b091f",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 341
        }
      },
      "source": [
        "os.listdir(SAVE_PATH)"
      ],
      "execution_count": 32,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['w 제1화 대본_test.csv',\n",
              " 'w 제1화 대본_test.xlsx',\n",
              " 'W+제11회+대본.csv',\n",
              " 'W+제12회+대본.csv',\n",
              " 'W+제13회+대본.csv',\n",
              " 'W+제15회+대본.csv',\n",
              " 'W+제4회+대본.csv',\n",
              " 'W+제1회+대본.csv',\n",
              " 'W+제14회+대본.csv',\n",
              " 'W+제3회+대본.csv',\n",
              " 'W+제16회+대본.csv',\n",
              " 'W+제2회+대본.csv',\n",
              " 'W+제5회+대본.csv',\n",
              " 'W+제7회+대본.csv',\n",
              " 'W+제6회+대본.csv',\n",
              " 'W+제9회+대본.csv',\n",
              " 'W+제8회+대본.csv',\n",
              " 'W+제10회+대본.csv']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 32
        }
      ]
    }
  ]
}