exp.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "source": [
    "import torch\n",
    "import torch.nn as nn\n",
    "\n",
    "from transformers import AutoTokenizer, AutoConfig, AutoModel"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "source": [
    "from dataset.dataset import T5Dataset\n",
    "from dataset.preprocessor.preprocessors import T5BasicPreprocessor\n",
    "from dataset.augmentation.augmentations import SimpleRandomUNK"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "source": [
    "MODEL_NAME = \"KETI-AIR/ke-t5-small\"\n",
    "config = AutoConfig.from_pretrained(MODEL_NAME)\n",
    "tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)\n",
    "\n",
    "dataset = T5Dataset(\"/opt/ml/dataset/\")\n",
    "preprocessor = T5BasicPreprocessor()\n",
    "\n",
    "dataset.set_tokenizer(tokenizer)\n",
    "dataset.set_preprocessor(preprocessor)\n",
    "dataset.preprocess()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Old: 〈Something〉는 조지 해리슨이 쓰고 비틀즈가 1969년 앨범 《Abbey Road》에 담은 노래다.\n",
      "New: klue_re text: 〈Something〉는 #조지 해리슨#이 쓰고 *비틀즈*가 1969년 앨범 《Abbey Road》에 담은 노래다.\n",
      "Old: 호남이 기반인 바른미래당·대안신당·민주평화당이 우여곡절 끝에 합당해 민생당(가칭)으로 재탄생한다.\n",
      "New: klue_re text: 호남이 기반인 바른미래당·#대안신당#·*민주평화당*이 우여곡절 끝에 합당해 민생당(가칭)으로 재탄생한다.\n",
      "Old: K리그2에서 성적 1위를 달리고 있는 광주FC는 지난 26일 한국프로축구연맹으로부터 관중 유치 성과와 마케팅 성과를 인정받아 ‘풀 스타디움상’과 ‘플러스 스타디움상’을 수상했다.\n",
      "New: klue_re text: K리그2에서 성적 1위를 달리고 있는 *광주FC*는 지난 26일 #한국프로축구연맹#으로부터 관중 유치 성과와 마케팅 성과를 인정받아 ‘풀 스타디움상’과 ‘플러스 스타디움상’을 수상했다.\n",
      "Old: 균일가 생활용품점 (주)아성다이소(대표 박정부)는 코로나19 바이러스로 어려움을 겪고 있는 대구광역시에 행복박스를 전달했다고 10일 밝혔다.\n",
      "New: klue_re text: 균일가 생활용품점 (주)*아성다이소*(대표 #박정부#)는 코로나19 바이러스로 어려움을 겪고 있는 대구광역시에 행복박스를 전달했다고 10일 밝혔다.\n",
      "Old: 1967년 프로 야구 드래프트 1순위로 요미우리 자이언츠에게 입단하면서 등번호는 8번으로 배정되었다.\n",
      "New: klue_re text: #1967#년 프로 야구 드래프트 1순위로 *요미우리 자이언츠*에게 입단하면서 등번호는 8번으로 배정되었다.\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "source": [
    "dataset.data.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>sentence_length</th>\n",
       "      <th>subject_entity_word</th>\n",
       "      <th>subject_entity_start_idx</th>\n",
       "      <th>subject_entity_end_idx</th>\n",
       "      <th>subject_entity_type</th>\n",
       "      <th>object_entity_word</th>\n",
       "      <th>object_entity_start_idx</th>\n",
       "      <th>object_entity_end_idx</th>\n",
       "      <th>object_entity_type</th>\n",
       "      <th>concat_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "      <th>t5_inputs</th>\n",
       "      <th>t5_sbj_s_idx</th>\n",
       "      <th>t5_sbj_e_idx</th>\n",
       "      <th>t5_obj_s_idx</th>\n",
       "      <th>t5_obj_e_idx</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>〈Something〉는 조지 해리슨이 쓰고 비틀즈가 1969년 앨범 《Abbey R...</td>\n",
       "      <td>59</td>\n",
       "      <td>비틀즈</td>\n",
       "      <td>24</td>\n",
       "      <td>26</td>\n",
       "      <td>ORG</td>\n",
       "      <td>조지 해리슨</td>\n",
       "      <td>13</td>\n",
       "      <td>18</td>\n",
       "      <td>PER</td>\n",
       "      <td>비틀즈[SEP]조지 해리슨</td>\n",
       "      <td>0</td>\n",
       "      <td>wikipedia</td>\n",
       "      <td>klue_re text: 〈Something〉는 #조지 해리슨#이 쓰고 *비틀즈*가...</td>\n",
       "      <td>40</td>\n",
       "      <td>45</td>\n",
       "      <td>27</td>\n",
       "      <td>35</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>호남이 기반인 바른미래당·대안신당·민주평화당이 우여곡절 끝에 합당해 민생당(가칭)으...</td>\n",
       "      <td>54</td>\n",
       "      <td>민주평화당</td>\n",
       "      <td>19</td>\n",
       "      <td>23</td>\n",
       "      <td>ORG</td>\n",
       "      <td>대안신당</td>\n",
       "      <td>14</td>\n",
       "      <td>17</td>\n",
       "      <td>ORG</td>\n",
       "      <td>민주평화당[SEP]대안신당</td>\n",
       "      <td>0</td>\n",
       "      <td>wikitree</td>\n",
       "      <td>klue_re text: 호남이 기반인 바른미래당·#대안신당#·*민주평화당*이 우여...</td>\n",
       "      <td>35</td>\n",
       "      <td>42</td>\n",
       "      <td>28</td>\n",
       "      <td>34</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>K리그2에서 성적 1위를 달리고 있는 광주FC는 지난 26일 한국프로축구연맹으로부터...</td>\n",
       "      <td>99</td>\n",
       "      <td>광주FC</td>\n",
       "      <td>21</td>\n",
       "      <td>24</td>\n",
       "      <td>ORG</td>\n",
       "      <td>한국프로축구연맹</td>\n",
       "      <td>34</td>\n",
       "      <td>41</td>\n",
       "      <td>ORG</td>\n",
       "      <td>광주FC[SEP]한국프로축구연맹</td>\n",
       "      <td>20</td>\n",
       "      <td>wikitree</td>\n",
       "      <td>klue_re text: K리그2에서 성적 1위를 달리고 있는 *광주FC*는 지난 ...</td>\n",
       "      <td>35</td>\n",
       "      <td>41</td>\n",
       "      <td>50</td>\n",
       "      <td>60</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>균일가 생활용품점 (주)아성다이소(대표 박정부)는 코로나19 바이러스로 어려움을 겪...</td>\n",
       "      <td>78</td>\n",
       "      <td>아성다이소</td>\n",
       "      <td>13</td>\n",
       "      <td>17</td>\n",
       "      <td>ORG</td>\n",
       "      <td>박정부</td>\n",
       "      <td>22</td>\n",
       "      <td>24</td>\n",
       "      <td>PER</td>\n",
       "      <td>아성다이소[SEP]박정부</td>\n",
       "      <td>1</td>\n",
       "      <td>wikitree</td>\n",
       "      <td>klue_re text: 균일가 생활용품점 (주)*아성다이소*(대표 #박정부#)는 ...</td>\n",
       "      <td>27</td>\n",
       "      <td>34</td>\n",
       "      <td>38</td>\n",
       "      <td>43</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>1967년 프로 야구 드래프트 1순위로 요미우리 자이언츠에게 입단하면서 등번호는 8...</td>\n",
       "      <td>56</td>\n",
       "      <td>요미우리 자이언츠</td>\n",
       "      <td>22</td>\n",
       "      <td>30</td>\n",
       "      <td>ORG</td>\n",
       "      <td>1967</td>\n",
       "      <td>0</td>\n",
       "      <td>3</td>\n",
       "      <td>DAT</td>\n",
       "      <td>요미우리 자이언츠[SEP]1967</td>\n",
       "      <td>0</td>\n",
       "      <td>wikipedia</td>\n",
       "      <td>klue_re text: #1967#년 프로 야구 드래프트 1순위로 *요미우리 자이...</td>\n",
       "      <td>38</td>\n",
       "      <td>49</td>\n",
       "      <td>14</td>\n",
       "      <td>20</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id                                           sentence  sentence_length  \\\n",
       "0   0  〈Something〉는 조지 해리슨이 쓰고 비틀즈가 1969년 앨범 《Abbey R...               59   \n",
       "1   1  호남이 기반인 바른미래당·대안신당·민주평화당이 우여곡절 끝에 합당해 민생당(가칭)으...               54   \n",
       "2   2  K리그2에서 성적 1위를 달리고 있는 광주FC는 지난 26일 한국프로축구연맹으로부터...               99   \n",
       "3   3  균일가 생활용품점 (주)아성다이소(대표 박정부)는 코로나19 바이러스로 어려움을 겪...               78   \n",
       "4   4  1967년 프로 야구 드래프트 1순위로 요미우리 자이언츠에게 입단하면서 등번호는 8...               56   \n",
       "\n",
       "  subject_entity_word  subject_entity_start_idx  subject_entity_end_idx  \\\n",
       "0                 비틀즈                        24                      26   \n",
       "1               민주평화당                        19                      23   \n",
       "2                광주FC                        21                      24   \n",
       "3               아성다이소                        13                      17   \n",
       "4           요미우리 자이언츠                        22                      30   \n",
       "\n",
       "  subject_entity_type object_entity_word  object_entity_start_idx  \\\n",
       "0                 ORG             조지 해리슨                       13   \n",
       "1                 ORG               대안신당                       14   \n",
       "2                 ORG           한국프로축구연맹                       34   \n",
       "3                 ORG                박정부                       22   \n",
       "4                 ORG               1967                        0   \n",
       "\n",
       "   object_entity_end_idx object_entity_type       concat_entity  label  \\\n",
       "0                     18                PER      비틀즈[SEP]조지 해리슨      0   \n",
       "1                     17                ORG      민주평화당[SEP]대안신당      0   \n",
       "2                     41                ORG   광주FC[SEP]한국프로축구연맹     20   \n",
       "3                     24                PER       아성다이소[SEP]박정부      1   \n",
       "4                      3                DAT  요미우리 자이언츠[SEP]1967      0   \n",
       "\n",
       "      source                                          t5_inputs  t5_sbj_s_idx  \\\n",
       "0  wikipedia  klue_re text: 〈Something〉는 #조지 해리슨#이 쓰고 *비틀즈*가...            40   \n",
       "1   wikitree  klue_re text: 호남이 기반인 바른미래당·#대안신당#·*민주평화당*이 우여...            35   \n",
       "2   wikitree  klue_re text: K리그2에서 성적 1위를 달리고 있는 *광주FC*는 지난 ...            35   \n",
       "3   wikitree  klue_re text: 균일가 생활용품점 (주)*아성다이소*(대표 #박정부#)는 ...            27   \n",
       "4  wikipedia  klue_re text: #1967#년 프로 야구 드래프트 1순위로 *요미우리 자이...            38   \n",
       "\n",
       "   t5_sbj_e_idx  t5_obj_s_idx  t5_obj_e_idx  \n",
       "0            45            27            35  \n",
       "1            42            28            34  \n",
       "2            41            50            60  \n",
       "3            34            38            43  \n",
       "4            49            14            20  "
      ]
     },
     "metadata": {},
     "execution_count": 4
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "source": [
    "idx = 0\n",
    "sentence = dataset.data['t5_inputs'].iloc[0]\n",
    "print(sentence)"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "klue_re text: 〈Something〉는 #조지 해리슨#이 쓰고 *비틀즈*가 1969년 앨범 《Abbey Road》에 담은 노래다.\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "source": [
    "sbj_s_idx = dataset.data['t5_sbj_s_idx'].iloc[0]\n",
    "sbj_e_idx = dataset.data['t5_sbj_e_idx'].iloc[0]\n",
    "print(sbj_s_idx, sbj_e_idx)"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "40 45\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "source": [
    "sentence[:sbj_s_idx]"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "'klue_re text: 〈Something〉는 #조지 해리슨#이 쓰고 '"
      ]
     },
     "metadata": {},
     "execution_count": 7
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "obj_s_idx = dataset.data['t5_obj_s_idx'].iloc[0]\n",
    "obj_e_idx = dataset.data['t5_obj_e_idx'].iloc[0]\n",
    "print(sbj_s_idx, sbj_e_idx)"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "27 35\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "sentence[:obj_s_idx]"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "'klue_re text: 〈Something〉는 '"
      ]
     },
     "metadata": {},
     "execution_count": 11
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "source": [
    "import pandas as pd"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "source": [
    "train_df = pd.read_csv(\"/opt/ml/dataset/aeda_bal500_dataset/train/train.csv\")\n",
    "valid_df = pd.read_csv(\"/opt/ml/dataset/aeda_bal500_dataset/train/valid.csv\")"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "source": [
    "train_df.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>15584</td>\n",
       "      <td>최성은은 18일 개봉한 '시동'에서 빨간 머리에 까만 선글라스를 끼고 심상치 않은 ...</td>\n",
       "      <td>{'word': '최성은', 'start_idx': 0, 'end_idx': 2, ...</td>\n",
       "      <td>{'word': \"시동'\", 'start_idx': 14, 'end_idx': 16...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>21533</td>\n",
       "      <td>국내 1위 종합숙박·액티비티 예약 서비스 여기어때를 운영하는 위드이노베이션(대표 황...</td>\n",
       "      <td>{'word': '한국문화관광연구원', 'start_idx': 82, 'end_id...</td>\n",
       "      <td>{'word': '문화체육관광부', 'start_idx': 65, 'end_idx'...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>13220</td>\n",
       "      <td>2009년 시즌을 앞두고 SK 와이번스에서 FA를 선언한 외야수 이진영을 LG 트윈...</td>\n",
       "      <td>{'word': 'SK 와이번스', 'start_idx': 14, 'end_idx'...</td>\n",
       "      <td>{'word': '2009년', 'start_idx': 0, 'end_idx': 4...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>31878</td>\n",
       "      <td>반면 중국 리그에서 활약 중인 김신욱 선수가 이름을 올렸으며, 울산 현대 미드필더 ...</td>\n",
       "      <td>{'word': '김신욱', 'start_idx': 17, 'end_idx': 19...</td>\n",
       "      <td>{'word': '울산 현대', 'start_idx': 35, 'end_idx': ...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20544</td>\n",
       "      <td>샤론 스톤은 1980년 우디 앨런의 영화 ‘스타더스트 메모리스’로 데뷔해 1990년...</td>\n",
       "      <td>{'word': '샤론 스톤', 'start_idx': 0, 'end_idx': 4...</td>\n",
       "      <td>{'word': '1980년', 'start_idx': 7, 'end_idx': 1...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      id                                           sentence  \\\n",
       "0  15584  최성은은 18일 개봉한 '시동'에서 빨간 머리에 까만 선글라스를 끼고 심상치 않은 ...   \n",
       "1  21533  국내 1위 종합숙박·액티비티 예약 서비스 여기어때를 운영하는 위드이노베이션(대표 황...   \n",
       "2  13220  2009년 시즌을 앞두고 SK 와이번스에서 FA를 선언한 외야수 이진영을 LG 트윈...   \n",
       "3  31878  반면 중국 리그에서 활약 중인 김신욱 선수가 이름을 올렸으며, 울산 현대 미드필더 ...   \n",
       "4  20544  샤론 스톤은 1980년 우디 앨런의 영화 ‘스타더스트 메모리스’로 데뷔해 1990년...   \n",
       "\n",
       "                                      subject_entity  \\\n",
       "0  {'word': '최성은', 'start_idx': 0, 'end_idx': 2, ...   \n",
       "1  {'word': '한국문화관광연구원', 'start_idx': 82, 'end_id...   \n",
       "2  {'word': 'SK 와이번스', 'start_idx': 14, 'end_idx'...   \n",
       "3  {'word': '김신욱', 'start_idx': 17, 'end_idx': 19...   \n",
       "4  {'word': '샤론 스톤', 'start_idx': 0, 'end_idx': 4...   \n",
       "\n",
       "                                       object_entity        label     source  \n",
       "0  {'word': \"시동'\", 'start_idx': 14, 'end_idx': 16...  no_relation   wikitree  \n",
       "1  {'word': '문화체육관광부', 'start_idx': 65, 'end_idx'...  no_relation   wikitree  \n",
       "2  {'word': '2009년', 'start_idx': 0, 'end_idx': 4...  no_relation  wikipedia  \n",
       "3  {'word': '울산 현대', 'start_idx': 35, 'end_idx': ...  no_relation   wikitree  \n",
       "4  {'word': '1980년', 'start_idx': 7, 'end_idx': 1...  no_relation   wikitree  "
      ]
     },
     "metadata": {},
     "execution_count": 17
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "source": [
    "len(train_df)"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "29170"
      ]
     },
     "metadata": {},
     "execution_count": 22
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "source": [
    "valid_df.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>8226</td>\n",
       "      <td>본관은 이천(利川)이고 서울 출생이며 충청남도 서천과 경상북도 달성과 경기도 이천과...</td>\n",
       "      <td>{'word': 'MBC', 'start_idx': 104, 'end_idx': 1...</td>\n",
       "      <td>{'word': '아리랑', 'start_idx': 190, 'end_idx': 1...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>24342</td>\n",
       "      <td>당시 LG는 김태원, 김용수, 이상훈 등, 1990년대를 주름잡았던 투수들이 대거 ...</td>\n",
       "      <td>{'word': '이상훈', 'start_idx': 17, 'end_idx': 19...</td>\n",
       "      <td>{'word': '1990년', 'start_idx': 24, 'end_idx': ...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>23725</td>\n",
       "      <td>구독자 114만명을 자랑하는 유튜브 방송 ‘진용진’이 ‘아프리카 큰손들은 뭐 하는 ...</td>\n",
       "      <td>{'word': '진용진', 'start_idx': 24, 'end_idx': 26...</td>\n",
       "      <td>{'word': '유튜브', 'start_idx': 16, 'end_idx': 18...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>18257</td>\n",
       "      <td>이에 3개시와 진해여객이 수용했으나 마창 시내버스 협의회는 난색을 표하다가 결국 8...</td>\n",
       "      <td>{'word': '진해여객', 'start_idx': 8, 'end_idx': 11...</td>\n",
       "      <td>{'word': '마창 시내버스 협의회', 'start_idx': 20, 'end_...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4075</td>\n",
       "      <td>펠릭스 4세는 요한 1세가 선종한 지 2개월 후에 교황으로 선출되었다.</td>\n",
       "      <td>{'word': '펠릭스 4세', 'start_idx': 0, 'end_idx': ...</td>\n",
       "      <td>{'word': '요한 1세', 'start_idx': 8, 'end_idx': 1...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      id                                           sentence  \\\n",
       "0   8226  본관은 이천(利川)이고 서울 출생이며 충청남도 서천과 경상북도 달성과 경기도 이천과...   \n",
       "1  24342  당시 LG는 김태원, 김용수, 이상훈 등, 1990년대를 주름잡았던 투수들이 대거 ...   \n",
       "2  23725  구독자 114만명을 자랑하는 유튜브 방송 ‘진용진’이 ‘아프리카 큰손들은 뭐 하는 ...   \n",
       "3  18257  이에 3개시와 진해여객이 수용했으나 마창 시내버스 협의회는 난색을 표하다가 결국 8...   \n",
       "4   4075            펠릭스 4세는 요한 1세가 선종한 지 2개월 후에 교황으로 선출되었다.   \n",
       "\n",
       "                                      subject_entity  \\\n",
       "0  {'word': 'MBC', 'start_idx': 104, 'end_idx': 1...   \n",
       "1  {'word': '이상훈', 'start_idx': 17, 'end_idx': 19...   \n",
       "2  {'word': '진용진', 'start_idx': 24, 'end_idx': 26...   \n",
       "3  {'word': '진해여객', 'start_idx': 8, 'end_idx': 11...   \n",
       "4  {'word': '펠릭스 4세', 'start_idx': 0, 'end_idx': ...   \n",
       "\n",
       "                                       object_entity        label     source  \n",
       "0  {'word': '아리랑', 'start_idx': 190, 'end_idx': 1...  no_relation  wikipedia  \n",
       "1  {'word': '1990년', 'start_idx': 24, 'end_idx': ...  no_relation  wikipedia  \n",
       "2  {'word': '유튜브', 'start_idx': 16, 'end_idx': 18...  no_relation   wikitree  \n",
       "3  {'word': '마창 시내버스 협의회', 'start_idx': 20, 'end_...  no_relation  wikipedia  \n",
       "4  {'word': '요한 1세', 'start_idx': 8, 'end_idx': 1...  no_relation  wikipedia  "
      ]
     },
     "metadata": {},
     "execution_count": 18
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "source": [
    "len(valid_df)"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "7329"
      ]
     },
     "metadata": {},
     "execution_count": 21
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "source": [
    "sum(train_df['id'].isin(valid_df['id']))"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "metadata": {},
     "execution_count": 28
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "source": [],
   "outputs": [],
   "metadata": {}
  }
 ],
 "metadata": {
  "orig_nbformat": 4,
  "language_info": {
   "name": "python",
   "version": "3.8.5",
   "mimetype": "text/x-python",
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "pygments_lexer": "ipython3",
   "nbconvert_exporter": "python",
   "file_extension": ".py"
  },
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.8.5 64-bit ('base': conda)"
  },
  "interpreter": {
   "hash": "98b0a9b7b4eaaa670588a142fd0a9b87eaafe866f1db4228be72b4211d12040f"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}