inference_lstm_crf.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# import os\n",
    "# os.environ[\"TOKENIZERS_PARALLELISM\"] = \"false\"\n",
    "# os.environ[\"CUDA_DEVICE_ORDER\"]=\"PCI_BUS_ID\"  # Arrange GPU devices starting from 0\n",
    "# os.environ[\"CUDA_VISIBLE_DEVICES\"]= \"3\"  # Set the GPUs to use\n",
    "# import torch\n",
    "# print('Current cuda device:', torch.cuda.current_device())\n",
    "# print('Count of using GPUs:', torch.cuda.device_count())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import random\n",
    "import time\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "import torch\n",
    "import torch.nn as nn\n",
    "import torch.optim as optim\n",
    "from torch.optim.lr_scheduler import ReduceLROnPlateau\n",
    "import torch.nn.functional as F\n",
    "\n",
    "from torchcrf import CRF\n",
    "\n",
    "from torch.utils.data import Dataset\n",
    "from torch.utils.data import DataLoader\n",
    "\n",
    "from transformers import ElectraModel, ElectraTokenizer, ElectraConfig\n",
    "\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import f1_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "STATE_DICT_PATH = 'training_results/v4_w_lstm_crf.pt'\n",
    "\n",
    "device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\n",
    "\n",
    "labels = ['[PAD]', 'E_B', 'E_I', 'O']\n",
    "num_labels = len(labels)\n",
    "id2label = {k: v for k, v in enumerate(labels)}\n",
    "label2id = {v: k for k, v in id2label.items()}\n",
    "\n",
    "max_len = 256\n",
    "batch_size = 32"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Load Model and Tokenizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "config = ElectraConfig.from_pretrained('config')\n",
    "config.num_labels = num_labels\n",
    "bert = ElectraModel(config)\n",
    "tokenizer = ElectraTokenizer.from_pretrained('tokenizer')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "class BERT_BiLSTM_CRF(nn.Module):\n",
    "    \n",
    "    def __init__(self, bert, config, need_birnn=False, rnn_dim=128):\n",
    "        super(BERT_BiLSTM_CRF, self).__init__()\n",
    "        \n",
    "        self.num_tags = config.num_labels\n",
    "        self.bert = bert\n",
    "        self.dropout = nn.Dropout(config.hidden_dropout_prob)\n",
    "        out_dim = config.hidden_size\n",
    "        self.need_birnn = need_birnn\n",
    "\n",
    "        # if False, no use of BiLSTM\n",
    "        if need_birnn:\n",
    "            self.birnn = nn.LSTM(config.hidden_size, rnn_dim, num_layers=1, bidirectional=True, batch_first=True)\n",
    "            out_dim = rnn_dim*2\n",
    "        \n",
    "        self.hidden2tag = nn.Linear(out_dim, config.num_labels)\n",
    "        self.crf = CRF(config.num_labels, batch_first=True)\n",
    "    \n",
    "    def predict(self, input_ids, input_mask=None):\n",
    "        emissions = self.tag_outputs(input_ids, input_mask)\n",
    "        return self.crf.decode(emissions, input_mask.byte())\n",
    "\n",
    "    def forward(self, input_ids, tags, input_mask=None):\n",
    "        emissions = self.tag_outputs(input_ids, input_mask)\n",
    "        loss = -1*self.crf(emissions, tags.long(), input_mask.byte()) # negative log likelihood loss\n",
    "        return loss.unsqueeze(0)\n",
    "\n",
    "    def tag_outputs(self, input_ids, input_mask=None):\n",
    "        outputs = self.bert(input_ids, attention_mask=input_mask)\n",
    "        sequence_output = outputs[0]\n",
    "        \n",
    "        if self.need_birnn:\n",
    "            self.birnn.flatten_parameters()\n",
    "            sequence_output, _ = self.birnn(sequence_output)\n",
    "\n",
    "        sequence_output = self.dropout(sequence_output)\n",
    "        emissions = self.hidden2tag(sequence_output)\n",
    "        return emissions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "4\n",
      "0.1\n",
      "768\n"
     ]
    }
   ],
   "source": [
    "bert.resize_token_embeddings(len(tokenizer))\n",
    "config = bert.config\n",
    "print(config.num_labels)\n",
    "print(config.hidden_dropout_prob)\n",
    "print(config.hidden_size)\n",
    "\n",
    "model = BERT_BiLSTM_CRF(bert, config, need_birnn=True, rnn_dim=128)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<All keys matched successfully>"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\n",
    "\n",
    "NGPU = torch.cuda.device_count()\n",
    "if NGPU > 1:\n",
    "    model = torch.nn.DataParallel(model, device_ids=list(range(NGPU)))\n",
    "    # model = torch.nn.DataParallel(model, device_ids=[0,1])\n",
    "    # torch.multiprocessing.set_start_method('spawn', force=True)\n",
    "model = model.to(device)\n",
    "model.load_state_dict(torch.load(STATE_DICT_PATH))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Load Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_pickle('data/preprocessed.pkl')\n",
    "\n",
    "data['tokens'] = data.tokens.apply(lambda x: ['[CLS]'] + x + ['[SEP]'])\n",
    "data['labels'] = data.labels.apply(lambda x: ['O'] + x + ['O'])\n",
    "\n",
    "data['tokens'] = data.tokens.apply(lambda x: x + ['[PAD]'] * (max_len - len(x)))\n",
    "data['labels'] = data.labels.apply(lambda x: x + ['[PAD]'] * (max_len - len(x)))\n",
    "\n",
    "tokens_lst = data.tokens.to_list()\n",
    "labels_lst = data.labels.to_list()\n",
    "\n",
    "X_train, X_eval, y_train, y_eval = train_test_split(tokens_lst, \n",
    "                                                    labels_lst, \n",
    "                                                    test_size=0.2, shuffle=True, random_state=42)\n",
    "\n",
    "train_data = []\n",
    "for tokens, labels in zip(X_train, y_train):\n",
    "    length = tokens.index('[PAD]')\n",
    "    mask = [1] * length + [0] * (max_len - length)\n",
    "\n",
    "    label_ids = []\n",
    "    for label in labels:\n",
    "        label_ids.append(label2id[label])\n",
    "        \n",
    "    train_data.append([tokenizer.convert_tokens_to_ids(tokens), mask, label_ids])\n",
    "    \n",
    "eval_data = []\n",
    "for tokens, labels in zip(X_eval, y_eval):\n",
    "    length = tokens.index('[PAD]')\n",
    "    mask = [1] * length + [0] * (max_len - length)\n",
    "    \n",
    "    label_ids = []\n",
    "    for label in labels:\n",
    "        label_ids.append(label2id[label])\n",
    "        \n",
    "    eval_data.append([tokenizer.convert_tokens_to_ids(tokens), mask, label_ids])\n",
    "    \n",
    "class TaggerDataset(Dataset): \n",
    "    def __init__(self, data):\n",
    "        self.data = data\n",
    "    \n",
    "    def __len__(self): \n",
    "        return len(self.data)\n",
    "\n",
    "    def __getitem__(self, idx):\n",
    "        input_ids = self.data[idx][0]\n",
    "        mask = self.data[idx][1]\n",
    "        label_ids = self.data[idx][2]\n",
    "        return (torch.LongTensor(input_ids), torch.LongTensor(mask), torch.LongTensor(label_ids))\n",
    "    \n",
    "train_dataset = TaggerDataset(train_data)\n",
    "eval_dataset = TaggerDataset(eval_data)\n",
    "\n",
    "train_loader = DataLoader(train_dataset, batch_size = batch_size, shuffle = True)\n",
    "eval_loader = DataLoader(eval_dataset, batch_size = batch_size, shuffle = False)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Functions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def categorical_accuracy(preds, y, tag_pad_idx):\n",
    "    non_pad_elements = torch.nonzero((y != tag_pad_idx))\n",
    "    correct = preds[non_pad_elements].eq(y[non_pad_elements])\n",
    "    return correct.sum() / torch.FloatTensor([y[non_pad_elements].shape[0]]).to(device)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "def categorical_f1(preds, y, tag_pad_idx):\n",
    "    non_pad_elements = torch.nonzero((y != tag_pad_idx))\n",
    "    preds_no_pad = preds[non_pad_elements].squeeze(1).detach().cpu()\n",
    "    y_no_pad = y[non_pad_elements].detach().cpu()\n",
    "    \n",
    "    f1_macro = f1_score(y_no_pad, preds_no_pad, average='macro')\n",
    "    f1_micro = f1_score(y_no_pad, preds_no_pad, average='micro')    \n",
    "    \n",
    "    return f1_macro, f1_micro"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "def evaluate(model, iterator, tag_pad_idx):\n",
    "    model.eval()\n",
    "    epoch_loss = 0\n",
    "    epoch_acc = 0\n",
    "    predictions_set = None\n",
    "    tags_set = None\n",
    "    with torch.no_grad():\n",
    "        for batch in iterator:\n",
    "            input_ids = batch[0].to(device)\n",
    "            attention_mask = batch[1].to(device)\n",
    "            tags = batch[2].to(device)\n",
    "            \n",
    "            loss = model(input_ids, tags, attention_mask).mean() / batch_size\n",
    "            \n",
    "            predictions = model.module.predict(input_ids, attention_mask)\n",
    "            predictions = list(map(lambda x: x + [0 for _ in range(max_len - len(x))], predictions))\n",
    "            predictions = torch.LongTensor(predictions).to(device)\n",
    "            predictions = predictions.view(-1)\n",
    "            tags = tags.view(-1)\n",
    "            if predictions_set == None:\n",
    "                predictions_set = predictions\n",
    "                tags_set = tags\n",
    "            else:\n",
    "                predictions_set = torch.cat([predictions_set, predictions], dim=0)\n",
    "                tags_set = torch.cat([tags_set, tags], dim=0)\n",
    "            \n",
    "            acc = categorical_accuracy(predictions, tags, tag_pad_idx)\n",
    "            epoch_loss += loss.item()\n",
    "            epoch_acc += acc.item()\n",
    "        f1_macro, f1_micro = categorical_f1(predictions_set, tags_set, tag_pad_idx)\n",
    "        \n",
    "    return epoch_loss / len(iterator), epoch_acc / len(iterator), f1_macro, f1_micro"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Inferrence"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/opt/tljh/user/envs/pytorch/lib/python3.11/site-packages/torchcrf/__init__.py:305: UserWarning: where received a uint8 condition tensor. This behavior is deprecated and will be removed in a future version of PyTorch. Use a boolean condition instead. (Triggered internally at /home/conda/feedstock_root/build_artifacts/pytorch-recipe_1673745441827/work/aten/src/ATen/native/TensorCompare.cpp:413.)\n",
      "  score = torch.where(mask[i].unsqueeze(1), next_score, score)\n"
     ]
    }
   ],
   "source": [
    "for batch in eval_loader:\n",
    "    input_ids, mask, label_ids = batch\n",
    "    input_ids, mask, label_ids = input_ids.to(device), mask.to(device), label_ids.to(device)\n",
    "    \n",
    "    preds = model.module.predict(input_ids, mask)\n",
    "    preds = list(map(lambda x: x + [0 for _ in range(max_len - len(x))], preds))\n",
    "    preds = torch.LongTensor(preds).to(device)\n",
    "    # preds = preds.view(-1)\n",
    "    break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "preds = preds.tolist()\n",
    "preds = {'preds': preds}\n",
    "preds = pd.DataFrame(preds)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "preds2labels = preds.preds.apply(lambda lst: list(map(lambda x: id2label[x], lst)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "inputs = input_ids.tolist()\n",
    "inputs = {'inputs': inputs}\n",
    "inputs = pd.DataFrame(inputs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "inputs2labels = inputs.inputs.apply(lambda lst: list(map(lambda x: tokenizer.convert_ids_to_tokens(x), lst)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CLS] O\n",
      "2020 O\n",
      "##년 O\n",
      "8 O\n",
      "##월 O\n",
      "1 O\n",
      "4 O\n",
      "일 O\n",
      "오후 O\n",
      "1 O\n",
      "##시 O\n",
      "5 O\n",
      "##분 O\n",
      "##경 O\n",
      "부산 O\n",
      "진구 O\n",
      "##의 O\n",
      "한 O\n",
      "건물 O\n",
      "주차타워 O\n",
      "에서 O\n",
      "리스트 E_B\n",
      "수리작업 E_I\n",
      "중 O\n",
      "이 O\n",
      "##던 O\n",
      "근로자 O\n",
      "##가 O\n",
      "추락 O\n",
      "##하여 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "리프트 E_B\n",
      "수리 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "물건 E_B\n",
      "##을 E_I\n",
      "가지 E_I\n",
      "##러 E_I\n",
      "아래 E_I\n",
      "층 E_I\n",
      "##으로 E_I\n",
      "이 E_I\n",
      "동 E_I\n",
      "하 O\n",
      "##다가 O\n",
      "추락 O\n",
      "##한 O\n",
      "것 O\n",
      "##으로 O\n",
      "추정 O\n",
      "##하 O\n",
      "##고 O\n",
      "사고 O\n",
      "조사 O\n",
      "중 O\n",
      "에 O\n",
      "있 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "3 O\n",
      "##월 O\n",
      "22 O\n",
      "##일 O\n",
      "오전 O\n",
      "11 O\n",
      "##시 O\n",
      "30 O\n",
      "##분 O\n",
      "##경 O\n",
      "경남 O\n",
      "거제 O\n",
      "소재 O\n",
      "사업장 O\n",
      "##에 O\n",
      "##서 O\n",
      "선박 O\n",
      "블록 O\n",
      "##을 O\n",
      "취 O\n",
      "##부 O\n",
      "##하 O\n",
      "##기 O\n",
      "위해 O\n",
      "블록 E_B\n",
      "사이 E_I\n",
      "##에 E_I\n",
      "##서 E_I\n",
      "작업 E_I\n",
      "하 O\n",
      "##던 O\n",
      "중 O\n",
      "선박 E_B\n",
      "블록 E_I\n",
      "##이 E_I\n",
      "움직여 E_I\n",
      "선박 O\n",
      "블록 O\n",
      "사이 O\n",
      "##에 O\n",
      "재해자 O\n",
      "가 E_I\n",
      "끼 E_B\n",
      "##이 E_I\n",
      "##는 E_I\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "12 O\n",
      "##월 O\n",
      "10 O\n",
      "##일 O\n",
      "오전 O\n",
      "10 O\n",
      "##시 O\n",
      "##경 O\n",
      "강원 O\n",
      "횡성군 O\n",
      "의 O\n",
      "공장 O\n",
      "신축공사 O\n",
      "장에 O\n",
      "##서 O\n",
      "작업자 O\n",
      "가 O\n",
      "20 O\n",
      "##m O\n",
      "아래 O\n",
      "로 O\n",
      "추락 E_B\n",
      "##하 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "경기도 O\n",
      "하남시 O\n",
      "소재 O\n",
      "화물운송 O\n",
      "업 O\n",
      "사업장 O\n",
      "내 O\n",
      "##에 O\n",
      "##서 O\n",
      "지게차 O\n",
      "를 O\n",
      "이용 O\n",
      "##하여 O\n",
      "화물자동차 O\n",
      "에서 O\n",
      "중량물 E_B\n",
      "하역 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "넘어지 O\n",
      "##는 O\n",
      "중량물 E_B\n",
      "에 E_I\n",
      "깔 E_I\n",
      "##림 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "년 O\n",
      "7 O\n",
      "월 O\n",
      "25 O\n",
      "일 O\n",
      "새 O\n",
      "벽 O\n",
      "3 O\n",
      "시 O\n",
      "4 O\n",
      "0 O\n",
      "분 O\n",
      "경 O\n",
      "화성 O\n",
      "플라스틱 O\n",
      "제품 O\n",
      "제조 O\n",
      "사업장 O\n",
      "내 O\n",
      "금형 E_B\n",
      "내 E_I\n",
      "명 E_I\n",
      "판 E_I\n",
      "교체작업 E_I\n",
      "중 O\n",
      "잔여 E_B\n",
      "유압 E_I\n",
      "으로 O\n",
      "금형 E_B\n",
      "이 E_I\n",
      "닫혀 E_I\n",
      "작업자 E_I\n",
      "가 E_I\n",
      "끼 E_I\n",
      "이 E_I\n",
      "는 E_I\n",
      "사고 O\n",
      "가 O\n",
      "발생 O\n",
      "하 O\n",
      "였 O\n",
      "다 O\n",
      ". O\n",
      "작업자 O\n",
      "는 O\n",
      "결국 O\n",
      "사망 E_B\n",
      "하 O\n",
      "였 O\n",
      "다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "광주 O\n",
      "지하 O\n",
      "주차장 O\n",
      "보수공사 O\n",
      "현장 O\n",
      "내 O\n",
      "램프 O\n",
      "상부 O\n",
      "캐노피 O\n",
      "하자 E_B\n",
      "보수작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "중 O\n",
      "옹벽 E_B\n",
      "안전난간 E_I\n",
      "과 E_I\n",
      "캐노피 E_I\n",
      "사이 E_I\n",
      "##로 E_I\n",
      "떨어져 E_I\n",
      "병원 O\n",
      "치료 O\n",
      "중 O\n",
      "사망 E_B\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "11 O\n",
      "##월 O\n",
      "30 O\n",
      "##일 O\n",
      "오전 O\n",
      "9 O\n",
      "##시 O\n",
      "##경 O\n",
      "강릉 O\n",
      "시 O\n",
      "한 O\n",
      "폐기물 O\n",
      "처리 O\n",
      "업체 O\n",
      "##에 O\n",
      "##서 O\n",
      "컨베이어 O\n",
      "벨트 O\n",
      "철거 O\n",
      "작업 O\n",
      "을 O\n",
      "위해 O\n",
      "컨베이어 O\n",
      "를 O\n",
      "들어 O\n",
      "올린 O\n",
      "뒤 O\n",
      "하부 O\n",
      "에서 E_I\n",
      "작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##다가 O\n",
      "컨베이어 E_B\n",
      "가 E_I\n",
      "내려 E_I\n",
      "앉 E_I\n",
      "##는 E_I\n",
      "바람 E_I\n",
      "##에 O\n",
      "머리 E_B\n",
      "##를 E_I\n",
      "크 E_I\n",
      "##게 E_I\n",
      "다쳐 E_I\n",
      "결국 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "김해 O\n",
      "소재 O\n",
      "제조 O\n",
      "사업장 O\n",
      "##에 O\n",
      "##서 O\n",
      "용접 O\n",
      "##로 O\n",
      "##봇 O\n",
      "용접 E_B\n",
      "##팁 E_I\n",
      "교체작업 E_I\n",
      "중 O\n",
      "로봇 E_B\n",
      "##이 E_I\n",
      "작 E_I\n",
      "동 E_I\n",
      "되 O\n",
      "##어 O\n",
      "끼 E_B\n",
      "##임 E_I\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "음성 O\n",
      "소재 O\n",
      "공사현장 O\n",
      "내 O\n",
      "##에 O\n",
      "##서 O\n",
      "콘크리트 O\n",
      "타설 O\n",
      "작업 O\n",
      "중 O\n",
      "벽체 O\n",
      "거푸집 O\n",
      "작업 O\n",
      "발판 O\n",
      "상부 O\n",
      "##에 O\n",
      "##서 O\n",
      "이 E_B\n",
      "##음 E_I\n",
      "철근 E_I\n",
      "을 E_I\n",
      "설치 E_I\n",
      "하 O\n",
      "##던 O\n",
      "작업자 O\n",
      "가 O\n",
      "벽체 E_B\n",
      "거푸집 E_I\n",
      "이 E_I\n",
      "붕괴 E_I\n",
      "##되 O\n",
      "##며 O\n",
      "콘크리트 O\n",
      "##에 O\n",
      "매몰 E_B\n",
      "##되 E_I\n",
      "##어 O\n",
      "사망 E_B\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "인천 O\n",
      "산업 O\n",
      "용 O\n",
      "기계 O\n",
      "제조 O\n",
      "사업장 O\n",
      "내 O\n",
      "물탱크 O\n",
      "제작 O\n",
      "을 O\n",
      "위해 O\n",
      "철판 E_B\n",
      "##을 E_I\n",
      "크레인 E_I\n",
      "으로 E_I\n",
      "들어올리 E_I\n",
      "##던 E_I\n",
      "중 E_I\n",
      "체결 E_B\n",
      "##불 E_I\n",
      "##량 E_I\n",
      "##으로 O\n",
      "철판 E_B\n",
      "##이 E_I\n",
      "쓰러지 E_I\n",
      "##면 E_I\n",
      "##서 E_I\n",
      "이에 O\n",
      "깔 E_B\n",
      "##림 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2019 O\n",
      ". O\n",
      "6 O\n",
      ". O\n",
      "15 O\n",
      "오후 O\n",
      "2 O\n",
      "##시 O\n",
      "##30 O\n",
      "##분 O\n",
      "##쯤 O\n",
      "광주 O\n",
      "동 O\n",
      "구 O\n",
      "##에 O\n",
      "##서 O\n",
      "입주 O\n",
      "##를 O\n",
      "앞둔 O\n",
      "모 O\n",
      "아파트 O\n",
      "다 O\n",
      "##용 O\n",
      "##도 O\n",
      "##실 O\n",
      "##에 O\n",
      "##서 O\n",
      "가스 O\n",
      "공급 O\n",
      "##을 O\n",
      "위해 O\n",
      "가정용 O\n",
      "LNG O\n",
      "가스 O\n",
      "배관 O\n",
      "에 O\n",
      "차 O\n",
      "있 O\n",
      "##던 O\n",
      "공기 E_I\n",
      "##를 E_I\n",
      "빼내 E_I\n",
      "##는 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "폭발 E_B\n",
      "##사고 O\n",
      "##가 O\n",
      "일어나 O\n",
      "검 O\n",
      "##침 O\n",
      "##원 O\n",
      "##의 O\n",
      "얼굴 O\n",
      "##과 O\n",
      "팔 O\n",
      "##에 O\n",
      "2 E_B\n",
      "##도 E_I\n",
      "화상 E_I\n",
      "##을 O\n",
      "입고 O\n",
      "치료 O\n",
      "를 O\n",
      "받 O\n",
      "##고 O\n",
      "있 O\n",
      "##다 O\n",
      ". O\n",
      "소방 O\n",
      "##당 O\n",
      "##국 O\n",
      "##은 O\n",
      "검 O\n",
      "##침 O\n",
      "##원 O\n",
      "##의 O\n",
      "합성 O\n",
      "##섬유 O\n",
      "소재 O\n",
      "조끼 O\n",
      "에서 O\n",
      "발생 O\n",
      "##한 O\n",
      "정전 E_B\n",
      "##기 E_I\n",
      "##를 E_I\n",
      "점 E_I\n",
      "##화 E_I\n",
      "##원 O\n",
      "##으로 O\n",
      "보 O\n",
      "고 O\n",
      "있 O\n",
      "##다 O\n",
      ". O\n",
      "화재 O\n",
      "직후 O\n",
      "스프링클러 O\n",
      "가 O\n",
      "작 O\n",
      "동 O\n",
      "해 O\n",
      "자체 O\n",
      "진화 O\n",
      "##됐 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "' O\n",
      "아파트 O\n",
      "도색작업 O\n",
      "하 O\n",
      "##던 O\n",
      "근로자 O\n",
      "추락 O\n",
      "사망 O\n",
      "2019 O\n",
      "##년 O\n",
      "10 O\n",
      "##월 O\n",
      "23 O\n",
      "##일 O\n",
      "오전 O\n",
      "10 O\n",
      "##시 O\n",
      "남양주 O\n",
      "##에 O\n",
      "##서 O\n",
      "10 O\n",
      "##층 O\n",
      "높이 O\n",
      "의 O\n",
      "아파트 O\n",
      "외부 O\n",
      "도색작업 O\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "50 O\n",
      "##대 O\n",
      "근로자 O\n",
      "##가 O\n",
      "추락 E_B\n",
      "##해 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "외벽 O\n",
      "에서 O\n",
      "줄 O\n",
      "##에 O\n",
      "매달려 O\n",
      "도색작업 E_B\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "근로자 O\n",
      "##가 O\n",
      "장비 E_B\n",
      "에서 E_I\n",
      "떨어졌 E_I\n",
      "##다 E_I\n",
      ". O\n",
      "' O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "평창 O\n",
      "건설현장 O\n",
      "에서 O\n",
      "비계 E_B\n",
      "작업 E_I\n",
      "중 O\n",
      "떨어 E_B\n",
      "##짐 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "1 O\n",
      "##월 O\n",
      "10 O\n",
      "##일 O\n",
      "오후 O\n",
      "6 O\n",
      "##시 O\n",
      "4 O\n",
      "0 O\n",
      "##분 O\n",
      "##경 O\n",
      "울산 O\n",
      "소재 O\n",
      "고무 O\n",
      "및 O\n",
      "플라스틱 O\n",
      "제품 O\n",
      "제조업 O\n",
      "공장 O\n",
      "내 O\n",
      "##에 O\n",
      "##서 O\n",
      "배합 O\n",
      "##실 O\n",
      "##의 O\n",
      "냉각기 O\n",
      "를 O\n",
      "상부 O\n",
      "개구부 O\n",
      "에서 O\n",
      "빗자루 O\n",
      "##를 O\n",
      "이용 O\n",
      "##하여 O\n",
      "냉각기 E_B\n",
      "내부 E_I\n",
      "##를 E_I\n",
      "청소 E_I\n",
      "##하 O\n",
      "##던 O\n",
      "중 O\n",
      "정지 O\n",
      "되 O\n",
      "##어 O\n",
      "있 O\n",
      "##던 O\n",
      "냉각기 E_B\n",
      "가 E_I\n",
      "가 E_I\n",
      "동 E_I\n",
      "되 O\n",
      "##며 O\n",
      "작업자 O\n",
      "가 O\n",
      "가 O\n",
      "동 O\n",
      "스크 E_B\n",
      "##류 E_I\n",
      "##에 E_I\n",
      "말려 E_I\n",
      "##들 E_I\n",
      "##어가 E_I\n",
      "끼 E_B\n",
      "##임 E_I\n",
      "##사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "자 O\n",
      "동 O\n",
      "화 O\n",
      "설비 O\n",
      "에 O\n",
      "집 E_B\n",
      "##성 E_I\n",
      "##재 E_I\n",
      "투입 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "푸 E_B\n",
      "##셔 E_I\n",
      "##가 E_I\n",
      "투입 E_I\n",
      "된 E_I\n",
      "집 E_I\n",
      "##성 E_I\n",
      "##재 E_I\n",
      "##와 E_I\n",
      "간섭 E_I\n",
      "##되 E_I\n",
      "##어 E_I\n",
      "밀리 E_B\n",
      "##면 E_I\n",
      "##서 E_I\n",
      "자 O\n",
      "동 O\n",
      "화 O\n",
      "설비 O\n",
      "휀 O\n",
      "##스 O\n",
      "지지 O\n",
      "기둥 O\n",
      "사이 O\n",
      "##에 O\n",
      "끼 E_B\n",
      "##임 E_I\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "6 O\n",
      "##월 O\n",
      "17 O\n",
      "##일 O\n",
      "오후 O\n",
      "4 O\n",
      "시 O\n",
      "20 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기 O\n",
      "포천 O\n",
      "시의 O\n",
      "한 O\n",
      "석재 O\n",
      "공장 O\n",
      "에서 O\n",
      "컨베이어 E_B\n",
      "벨트 E_I\n",
      "하부 E_I\n",
      "청소작업 E_I\n",
      "중 O\n",
      "근로자 O\n",
      "##가 O\n",
      "컨베이어 E_B\n",
      "벨트 E_I\n",
      "에 E_I\n",
      "끼 E_I\n",
      "##이 E_I\n",
      "##는 E_I\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "11 O\n",
      "##월 O\n",
      "1 O\n",
      "##일 O\n",
      "오후 O\n",
      "5 O\n",
      "##시 O\n",
      "10 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기도 O\n",
      "화성시 O\n",
      "소재 O\n",
      "폐기물 O\n",
      "처리 O\n",
      "업 O\n",
      "공장 O\n",
      "내 O\n",
      "##에 O\n",
      "##서 O\n",
      "동 O\n",
      "료 O\n",
      "작업자 O\n",
      "와 O\n",
      "함께 O\n",
      "컨베이어 O\n",
      "에서 O\n",
      "이물질 E_B\n",
      "선별 E_I\n",
      "작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "중 O\n",
      "재해자 O\n",
      "가 O\n",
      "컨베이어 O\n",
      "하단 O\n",
      "##으로 O\n",
      "이물질 E_B\n",
      "을 E_I\n",
      "청소 E_I\n",
      "##하 O\n",
      "##기 O\n",
      "위해 O\n",
      "내려갔 O\n",
      "##으나 O\n",
      "컨베이어 E_B\n",
      "롤러 E_I\n",
      "에 E_I\n",
      "끼 E_I\n",
      "##이 E_I\n",
      "##는 E_I\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "7 O\n",
      "##월 O\n",
      "20 O\n",
      "##일 O\n",
      "오전 O\n",
      "11 O\n",
      "##시 O\n",
      "##20 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기 O\n",
      "가평 O\n",
      "군 O\n",
      "의 O\n",
      "한 O\n",
      "공사현장 O\n",
      "에서 O\n",
      "샌드 O\n",
      "위치 O\n",
      "패널 O\n",
      "작업 O\n",
      "중 O\n",
      "차량형 E_B\n",
      "고소작업 E_I\n",
      "대 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "붐대 E_B\n",
      "가 E_I\n",
      "파단 E_I\n",
      "되 O\n",
      "##어 O\n",
      "작업자 O\n",
      "2 O\n",
      "##명 O\n",
      "##이 O\n",
      "추락 E_B\n",
      "##하 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "1 O\n",
      "##명 O\n",
      "##이 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##고 O\n",
      ", O\n",
      "1 O\n",
      "##명 O\n",
      "##이 O\n",
      "부상 E_B\n",
      "##을 O\n",
      "입 O\n",
      "##었 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "시흥시 O\n",
      "소재 O\n",
      "리모델링 O\n",
      "공사현장 O\n",
      "에서 O\n",
      "외부 O\n",
      "비계 E_B\n",
      "해체작업 E_I\n",
      "중 O\n",
      "떨어 E_B\n",
      "##짐 E_I\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "평창 O\n",
      "소재 O\n",
      "절토사면 O\n",
      "철망 O\n",
      "정리작업 O\n",
      "현장 O\n",
      "내 O\n",
      "작업 O\n",
      "진행 O\n",
      "중 O\n",
      "안전 O\n",
      "대 O\n",
      "후크 O\n",
      "를 O\n",
      "건 O\n",
      "생명 E_B\n",
      "##줄 E_I\n",
      "##의 E_I\n",
      "매듭 E_I\n",
      "##이 E_I\n",
      "풀리 E_I\n",
      "##면 E_I\n",
      "##서 E_I\n",
      "4 O\n",
      "0 O\n",
      "##m O\n",
      "아래 O\n",
      "로 O\n",
      "추락 E_B\n",
      "##하여 O\n",
      "사망 E_B\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "1 O\n",
      "##월 O\n",
      "2 O\n",
      "4 O\n",
      "일 O\n",
      "울산 O\n",
      "##의 O\n",
      "한 O\n",
      "조선소 O\n",
      "##에 O\n",
      "##서 O\n",
      "갠 O\n",
      "##트리 O\n",
      "크레인 E_B\n",
      "인양 E_I\n",
      "작업 E_I\n",
      "중 O\n",
      "작업자 O\n",
      "가 O\n",
      "끼여 E_B\n",
      "사망 E_B\n",
      "##하 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "사고 O\n",
      "##로 O\n",
      "작업자 O\n",
      "가 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "충청남도 O\n",
      "공주 O\n",
      "시 O\n",
      "소재 O\n",
      "건물 O\n",
      "인테리어 O\n",
      "공사현장 O\n",
      "내 O\n",
      "1 O\n",
      "동 O\n",
      "내부 O\n",
      "다락방 O\n",
      "위 O\n",
      "##에 O\n",
      "##서 O\n",
      "목공 E_B\n",
      "작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##다가 O\n",
      "1 O\n",
      "##층 O\n",
      "바닥 O\n",
      "##으로 O\n",
      "떨어 E_B\n",
      "##짐 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "12 O\n",
      "##월 O\n",
      "23 O\n",
      "##일 O\n",
      "오후 O\n",
      "1 O\n",
      "##시 O\n",
      "16 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기 O\n",
      "이천 O\n",
      "시의 O\n",
      "한 O\n",
      "물류창고 O\n",
      "내 O\n",
      "단 O\n",
      "##차 O\n",
      "( O\n",
      "높이 O\n",
      "1 O\n",
      "##m O\n",
      ") O\n",
      "가 O\n",
      "있 O\n",
      "##는 O\n",
      "구역 O\n",
      "##에 O\n",
      "##서 O\n",
      "작업 O\n",
      "중 O\n",
      "인 O\n",
      "지게차 E_B\n",
      "가 E_I\n",
      "전도 E_I\n",
      "##되 O\n",
      "##어 O\n",
      "운전자 O\n",
      "가 O\n",
      "깔려 E_B\n",
      "사망 E_B\n",
      "##하 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "홍성군 O\n",
      "소재 O\n",
      "도소매 O\n",
      "사업장 O\n",
      "##에 O\n",
      "##서 O\n",
      "야외 O\n",
      "적재물 O\n",
      "위 O\n",
      "##에 O\n",
      "올라가 O\n",
      "우천 E_B\n",
      "대 E_I\n",
      "비용 E_I\n",
      "비닐 E_I\n",
      "덮개 E_I\n",
      "설치 E_I\n",
      "중 O\n",
      "1 O\n",
      ". O\n",
      "9 O\n",
      "##M O\n",
      "아래 O\n",
      "콘크리트 O\n",
      "바닥 O\n",
      "##으로 O\n",
      "떨어 E_B\n",
      "##짐 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "4 O\n",
      "월 O\n",
      "16 O\n",
      "##일 O\n",
      "오전 O\n",
      "8 O\n",
      "##시 O\n",
      "4 O\n",
      "3 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기도 O\n",
      "수원시 O\n",
      "소재 O\n",
      "건설현장 O\n",
      "에서 O\n",
      "화물자동차 O\n",
      "에 O\n",
      "실린 O\n",
      "상수도 O\n",
      "##관 O\n",
      "위로 O\n",
      "올라가 O\n",
      "굴착기 O\n",
      "에 O\n",
      "줄걸이 E_B\n",
      "작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "재해자 O\n",
      "가 O\n",
      "굴러 O\n",
      "떨어지 O\n",
      "##던 O\n",
      "상수도 O\n",
      "##관 E_I\n",
      "##과 E_I\n",
      "함께 O\n",
      "지면 O\n",
      "##으로 O\n",
      "떨어진 O\n",
      "뒤 E_I\n",
      "##에 O\n",
      "같이 O\n",
      "떨어진 O\n",
      "상수도 E_B\n",
      "##관 E_I\n",
      "##에 E_I\n",
      "깔려 E_I\n",
      "사망 E_B\n",
      "##하 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2022 O\n",
      "##년 O\n",
      "3 O\n",
      "##월 O\n",
      "3 O\n",
      "##일 O\n",
      "오후 O\n",
      "2 O\n",
      "##시 O\n",
      "30 O\n",
      "##분 O\n",
      "##경 O\n",
      "경기도 O\n",
      "파주시 O\n",
      "##의 O\n",
      "한 O\n",
      "제조 O\n",
      "공장 O\n",
      "에서 O\n",
      "고압 O\n",
      "케이블 O\n",
      "관련 O\n",
      "구조물 O\n",
      "인 O\n",
      "부스 E_B\n",
      "덕트 E_I\n",
      "를 E_I\n",
      "설치 E_I\n",
      "하 O\n",
      "##던 O\n",
      "협력업체 O\n",
      "소속 O\n",
      "근로자 O\n",
      "4 O\n",
      "명이 O\n",
      "감전 E_B\n",
      "##사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##했 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "중 O\n",
      "3 O\n",
      "##명 O\n",
      "##이 O\n",
      "중 E_B\n",
      "상 E_I\n",
      "##을 O\n",
      "입고 O\n",
      "1 O\n",
      "##명 O\n",
      "##은 O\n",
      "경상 E_B\n",
      "##을 O\n",
      "입 O\n",
      "##었 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "충청남도 O\n",
      "부여군 O\n",
      "소재 O\n",
      "육제품 O\n",
      "제조업 O\n",
      "공장 O\n",
      "내 O\n",
      "##에 O\n",
      "##서 O\n",
      "창고 O\n",
      "에서 O\n",
      "출입구 O\n",
      "보수 O\n",
      "를 O\n",
      "위해 O\n",
      "파레트 O\n",
      "를 O\n",
      "지게차 O\n",
      "포크 O\n",
      "##에 O\n",
      "끼 O\n",
      "##운 O\n",
      "후 O\n",
      "파레트 O\n",
      "위로 O\n",
      "올라가 O\n",
      "용접 E_B\n",
      "작업 E_I\n",
      "중 O\n",
      ", O\n",
      "지게차 O\n",
      "운전자 O\n",
      "가 O\n",
      "후진 E_B\n",
      "을 O\n",
      "하자 E_I\n",
      "중 E_B\n",
      "심 E_I\n",
      "##을 E_I\n",
      "잃 E_I\n",
      "##고 E_I\n",
      "떨어 E_B\n",
      "##짐 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2020 O\n",
      "##년 O\n",
      "8 O\n",
      "##월 O\n",
      "18 O\n",
      "##일 O\n",
      "오후 O\n",
      "1 O\n",
      "##시 O\n",
      "4 O\n",
      "0 O\n",
      "##분 O\n",
      "##경 O\n",
      "경남 O\n",
      "통영 O\n",
      "시 O\n",
      "태평 O\n",
      "동 O\n",
      "내 O\n",
      "OO O\n",
      "건설 O\n",
      "( O\n",
      "주 O\n",
      ") O\n",
      "건설현장 O\n",
      "에서 O\n",
      "아파트 O\n",
      "균열보수 O\n",
      ", O\n",
      "재도장 O\n",
      "및 O\n",
      "옥상 O\n",
      "방수 O\n",
      "작업 O\n",
      "중 O\n",
      "아파트 O\n",
      "외벽 O\n",
      "재도장 O\n",
      "작업 O\n",
      "을 O\n",
      "위해 O\n",
      "옥상 O\n",
      "지붕 O\n",
      "위 O\n",
      "##에 O\n",
      "##서 O\n",
      "작업 O\n",
      "이 O\n",
      "진행 O\n",
      "##되 O\n",
      "##고 O\n",
      "있 O\n",
      "##었 O\n",
      "##다 O\n",
      ". O\n",
      "외벽 O\n",
      "고압 O\n",
      "##세 O\n",
      "##척 O\n",
      "##을 O\n",
      "위한 O\n",
      "고압 E_B\n",
      "호스 E_I\n",
      "를 E_I\n",
      "인양 E_I\n",
      "하 O\n",
      "##는 O\n",
      "작업 O\n",
      "중 O\n",
      "근로자 O\n",
      "##가 O\n",
      "균형 E_B\n",
      "##을 E_I\n",
      "잃 E_I\n",
      "##고 E_I\n",
      "약 O\n",
      "27 O\n",
      "##m O\n",
      "아래 O\n",
      "바닥 O\n",
      "##으로 O\n",
      "추락 E_B\n",
      "##하여 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "경남 O\n",
      "함안 O\n",
      "철강 O\n",
      "제조 O\n",
      "사업장 O\n",
      "내 O\n",
      "고철 O\n",
      "##장 O\n",
      "##에 O\n",
      "##서 O\n",
      "화물차 O\n",
      "##에 O\n",
      "실린 O\n",
      "고철 O\n",
      "##을 O\n",
      "집게 O\n",
      "차로 O\n",
      "1 O\n",
      "##차 O\n",
      "하역 O\n",
      "후 O\n",
      ", O\n",
      "2 O\n",
      "##차 O\n",
      "마그 O\n",
      "네트 O\n",
      "로 O\n",
      "하역 E_B\n",
      "하 E_I\n",
      "##기 E_I\n",
      "위해 E_I\n",
      "차량 E_I\n",
      "이 E_I\n",
      "이 E_I\n",
      "동 E_I\n",
      "하 E_I\n",
      "##는 E_I\n",
      "과정 E_I\n",
      "에서 O\n",
      "당시 O\n",
      "검수원 O\n",
      "이 O\n",
      "##였 O\n",
      "##던 O\n",
      "재해자 O\n",
      "가 O\n",
      "차량 E_B\n",
      "에 E_I\n",
      "충돌 E_I\n",
      "##한 O\n",
      "후 O\n",
      "깔 E_B\n",
      "##림 E_I\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "' O\n",
      "2019 O\n",
      "##년 O\n",
      "11 O\n",
      "##월 O\n",
      "4 O\n",
      "일 O\n",
      "대구 O\n",
      "북구 O\n",
      "식 O\n",
      "자재 O\n",
      "창고 O\n",
      "청소 O\n",
      "용역 O\n",
      "##업체 O\n",
      "69 O\n",
      "##세 O\n",
      "근로자 O\n",
      "##가 O\n",
      "약 O\n",
      "##1 O\n",
      ". O\n",
      "8 O\n",
      "##m O\n",
      "높이 O\n",
      "의 O\n",
      "A형 O\n",
      "사다리 O\n",
      "위로 O\n",
      "올라서 O\n",
      "##서 O\n",
      "고압 E_B\n",
      "##세 E_I\n",
      "##척 E_I\n",
      "##기 E_I\n",
      "##로 E_I\n",
      "벽체 E_I\n",
      "등 E_I\n",
      "청소 E_I\n",
      "##하 O\n",
      "##려 O\n",
      "##다가 O\n",
      "몸 O\n",
      "##의 O\n",
      "중 E_B\n",
      "심 E_I\n",
      "##을 E_I\n",
      "잃 E_I\n",
      "##고 E_I\n",
      "추락 E_B\n",
      "##하여 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "70 O\n",
      "##세 O\n",
      "어르신 O\n",
      "##이 O\n",
      "이렇게 O\n",
      "힘든 O\n",
      "##일 O\n",
      "##을 O\n",
      "해야 O\n",
      "##만 O\n",
      "하 O\n",
      "##는 O\n",
      "우리 O\n",
      "##의 O\n",
      "사회 O\n",
      "##적 O\n",
      "구조 O\n",
      "##에 O\n",
      "##는 O\n",
      "문제 O\n",
      "##가 O\n",
      "없 O\n",
      "##는 O\n",
      "것 O\n",
      "##인지 O\n",
      "다시 O\n",
      "##한 O\n",
      "##번 O\n",
      "생각 O\n",
      "##해 O\n",
      "봐야 O\n",
      "##합니다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2021 O\n",
      "##년 O\n",
      "5 O\n",
      "##월 O\n",
      "21 O\n",
      "##일 O\n",
      "오후 O\n",
      "4 O\n",
      "시 O\n",
      "4 O\n",
      "0 O\n",
      "##분 O\n",
      "##경 O\n",
      "포항 O\n",
      "의 O\n",
      "철강 O\n",
      "제조업체 O\n",
      "에서 O\n",
      "수리 O\n",
      "중 O\n",
      "던 O\n",
      "엘리베이터 E_B\n",
      "가 E_I\n",
      "갑자기 E_I\n",
      "1 E_I\n",
      "##층 E_I\n",
      "##으로 E_I\n",
      "떨어져 E_I\n",
      "1 O\n",
      "##층 O\n",
      "통로 O\n",
      "에서 O\n",
      "유압 O\n",
      "실린더 E_I\n",
      "수리 E_I\n",
      "작업 E_I\n",
      "을 O\n",
      "하 O\n",
      "##던 O\n",
      "작업자 E_B\n",
      "가 E_I\n",
      "깔려 E_I\n",
      "사망 E_B\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "엘리베이터 O\n",
      "에 O\n",
      "탑승 O\n",
      "##하 O\n",
      "##고 O\n",
      "있 O\n",
      "##던 O\n",
      "작업자 O\n",
      "는 O\n",
      "부상 O\n",
      "##을 O\n",
      "입고 O\n",
      "병원 O\n",
      "##으로 O\n",
      "이송 O\n",
      "##되 O\n",
      "##었 O\n",
      "##다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n",
      "[CLS] O\n",
      "2019 O\n",
      "##년 O\n",
      "12 O\n",
      "##월 O\n",
      "9 O\n",
      "##일 O\n",
      "오후 O\n",
      "4 O\n",
      "시경 O\n",
      "멕시코 O\n",
      "주 O\n",
      "##에 O\n",
      "카테 O\n",
      "펙 O\n",
      "( O\n",
      "E O\n",
      "##ca O\n",
      "##te O\n",
      "##pe O\n",
      "##c O\n",
      "' O\n",
      ", O\n",
      "' O\n",
      "유리 O\n",
      "공장 O\n",
      "에서 O\n",
      "고장 O\n",
      "##난 O\n",
      "보 E_B\n",
      "일러 E_I\n",
      "##가 E_I\n",
      "폭발 E_I\n",
      "##하여 O\n",
      "1 O\n",
      "##명 O\n",
      "사망 E_B\n",
      "##하 O\n",
      "##고 O\n",
      "12 O\n",
      "##명 O\n",
      "##이 O\n",
      "부상 E_B\n",
      "##을 O\n",
      "입 O\n",
      "##는 O\n",
      "사고 O\n",
      "##가 O\n",
      "발생 O\n",
      "##하 O\n",
      "##였 O\n",
      "##다 O\n",
      ". O\n",
      "멕시코 O\n",
      "주 O\n",
      "##에 O\n",
      "카테 O\n",
      "펙 O\n",
      "( O\n",
      "E O\n",
      "##ca O\n",
      "##te O\n",
      "##pe O\n",
      "##c O\n",
      ") O\n",
      "에 O\n",
      "##있 O\n",
      "##는 O\n",
      "V O\n",
      "##it O\n",
      "##rom O\n",
      "##ex O\n",
      "도 O\n",
      "##재 O\n",
      "공장 O\n",
      "에서 O\n",
      "10 O\n",
      ", O\n",
      "0 O\n",
      "리터 O\n",
      "의 O\n",
      "보 O\n",
      "일러 O\n",
      "폭발 O\n",
      "##하 O\n",
      "##였 O\n",
      "##으며 O\n",
      ", O\n",
      "이 O\n",
      "보 O\n",
      "일러 O\n",
      "##는 O\n",
      "고열 O\n",
      "##로 O\n",
      "유리 O\n",
      "##를 O\n",
      "단련 O\n",
      "##시 O\n",
      "##키 O\n",
      "##는 O\n",
      "용도 O\n",
      "##로 O\n",
      "사용 O\n",
      "##되 O\n",
      "##었 O\n",
      "##으며 O\n",
      ", O\n",
      "보 E_B\n",
      "일러 E_I\n",
      "과 E_I\n",
      "##압 E_I\n",
      "##에 E_I\n",
      "의한 E_I\n",
      "폭발 E_I\n",
      "##로 O\n",
      "확인 O\n",
      "되 O\n",
      "##었 O\n",
      "##다 O\n",
      ". O\n",
      "이 O\n",
      "폭발 O\n",
      "##로 O\n",
      "건물 O\n",
      "의 O\n",
      "지붕 O\n",
      "을 O\n",
      "무너 O\n",
      "뜨리 O\n",
      "##고 O\n",
      "모든 O\n",
      "창문 O\n",
      "##이 O\n",
      "파손 O\n",
      "되 O\n",
      "##었 O\n",
      "##으며 O\n",
      ", O\n",
      "공장 O\n",
      "내 O\n",
      "금속 O\n",
      "구조물 O\n",
      "을 O\n",
      "무너 O\n",
      "뜨리 O\n",
      "##는 O\n",
      "등 O\n",
      "공장 O\n",
      "을 O\n",
      "완전히 O\n",
      "파괴 O\n",
      "할 O\n",
      "정도 O\n",
      "##로 O\n",
      "강력 O\n",
      "##했 O\n",
      "##습 O\n",
      "##니다 O\n",
      ". O\n",
      "[SEP] O\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for ins, outs in zip(inputs2labels, preds2labels):\n",
    "    idx = ins.index('[PAD]')\n",
    "    ins, outs = ins[:idx], outs[:idx]\n",
    "    for x, y in zip(ins, outs):\n",
    "        print(x, y)\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "jeonghyeon",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.0"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "df12b971f0e4e081474c4ac44bd338416eac6f5401e1e938ba342788cee78ecd"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}