EXTRACTING_POS.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### GET TEMPLATES CONTAINING > 2 NOUNS\n",
    "\n",
    "### GET DICTIONARIES POSTAG --> WORDS\n",
    "\n",
    "### GET DICTIONARIES WORDS --> POSTAG\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import nltk\n",
    "import keras.preprocessing\n",
    "import codecs\n",
    "import re\n",
    "import pickle\n",
    "import random"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "with codecs.open('data/frost/input.txt','rb', encoding='utf-8') as f:\n",
    "    data=f.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "#CLEAN TEXT\n",
    "def simple_clean(string):\n",
    "        string = string.lower()\n",
    "        string = re.sub(r\"\\n\", \" KKK \", string) #MARK LINES\n",
    "        string = re.sub(r\"[^가-힣A-Za-z0-9(),!?\\'\\`]\", \" \", string)\n",
    "        string = re.sub(r\"\\'\", \"\", string)\n",
    "        string = re.sub(r\"-\", \"\", string)\n",
    "        string = re.sub(r\":\", \"\", string)\n",
    "\n",
    "        string = re.sub(r\"\\'s\", \" \\'s\", string)\n",
    "        string = re.sub(r\"\\'d\", \"ed\", string) #for the old style\n",
    "        string = re.sub(r\"n\\'t\", \" n\\'t\", string)\n",
    "        string = re.sub(r\"I\\'ve\", \"I have\", string)\n",
    "        string = re.sub(r\"\\'ll\", \" will\", string)\n",
    "\n",
    "        string = re.sub(r\"[0-9]+\", \"EOS\", string) # EOS tag for numeric titling\n",
    "\n",
    "        string = re.sub(r\";\", \",\", string)\n",
    "        string = re.sub(r\",\", \" , \", string)\n",
    "        string = re.sub(r\"!\", \" ! \", string)\n",
    "        string = re.sub(r\"\\?\", \" ? \", string)\n",
    "        string = re.sub(r\"\\.\", \" . \", string)\n",
    "\n",
    "        string = re.sub(r\"\\(\", \" \\( \", string)\n",
    "        string = re.sub(r\"\\)\", \" \\) \", string)\n",
    "        string = re.sub(r\"\\s{2,}\", \" \", string)\n",
    "\n",
    "        return string.strip().split('KKK')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "#GET TOKENIZED LINES\n",
    "def get_token_sent(data):\n",
    "    k=simple_clean(data)\n",
    "    result=[]\n",
    "    for el in k:\n",
    "        res=el.split(' ')\n",
    "        if set(res)!=set(['']):\n",
    "            res=[x for x in res if x!='']\n",
    "            #res=['sos']+res+['eos']\n",
    "            result.append(res)\n",
    "    return result\n",
    "\n",
    "#GET POSTAG FOR SENTENCE\n",
    "def get_pos_tag(sent):\n",
    "    res=nltk.pos_tag(sent)\n",
    "    res=[tup[1] for tup in res]\n",
    "    return res"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "#GET TOKENIZED SENTENCE FOR THE TEXT\n",
    "dat=get_token_sent(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "#POSTAG ALL LINES\n",
    "i=0\n",
    "dataset=[]\n",
    "while True:\n",
    "    try:\n",
    "        r=dat[i]\n",
    "    except:\n",
    "        break\n",
    "    tag=get_pos_tag(r)\n",
    "    if (tag.count('NN')+tag.count('NNS'))>1:\n",
    "        dataset.append(tag)\n",
    "    i+=1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "lines_and_templates = []\n",
    "for line in dat:\n",
    "    lines_and_templates.append((line, get_pos_tag(line)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(['into', 'my', 'own'], ['IN', 'PRP$', 'JJ']),\n",
       " (['one', 'of', 'my', 'wishes', 'is', 'that', 'those', 'dark', 'trees', ','],\n",
       "  ['CD', 'IN', 'PRP$', 'NNS', 'VBZ', 'IN', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['so',\n",
       "   'old',\n",
       "   'and',\n",
       "   'firm',\n",
       "   'they',\n",
       "   'scarcely',\n",
       "   'show',\n",
       "   'the',\n",
       "   'breeze',\n",
       "   ','],\n",
       "  ['RB', 'JJ', 'CC', 'NN', 'PRP', 'RB', 'VBP', 'DT', 'NN', ',']),\n",
       " (['were',\n",
       "   'not',\n",
       "   ',',\n",
       "   'as',\n",
       "   'twere',\n",
       "   ',',\n",
       "   'the',\n",
       "   'merest',\n",
       "   'mask',\n",
       "   'of',\n",
       "   'gloom',\n",
       "   ','],\n",
       "  ['VBD', 'RB', ',', 'IN', 'RB', ',', 'DT', 'JJS', 'NN', 'IN', 'NN', ',']),\n",
       " (['but', 'stretched', 'away', 'unto', 'the', 'edge', 'of', 'doom'],\n",
       "  ['CC', 'VBD', 'RB', 'IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['i', 'should', 'not', 'be', 'withheld', 'but', 'that', 'some', 'day'],\n",
       "  ['NN', 'MD', 'RB', 'VB', 'VBN', 'CC', 'IN', 'DT', 'NN']),\n",
       " (['into', 'their', 'vastness', 'i', 'should', 'steal', 'away', ','],\n",
       "  ['IN', 'PRP$', 'NN', 'NN', 'MD', 'VB', 'RP', ',']),\n",
       " (['fearless', 'of', 'ever', 'finding', 'open', 'land', ','],\n",
       "  ['NN', 'IN', 'RB', 'VBG', 'JJ', 'NN', ',']),\n",
       " (['or', 'highway', 'where', 'the', 'slow', 'wheel', 'pours', 'the', 'sand'],\n",
       "  ['CC', 'NN', 'WRB', 'DT', 'JJ', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['i', 'do', 'not', 'see', 'why', 'i', 'should', 'eer', 'turn', 'back', ','],\n",
       "  ['NNS', 'VBP', 'RB', 'VB', 'WRB', 'NN', 'MD', 'VB', 'VB', 'RP', ',']),\n",
       " (['or', 'those', 'should', 'not', 'set', 'forth', 'upon', 'my', 'track'],\n",
       "  ['CC', 'DT', 'MD', 'RB', 'VB', 'NN', 'IN', 'PRP$', 'NN']),\n",
       " (['to', 'overtake', 'me', ',', 'who', 'should', 'miss', 'me', 'hdre'],\n",
       "  ['TO', 'VB', 'PRP', ',', 'WP', 'MD', 'VB', 'PRP', 'VB']),\n",
       " (['and', 'long', 'to', 'know', 'if', 'still', 'i', 'held', 'them', 'dg', 'r'],\n",
       "  ['CC', 'RB', 'TO', 'VB', 'IN', 'RB', 'VBP', 'VBD', 'PRP', 'RP', 'NN']),\n",
       " (['they', 'would', 'not', 'find', 'me', 'changed', 'from', 'him', 'they'],\n",
       "  ['PRP', 'MD', 'RB', 'VB', 'PRP', 'VBN', 'IN', 'PRP', 'PRP']),\n",
       " (['knew'], ['NNS']),\n",
       " (['only', 'more', 'sure', 'of', 'all', 'i', 'thought', 'was', 'true'],\n",
       "  ['RB', 'RBR', 'JJ', 'IN', 'DT', 'JJ', 'NN', 'VBD', 'JJ']),\n",
       " (['ghost', 'house'], ['NN', 'NN']),\n",
       " (['i', 'dwell', 'in', 'a', 'lonely', 'house', 'i', 'know'],\n",
       "  ['NN', 'VBP', 'IN', 'DT', 'JJ', 'NN', 'NN', 'VBP']),\n",
       " (['that', 'vanished', 'many', 'a', 'summer', 'ago', ','],\n",
       "  ['DT', 'VBD', 'JJ', 'DT', 'NN', 'IN', ',']),\n",
       " (['and', 'left', 'no', 'trace', 'but', 'the', 'cellar', 'walls', ','],\n",
       "  ['CC', 'VBD', 'DT', 'NN', 'CC', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['and', 'a', 'cellar', 'in', 'which', 'the', 'daylight', 'falls', ','],\n",
       "  ['CC', 'DT', 'NN', 'IN', 'WDT', 'DT', 'NN', 'VBZ', ',']),\n",
       " (['and', 'the', 'purple', 'stemmed', 'wild', 'raspberries', 'grow'],\n",
       "  ['CC', 'DT', 'NN', 'VBD', 'JJ', 'NNS', 'VBP']),\n",
       " (['oer', 'ruined', 'fences', 'the', 'grape', 'vines', 'shield'],\n",
       "  ['NN', 'VBD', 'NNS', 'DT', 'NN', 'NNS', 'VBD']),\n",
       " (['the', 'woods', 'come', 'back', 'to', 'the', 'mowing', 'field'],\n",
       "  ['DT', 'NNS', 'VBP', 'RB', 'TO', 'DT', 'NN', 'NN']),\n",
       " (['the', 'orchard', 'tree', 'has', 'grown', 'one', 'copse'],\n",
       "  ['DT', 'NN', 'NN', 'VBZ', 'VBN', 'CD', 'NN']),\n",
       " (['of', 'new', 'wood', 'and', 'old', 'where', 'the', 'woodpecker', 'chops'],\n",
       "  ['IN', 'JJ', 'NN', 'CC', 'JJ', 'WRB', 'DT', 'NN', 'NNS']),\n",
       " (['the', 'footpath', 'down', 'to', 'the', 'well', 'is', 'healed'],\n",
       "  ['DT', 'NN', 'RB', 'TO', 'DT', 'NN', 'VBZ', 'VBN']),\n",
       " (['i', 'dwell', 'with', 'a', 'strangely', 'aching', 'heart'],\n",
       "  ['NN', 'VBP', 'IN', 'DT', 'RB', 'JJ', 'NN']),\n",
       " (['in', 'that', 'vanished', 'abode', 'there', 'far', 'apart'],\n",
       "  ['IN', 'DT', 'VBD', 'NN', 'RB', 'RB', 'RB']),\n",
       " (['on', 'that', 'disused', 'and', 'forgotten', 'road'],\n",
       "  ['IN', 'DT', 'JJ', 'CC', 'JJ', 'NN']),\n",
       " (['that', 'has', 'no', 'dust', 'bath', 'now', 'for', 'the', 'toad'],\n",
       "  ['DT', 'VBZ', 'DT', 'JJ', 'NN', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['night', 'comes', 'the', 'black', 'bats', 'tumble', 'and', 'dart'],\n",
       "  ['NN', 'VBZ', 'DT', 'JJ', 'NNS', 'JJ', 'CC', 'NN']),\n",
       " (['the', 'whippoorwill', 'is', 'coming', 'to', 'shout'],\n",
       "  ['DT', 'NN', 'VBZ', 'VBG', 'TO', 'VB']),\n",
       " (['and', 'hush', 'and', 'cluck', 'and', 'flutter', 'about'],\n",
       "  ['CC', 'NN', 'CC', 'NN', 'CC', 'NN', 'IN']),\n",
       " (['i', 'hear', 'him', 'begin', 'far', 'enough', 'away'],\n",
       "  ['JJ', 'VBP', 'PRP', 'VB', 'RB', 'RB', 'RB']),\n",
       " (['full', 'many', 'a', 'time', 'to', 'say', 'his', 'say'],\n",
       "  ['JJ', 'JJ', 'DT', 'NN', 'TO', 'VB', 'PRP$', 'NN']),\n",
       " (['before', 'he', 'arrives', 'to', 'say', 'it', 'out'],\n",
       "  ['IN', 'PRP', 'VBZ', 'TO', 'VB', 'PRP', 'RP']),\n",
       " (['the', 'pasture'], ['DT', 'NN']),\n",
       " (['im', 'going', 'out', 'to', 'clean', 'the', 'pasture', 'spring'],\n",
       "  ['NN', 'VBG', 'IN', 'TO', 'VB', 'DT', 'NN', 'NN']),\n",
       " (['ill', 'only', 'stop', 'to', 'rake', 'the', 'leaves', 'away'],\n",
       "  ['NN', 'RB', 'VB', 'TO', 'VB', 'DT', 'NNS', 'RP']),\n",
       " (['\\\\(',\n",
       "   'and',\n",
       "   'wait',\n",
       "   'to',\n",
       "   'watch',\n",
       "   'the',\n",
       "   'water',\n",
       "   'clear',\n",
       "   ',',\n",
       "   'i',\n",
       "   'may',\n",
       "   '\\\\)'],\n",
       "  ['NN', 'CC', 'NN', 'TO', 'VB', 'DT', 'NN', 'JJ', ',', 'NN', 'MD', 'VB']),\n",
       " (['i', 'shant', 'be', 'gone', 'long', 'you', 'come', 'too'],\n",
       "  ['NN', 'VBP', 'VB', 'VBN', 'RB', 'PRP', 'VBP', 'RB']),\n",
       " (['im', 'going', 'out', 'to', 'fetch', 'the', 'little', 'calf'],\n",
       "  ['NN', 'VBG', 'IN', 'TO', 'VB', 'DT', 'JJ', 'NN']),\n",
       " (['thats', 'standing', 'by', 'the', 'mother', 'its', 'so', 'young'],\n",
       "  ['NNS', 'VBG', 'IN', 'DT', 'NN', 'PRP$', 'RB', 'JJ']),\n",
       " (['it', 'totters', 'when', 'she', 'licks', 'it', 'with', 'her', 'tongue'],\n",
       "  ['PRP', 'VBZ', 'WRB', 'PRP', 'VBZ', 'PRP', 'IN', 'PRP', 'NN']),\n",
       " (['i', 'shant', 'be', 'gone', 'long', 'you', 'come', 'too'],\n",
       "  ['NN', 'VBP', 'VB', 'VBN', 'RB', 'PRP', 'VBP', 'RB']),\n",
       " (['into', 'my', 'own'], ['IN', 'PRP$', 'JJ']),\n",
       " (['one', 'of', 'my', 'wishes', 'is', 'that', 'those', 'dark', 'trees', ','],\n",
       "  ['CD', 'IN', 'PRP$', 'NNS', 'VBZ', 'IN', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['so',\n",
       "   'old',\n",
       "   'and',\n",
       "   'firm',\n",
       "   'they',\n",
       "   'scarcely',\n",
       "   'show',\n",
       "   'the',\n",
       "   'breeze',\n",
       "   ','],\n",
       "  ['RB', 'JJ', 'CC', 'NN', 'PRP', 'RB', 'VBP', 'DT', 'NN', ',']),\n",
       " (['were',\n",
       "   'not',\n",
       "   ',',\n",
       "   'as',\n",
       "   'twere',\n",
       "   ',',\n",
       "   'the',\n",
       "   'merest',\n",
       "   'mask',\n",
       "   'of',\n",
       "   'gloom',\n",
       "   ','],\n",
       "  ['VBD', 'RB', ',', 'IN', 'RB', ',', 'DT', 'JJS', 'NN', 'IN', 'NN', ',']),\n",
       " (['but', 'stretched', 'away', 'unto', 'the', 'edge', 'of', 'doom'],\n",
       "  ['CC', 'VBD', 'RB', 'IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['i', 'should', 'not', 'be', 'withheld', 'but', 'that', 'some', 'day'],\n",
       "  ['NN', 'MD', 'RB', 'VB', 'VBN', 'CC', 'IN', 'DT', 'NN']),\n",
       " (['into', 'their', 'vastness', 'i', 'should', 'steal', 'away', ','],\n",
       "  ['IN', 'PRP$', 'NN', 'NN', 'MD', 'VB', 'RP', ',']),\n",
       " (['fearless', 'of', 'ever', 'finding', 'open', 'land', ','],\n",
       "  ['NN', 'IN', 'RB', 'VBG', 'JJ', 'NN', ',']),\n",
       " (['or', 'highway', 'where', 'the', 'slow', 'wheel', 'pours', 'the', 'sand'],\n",
       "  ['CC', 'NN', 'WRB', 'DT', 'JJ', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['i', 'do', 'not', 'see', 'why', 'i', 'should', 'eer', 'turn', 'back', ','],\n",
       "  ['NNS', 'VBP', 'RB', 'VB', 'WRB', 'NN', 'MD', 'VB', 'VB', 'RP', ',']),\n",
       " (['or', 'those', 'should', 'not', 'set', 'forth', 'upon', 'my', 'track'],\n",
       "  ['CC', 'DT', 'MD', 'RB', 'VB', 'NN', 'IN', 'PRP$', 'NN']),\n",
       " (['to', 'overtake', 'me', ',', 'who', 'should', 'miss', 'me', 'hdre'],\n",
       "  ['TO', 'VB', 'PRP', ',', 'WP', 'MD', 'VB', 'PRP', 'VB']),\n",
       " (['and', 'long', 'to', 'know', 'if', 'still', 'i', 'held', 'them', 'dg', 'r'],\n",
       "  ['CC', 'RB', 'TO', 'VB', 'IN', 'RB', 'VBP', 'VBD', 'PRP', 'RP', 'NN']),\n",
       " (['they', 'would', 'not', 'find', 'me', 'changed', 'from', 'him', 'they'],\n",
       "  ['PRP', 'MD', 'RB', 'VB', 'PRP', 'VBN', 'IN', 'PRP', 'PRP']),\n",
       " (['knew'], ['NNS']),\n",
       " (['only', 'more', 'sure', 'of', 'all', 'i', 'thought', 'was', 'true'],\n",
       "  ['RB', 'RBR', 'JJ', 'IN', 'DT', 'JJ', 'NN', 'VBD', 'JJ']),\n",
       " (['ghost', 'house'], ['NN', 'NN']),\n",
       " (['i', 'dwell', 'in', 'a', 'lonely', 'house', 'i', 'know'],\n",
       "  ['NN', 'VBP', 'IN', 'DT', 'JJ', 'NN', 'NN', 'VBP']),\n",
       " (['that', 'vanished', 'many', 'a', 'summer', 'ago', ','],\n",
       "  ['DT', 'VBD', 'JJ', 'DT', 'NN', 'IN', ',']),\n",
       " (['and', 'left', 'no', 'trace', 'but', 'the', 'cellar', 'walls', ','],\n",
       "  ['CC', 'VBD', 'DT', 'NN', 'CC', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['and', 'a', 'cellar', 'in', 'which', 'the', 'daylight', 'falls', ','],\n",
       "  ['CC', 'DT', 'NN', 'IN', 'WDT', 'DT', 'NN', 'VBZ', ',']),\n",
       " (['and', 'the', 'purple', 'stemmed', 'wild', 'raspberries', 'grow'],\n",
       "  ['CC', 'DT', 'NN', 'VBD', 'JJ', 'NNS', 'VBP']),\n",
       " (['oer', 'ruined', 'fences', 'the', 'grape', 'vines', 'shield'],\n",
       "  ['NN', 'VBD', 'NNS', 'DT', 'NN', 'NNS', 'VBD']),\n",
       " (['the', 'woods', 'come', 'back', 'to', 'the', 'mowing', 'field'],\n",
       "  ['DT', 'NNS', 'VBP', 'RB', 'TO', 'DT', 'NN', 'NN']),\n",
       " (['the', 'orchard', 'tree', 'has', 'grown', 'one', 'copse'],\n",
       "  ['DT', 'NN', 'NN', 'VBZ', 'VBN', 'CD', 'NN']),\n",
       " (['of', 'new', 'wood', 'and', 'old', 'where', 'the', 'woodpecker', 'chops'],\n",
       "  ['IN', 'JJ', 'NN', 'CC', 'JJ', 'WRB', 'DT', 'NN', 'NNS']),\n",
       " (['the', 'footpath', 'down', 'to', 'the', 'well', 'is', 'healed'],\n",
       "  ['DT', 'NN', 'RB', 'TO', 'DT', 'NN', 'VBZ', 'VBN']),\n",
       " (['i', 'dwell', 'with', 'a', 'strangely', 'aching', 'heart'],\n",
       "  ['NN', 'VBP', 'IN', 'DT', 'RB', 'JJ', 'NN']),\n",
       " (['in', 'that', 'vanished', 'abode', 'there', 'far', 'apart'],\n",
       "  ['IN', 'DT', 'VBD', 'NN', 'RB', 'RB', 'RB']),\n",
       " (['on', 'that', 'disused', 'and', 'forgotten', 'road'],\n",
       "  ['IN', 'DT', 'JJ', 'CC', 'JJ', 'NN']),\n",
       " (['that', 'has', 'no', 'dust', 'bath', 'now', 'for', 'the', 'toad'],\n",
       "  ['DT', 'VBZ', 'DT', 'JJ', 'NN', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['night', 'comes', 'the', 'black', 'bats', 'tumble', 'and', 'dart'],\n",
       "  ['NN', 'VBZ', 'DT', 'JJ', 'NNS', 'JJ', 'CC', 'NN']),\n",
       " (['the', 'whippoorwill', 'is', 'coming', 'to', 'shout'],\n",
       "  ['DT', 'NN', 'VBZ', 'VBG', 'TO', 'VB']),\n",
       " (['and', 'hush', 'and', 'cluck', 'and', 'flutter', 'about'],\n",
       "  ['CC', 'NN', 'CC', 'NN', 'CC', 'NN', 'IN']),\n",
       " (['i', 'hear', 'him', 'begin', 'far', 'enough', 'away'],\n",
       "  ['JJ', 'VBP', 'PRP', 'VB', 'RB', 'RB', 'RB']),\n",
       " (['full', 'many', 'a', 'time', 'to', 'say', 'his', 'say'],\n",
       "  ['JJ', 'JJ', 'DT', 'NN', 'TO', 'VB', 'PRP$', 'NN']),\n",
       " (['before', 'he', 'arrives', 'to', 'say', 'it', 'out'],\n",
       "  ['IN', 'PRP', 'VBZ', 'TO', 'VB', 'PRP', 'RP']),\n",
       " (['it', 'is', 'under', 'the', 'small', ',', 'dim', ',', 'summer', 'star'],\n",
       "  ['PRP', 'VBZ', 'IN', 'DT', 'JJ', ',', 'NN', ',', 'NN', 'NN']),\n",
       " (['know', 'not', 'who', 'these', 'mute', 'folk', 'are'],\n",
       "  ['NNS', 'RB', 'WP', 'DT', 'NN', 'NN', 'VBP']),\n",
       " (['who', 'share', 'the', 'unlit', 'place', 'with', 'me'],\n",
       "  ['WP', 'NN', 'DT', 'JJ', 'NN', 'IN', 'PRP']),\n",
       " (['those', 'stones', 'out', 'under', 'the', 'low', 'limbed', 'tree'],\n",
       "  ['DT', 'NNS', 'RP', 'IN', 'DT', 'JJ', 'VBD', 'NN']),\n",
       " (['doubtless', 'bear', 'names', 'that', 'the', 'mosses', 'mar'],\n",
       "  ['NN', 'NN', 'NNS', 'IN', 'DT', 'NNS', 'VBP']),\n",
       " (['they', 'are', 'tireless', 'folk', ',', 'but', 'slow', 'and', 'sad', ','],\n",
       "  ['PRP', 'VBP', 'JJ', 'NN', ',', 'CC', 'JJ', 'CC', 'JJ', ',']),\n",
       " (['though',\n",
       "   'two',\n",
       "   ',',\n",
       "   'close',\n",
       "   'keeping',\n",
       "   ',',\n",
       "   'are',\n",
       "   'lass',\n",
       "   'and',\n",
       "   'lad',\n",
       "   ','],\n",
       "  ['IN', 'CD', ',', 'RB', 'VBG', ',', 'VBP', 'JJ', 'CC', 'JJ', ',']),\n",
       " (['with', 'none', 'among', 'them', 'that', 'ever', 'sings', ','],\n",
       "  ['IN', 'NN', 'IN', 'PRP', 'IN', 'RB', 'NNS', ',']),\n",
       " (['and', 'yet', ',', 'in', 'view', 'of', 'how', 'many', 'things', ','],\n",
       "  ['CC', 'RB', ',', 'IN', 'NN', 'IN', 'WRB', 'JJ', 'NNS', ',']),\n",
       " (['rvs', 'sweet', 'companions', 'as', 'might', 'be', 'had'],\n",
       "  ['JJ', 'JJ', 'NNS', 'IN', 'MD', 'VB', 'VBN']),\n",
       " (['my', 'november', 'guest'], ['PRP$', 'NN', 'NN']),\n",
       " (['jvly', 'sorrow', ',', 'when', 'shes', 'here', 'with', 'me', ','],\n",
       "  ['NN', 'NN', ',', 'WRB', 'NNS', 'RB', 'IN', 'PRP', ',']),\n",
       " (['thinks', 'these', 'dark', 'days', 'of', 'autumn', 'rain'],\n",
       "  ['NNS', 'DT', 'JJ', 'NNS', 'IN', 'NN', 'NN']),\n",
       " (['are', 'beautiful', 'as', 'days', 'can', 'be'],\n",
       "  ['VBP', 'JJ', 'IN', 'NNS', 'MD', 'VB']),\n",
       " (['she', 'loves', 'the', 'bare', ',', 'the', 'withered', 'tree'],\n",
       "  ['PRP', 'VBZ', 'DT', 'NN', ',', 'DT', 'JJ', 'NN']),\n",
       " (['she', 'walks', 'the', 'sodden', 'pasture', 'lane'],\n",
       "  ['PRP', 'VBD', 'DT', 'JJ', 'NN', 'NN']),\n",
       " (['her', 'pleasure', 'will', 'not', 'let', 'me', 'stay'],\n",
       "  ['PRP$', 'NN', 'MD', 'RB', 'VB', 'PRP', 'VB']),\n",
       " (['she', 'talks', 'and', 'i', 'am', 'fain', 'to', 'list'],\n",
       "  ['PRP', 'NNS', 'CC', 'VB', 'VBP', 'NN', 'TO', 'VB']),\n",
       " (['shes', 'glad', 'the', 'birds', 'are', 'gone', 'away', ','],\n",
       "  ['NNS', 'VBP', 'DT', 'NNS', 'VBP', 'VBN', 'RB', ',']),\n",
       " (['shes', 'glad', 'her', 'simple', 'worsted', 'grey'],\n",
       "  ['NNS', 'VBD', 'PRP$', 'JJ', 'JJ', 'NN']),\n",
       " (['is', 'silver', 'now', 'with', 'clinging', 'mist'],\n",
       "  ['VBZ', 'RB', 'RB', 'IN', 'VBG', 'NN']),\n",
       " (['the', 'desolate', ',', 'deserted', 'trees', ','],\n",
       "  ['DT', 'NN', ',', 'VBD', 'NNS', ',']),\n",
       " (['the', 'faded', 'earth', ',', 'the', 'heavy', 'sky', ','],\n",
       "  ['DT', 'JJ', 'NN', ',', 'DT', 'JJ', 'NN', ',']),\n",
       " (['the', 'beauties', 'she', 'so', 'truly', 'sees', ','],\n",
       "  ['DT', 'NNS', 'PRP', 'RB', 'RB', 'NNS', ',']),\n",
       " (['she', 'thinks', 'i', 'have', 'no', 'eye', 'for', 'these', ','],\n",
       "  ['PRP', 'VBZ', 'NNS', 'VBP', 'DT', 'NN', 'IN', 'DT', ',']),\n",
       " (['and', 'vexes', 'me', 'for', 'reason', 'why'],\n",
       "  ['CC', 'VB', 'PRP', 'IN', 'NN', 'WRB']),\n",
       " (['not', 'yesterday', 'i', 'learned', 'to', 'know'],\n",
       "  ['RB', 'NN', 'NNS', 'VBD', 'TO', 'VB']),\n",
       " (['the', 'love', 'of', 'bare', 'november', 'days'],\n",
       "  ['DT', 'NN', 'IN', 'JJ', 'JJ', 'NNS']),\n",
       " (['before', 'the', 'coming', 'of', 'the', 'snow', ','],\n",
       "  ['IN', 'DT', 'VBG', 'IN', 'DT', 'NN', ',']),\n",
       " (['but', 'it', 'were', 'vain', 'to', 'tell', 'her', 'so', ','],\n",
       "  ['CC', 'PRP', 'VBD', 'JJ', 'TO', 'VB', 'PRP$', 'RB', ',']),\n",
       " (['and', 'they', 'are', 'better', 'for', 'her', 'praise'],\n",
       "  ['CC', 'PRP', 'VBP', 'RBR', 'IN', 'PRP$', 'NN']),\n",
       " (['to', 'the', 'thawing', 'wind'], ['TO', 'DT', 'NN', 'NN']),\n",
       " (['c', 'ome', 'with', 'rain', ',', 'o', 'loud', 'southwester', '!'],\n",
       "  ['JJ', 'NN', 'IN', 'NN', ',', 'JJ', 'JJ', 'NN', '.']),\n",
       " (['bring', 'the', 'singer', ',', 'bring', 'the', 'nester'],\n",
       "  ['VBG', 'DT', 'NN', ',', 'VBG', 'DT', 'NN']),\n",
       " (['give', 'the', 'buried', 'flower', 'a', 'dream'],\n",
       "  ['VB', 'DT', 'VBN', 'NN', 'DT', 'NN']),\n",
       " (['make', 'the', 'settled', 'snow', 'bank', 'stream'],\n",
       "  ['VB', 'DT', 'VBN', 'JJ', 'NN', 'NN']),\n",
       " (['find', 'the', 'brown', 'beneath', 'the', 'white'],\n",
       "  ['VB', 'DT', 'JJ', 'NN', 'DT', 'JJ']),\n",
       " (['but', 'whateer', 'you', 'do', 'to', 'night', ','],\n",
       "  ['CC', 'NN', 'PRP', 'VBP', 'TO', 'NN', ',']),\n",
       " (['bathe', 'my', 'window', ',', 'make', 'it', 'flow'],\n",
       "  ['NN', 'PRP$', 'NN', ',', 'VB', 'PRP', 'VB']),\n",
       " (['melt', 'it', 'as', 'the', 'ice', 'will', 'go'],\n",
       "  ['NN', 'PRP', 'IN', 'DT', 'NN', 'MD', 'VB']),\n",
       " (['melt', 'the', 'glass', 'and', 'leave', 'the', 'sticks'],\n",
       "  ['VB', 'DT', 'NN', 'CC', 'VBP', 'DT', 'NNS']),\n",
       " (['like', 'a', 'hermits', 'crucifix'], ['IN', 'DT', 'NNS', 'NN']),\n",
       " (['burst', 'into', 'my', 'narrow', 'stall'],\n",
       "  ['RB', 'IN', 'PRP$', 'JJ', 'NN']),\n",
       " (['swing', 'the', 'picture', 'on', 'the', 'wall'],\n",
       "  ['VBG', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['run', 'the', 'rattling', 'pages', 'oer'],\n",
       "  ['VB', 'DT', 'NN', 'NNS', 'VBP']),\n",
       " (['scatter', 'poems', 'on', 'the', 'floor'], ['NN', 'NNS', 'IN', 'DT', 'NN']),\n",
       " (['turn', 'the', 'poet', 'out', 'of', 'door'],\n",
       "  ['VB', 'DT', 'NN', 'IN', 'IN', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['a', 'prayer', 'in', 'spring'], ['DT', 'NN', 'IN', 'NN']),\n",
       " (['oh', ',', 'give', 'us', 'pleasure', 'in', 'the', 'flowers', 'to', 'day'],\n",
       "  ['UH', ',', 'VB', 'PRP', 'NN', 'IN', 'DT', 'NNS', 'TO', 'NN']),\n",
       " (['and', 'give', 'us', 'not', 'to', 'think', 'so', 'far', 'away'],\n",
       "  ['CC', 'VB', 'PRP', 'RB', 'TO', 'VB', 'RB', 'RB', 'RB']),\n",
       " (['as', 'the', 'uncertain', 'harvest', 'keep', 'us', 'here'],\n",
       "  ['IN', 'DT', 'JJ', 'NN', 'VB', 'PRP', 'RB']),\n",
       " (['all', 'simply', 'in', 'the', 'springing', 'of', 'the', 'year'],\n",
       "  ['DT', 'RB', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['oh', ',', 'give', 'us', 'pleasure', 'in', 'the', 'orchard', 'white', ','],\n",
       "  ['UH', ',', 'VB', 'PRP', 'NN', 'IN', 'DT', 'NN', 'JJ', ',']),\n",
       " (['like',\n",
       "   'nothing',\n",
       "   'else',\n",
       "   'by',\n",
       "   'day',\n",
       "   ',',\n",
       "   'like',\n",
       "   'ghosts',\n",
       "   'by',\n",
       "   'night'],\n",
       "  ['IN', 'NN', 'RB', 'IN', 'NN', ',', 'IN', 'NNS', 'IN', 'NN']),\n",
       " (['and', 'make', 'us', 'happy', 'in', 'the', 'happy', 'bees', ','],\n",
       "  ['CC', 'VB', 'PRP', 'JJ', 'IN', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['the', 'swarm', 'dilating', 'round', 'the', 'perfect', 'trees'],\n",
       "  ['DT', 'NN', 'NN', 'VBD', 'DT', 'JJ', 'NNS']),\n",
       " (['and', 'make', 'us', 'happy', 'in', 'the', 'darting', 'bird'],\n",
       "  ['CC', 'VB', 'PRP', 'JJ', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['that', 'suddenly', 'above', 'the', 'bees', 'is', 'heard', ','],\n",
       "  ['IN', 'RB', 'IN', 'DT', 'NNS', 'VBZ', 'VBN', ',']),\n",
       " (['the', 'meteor', 'that', 'thrusts', 'in', 'with', 'needle', 'bill', ','],\n",
       "  ['DT', 'NN', 'WDT', 'VBZ', 'IN', 'IN', 'JJ', 'NN', ',']),\n",
       " (['and', 'off', 'a', 'blossom', 'in', 'mid', 'air', 'stands', 'still'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'IN', 'JJ', 'NN', 'NNS', 'RB']),\n",
       " (['for', 'this', 'is', 'love', 'and', 'nothing', 'else', 'is', 'love', ','],\n",
       "  ['IN', 'DT', 'VBZ', 'JJ', 'CC', 'NN', 'RB', 'VBZ', 'NN', ',']),\n",
       " (['the', 'which', 'it', 'is', 'reserved', 'for', 'god', 'above'],\n",
       "  ['DT', 'WDT', 'PRP', 'VBZ', 'VBN', 'IN', 'NN', 'IN']),\n",
       " (['to', 'sanctify', 'to', 'what', 'far', 'ends', 'he', 'will', ','],\n",
       "  ['TO', 'VB', 'TO', 'WP', 'RB', 'VBZ', 'PRP', 'MD', ',']),\n",
       " (['but', 'which', 'it', 'only', 'needs', 'that', 'we', 'fulfil'],\n",
       "  ['CC', 'WDT', 'PRP', 'RB', 'VBZ', 'IN', 'PRP', 'VBP']),\n",
       " (['EOS'], ['NN']),\n",
       " (['love', 'and', 'a', 'question'], ['NN', 'CC', 'DT', 'NN']),\n",
       " (['a', 'stranger', 'came', 'to', 'the', 'door', 'at', 'eve', ','],\n",
       "  ['DT', 'NN', 'VBD', 'TO', 'DT', 'NN', 'IN', 'NN', ',']),\n",
       " (['and', 'he', 'spoke', 'the', 'bridegroom', 'fair'],\n",
       "  ['CC', 'PRP', 'VBD', 'DT', 'NN', 'NN']),\n",
       " (['he', 'bore', 'a', 'green', 'white', 'stick', 'in', 'his', 'hand', ','],\n",
       "  ['PRP', 'VBD', 'DT', 'JJ', 'JJ', 'NN', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['and', ',', 'for', 'all', 'burden', ',', 'care'],\n",
       "  ['CC', ',', 'IN', 'DT', 'NN', ',', 'NN']),\n",
       " (['he', 'asked', 'with', 'the', 'eyes', 'more', 'than', 'the', 'lips'],\n",
       "  ['PRP', 'VBD', 'IN', 'DT', 'NNS', 'JJR', 'IN', 'DT', 'NNS']),\n",
       " (['for', 'a', 'shelter', 'for', 'the', 'night', ','],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'he', 'turned', 'and', 'looked', 'at', 'the', 'road', 'afar'],\n",
       "  ['CC', 'PRP', 'VBD', 'CC', 'VBD', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['without', 'a', 'window', 'light'], ['IN', 'DT', 'NN', 'NN']),\n",
       " (['the', 'bridegroom', 'came', 'forth', 'into', 'the', 'porch'],\n",
       "  ['DT', 'NN', 'VBD', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['with', 'let', 'us', 'look', 'at', 'the', 'sky', ','],\n",
       "  ['IN', 'JJ', 'PRP', 'VB', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'question', 'what', 'of', 'the', 'night', 'to', 'be', ','],\n",
       "  ['CC', 'NN', 'WP', 'IN', 'DT', 'NN', 'TO', 'VB', ',']),\n",
       " (['stranger', ',', 'you', 'and', 'i'], ['NN', ',', 'PRP', 'CC', 'VB']),\n",
       " (['the', 'woodbine', 'leaves', 'littered', 'the', 'yard', ','],\n",
       "  ['DT', 'NN', 'VBZ', 'VBD', 'DT', 'NN', ',']),\n",
       " (['the', 'woodbine', 'berries', 'were', 'blue', ','],\n",
       "  ['DT', 'NN', 'NNS', 'VBD', 'JJ', ',']),\n",
       " (['autumn', ',', 'yes', ',', 'winter', 'was', 'in', 'the', 'wind'],\n",
       "  ['NN', ',', 'UH', ',', 'NN', 'VBD', 'IN', 'DT', 'NN']),\n",
       " (['stranger', ',', 'i', 'wish', 'i', 'knew'],\n",
       "  ['NN', ',', 'JJ', 'VBP', 'VBP', 'NNS']),\n",
       " (['within', ',', 'the', 'bride', 'in', 'the', 'dusk', 'alone'],\n",
       "  ['IN', ',', 'DT', 'NN', 'IN', 'DT', 'NN', 'RB']),\n",
       " (['bent', 'over', 'the', 'open', 'fire', ','],\n",
       "  ['NN', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['her', 'face', 'rose', 'red', 'with', 'the', 'glowing', 'coal'],\n",
       "  ['PRP$', 'NN', 'VBD', 'JJ', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['and', 'the', 'thought', 'of', 'the', 'hearts', 'desire'],\n",
       "  ['CC', 'DT', 'NN', 'IN', 'DT', 'NNS', 'NN']),\n",
       " (['the', 'bridegroom', ',', 'looked', 'at', 'the', 'weary', 'road', ','],\n",
       "  ['DT', 'NN', ',', 'VBD', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['yet', 'saw', 'but', 'her', 'within', ','],\n",
       "  ['RB', 'NN', 'CC', 'PRP$', 'IN', ',']),\n",
       " (['and', 'wished', 'her', 'heart', 'in', 'a', 'case', 'of', 'gold'],\n",
       "  ['CC', 'VBD', 'PRP$', 'NN', 'IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['and', 'pinned', 'with', 'a', 'silver', 'pin'],\n",
       "  ['CC', 'VBN', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['the', 'bridegroom', 'thought', 'it', 'little', 'to', 'give'],\n",
       "  ['DT', 'NN', 'VBD', 'PRP', 'JJ', 'TO', 'VB']),\n",
       " (['a', 'dole', 'of', 'bread', ',', 'a', 'purse', ','],\n",
       "  ['DT', 'NN', 'IN', 'NN', ',', 'DT', 'NN', ',']),\n",
       " (['a', 'heartfelt', 'prayer', 'for', 'the', 'poor', 'of', 'god', ','],\n",
       "  ['DT', 'NN', 'NN', 'IN', 'DT', 'JJ', 'IN', 'NN', ',']),\n",
       " (['or', 'for', 'the', 'rich', 'a', 'curse'],\n",
       "  ['CC', 'IN', 'DT', 'JJ', 'DT', 'NN']),\n",
       " (['but', 'whether', 'or', 'not', 'a', 'man', 'was', 'asked'],\n",
       "  ['CC', 'IN', 'CC', 'RB', 'DT', 'NN', 'VBD', 'VBN']),\n",
       " (['to', 'mar', 'the', 'love', 'of', 'two'],\n",
       "  ['TO', 'VB', 'DT', 'NN', 'IN', 'CD']),\n",
       " (['by', 'harboring', 'woe', 'in', 'the', 'bridal', 'house', ','],\n",
       "  ['IN', 'VBG', 'NN', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['the', 'bridegroom', 'wished', 'he', 'knew'],\n",
       "  ['DT', 'NN', 'VBD', 'PRP', 'VBD']),\n",
       " (['stars'], ['NNS']),\n",
       " (['how', 'countlessly', 'they', 'congregate'], ['WRB', 'RB', 'PRP', 'VBP']),\n",
       " (['oer', 'our', 'tumultuous', 'snow'], ['IN', 'PRP$', 'JJ', 'NN']),\n",
       " (['which', 'flows', 'in', 'shapes', 'as', 'tall', 'as', 'trees'],\n",
       "  ['WDT', 'VBZ', 'IN', 'NNS', 'RB', 'JJ', 'IN', 'NNS']),\n",
       " (['when', 'wintry', 'winds', 'do', 'blow', '!'],\n",
       "  ['WRB', 'NN', 'VBZ', 'VBP', 'VB', '.']),\n",
       " (['as', 'if', 'with', 'keenness', 'for', 'our', 'fate', ','],\n",
       "  ['IN', 'IN', 'IN', 'NN', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['our', 'faltering', 'few', 'steps', 'on'],\n",
       "  ['PRP$', 'VBG', 'JJ', 'NNS', 'IN']),\n",
       " (['to', 'white', 'rest', ',', 'and', 'a', 'place', 'of', 'rest'],\n",
       "  ['TO', 'JJ', 'NN', ',', 'CC', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['invisible', 'at', 'dawn', ','], ['JJ', 'IN', 'NN', ',']),\n",
       " (['and', 'yet', 'with', 'neither', 'love', 'nor', 'hate', ','],\n",
       "  ['CC', 'RB', 'IN', 'DT', 'NN', 'CC', 'NN', ',']),\n",
       " (['those', 'stars', 'like', 'some', 'snow', 'white'],\n",
       "  ['DT', 'NNS', 'IN', 'DT', 'JJ', 'JJ']),\n",
       " (['minervas', 'snow', 'white', 'marble', 'eyes'],\n",
       "  ['NN', 'JJ', 'JJ', 'JJ', 'NNS']),\n",
       " (['without', 'the', 'gift', 'of', 'sight'], ['IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['EOSc'], ['NN']),\n",
       " (['storm', 'fear'], ['NN', 'NN']),\n",
       " (['vhen', 'the', 'wind', 'works', 'against', 'us', 'in', 'the', 'dark', ','],\n",
       "  ['IN', 'DT', 'NN', 'VBZ', 'IN', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'pelts', 'with', 'snow'], ['CC', 'NNS', 'IN', 'NN']),\n",
       " (['the', 'lower', 'chamber', 'window', 'on', 'the', 'east', ','],\n",
       "  ['DT', 'JJR', 'NN', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'whispers', 'with', 'a', 'sort', 'of', 'stifled', 'bark', ','],\n",
       "  ['CC', 'NNS', 'IN', 'DT', 'NN', 'IN', 'JJ', 'NN', ',']),\n",
       " (['the', 'beast', ','], ['DT', 'NN', ',']),\n",
       " (['come', 'out', '!', 'come', 'outf'], ['VBN', 'RP', '.', 'VB', 'NN']),\n",
       " (['it', 'costs', 'no', 'inward', 'struggle', 'not', 'to', 'go', ','],\n",
       "  ['PRP', 'VBZ', 'DT', 'JJ', 'NN', 'RB', 'TO', 'VB', ',']),\n",
       " (['ah', ',', 'no', '!'], ['NN', ',', 'DT', '.']),\n",
       " (['i', 'count', 'our', 'strength', ','], ['NN', 'VBP', 'PRP$', 'NN', ',']),\n",
       " (['two', 'and', 'a', 'child', ','], ['CD', 'CC', 'DT', 'NN', ',']),\n",
       " (['those', 'of', 'us', 'not', 'asleep', 'subdued', 'to', 'mark'],\n",
       "  ['DT', 'IN', 'PRP', 'RB', 'VB', 'VBN', 'TO', 'VB']),\n",
       " (['how',\n",
       "   'the',\n",
       "   'cold',\n",
       "   'creeps',\n",
       "   'as',\n",
       "   'the',\n",
       "   'fire',\n",
       "   'dies',\n",
       "   'at',\n",
       "   'length',\n",
       "   ','],\n",
       "  ['WRB', 'DT', 'JJ', 'NN', 'IN', 'DT', 'NN', 'VBZ', 'IN', 'NN', ',']),\n",
       " (['how', 'drifts', 'are', 'piled', ','], ['WRB', 'NNS', 'VBP', 'VBN', ',']),\n",
       " (['dooryard', 'and', 'road', 'ungraded', ','],\n",
       "  ['NN', 'CC', 'NN', 'VBD', ',']),\n",
       " (['till', 'even', 'the', 'comforting', 'barn', 'grows', 'far', 'away', ','],\n",
       "  ['RB', 'RB', 'DT', 'NN', 'NN', 'VBZ', 'RB', 'RB', ',']),\n",
       " (['and', 'my', 'heart', 'owns', 'a', 'doubt'],\n",
       "  ['CC', 'PRP$', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['whether', 'tis', 'in', 'us', 'to', 'arise', 'with', 'day'],\n",
       "  ['IN', 'NN', 'IN', 'PRP', 'TO', 'VB', 'IN', 'NN']),\n",
       " (['and', 'save', 'ourselves', 'unaided'], ['CC', 'VB', 'NNS', 'JJ']),\n",
       " (['EOS'], ['NN']),\n",
       " (['to', 'the', 'thawing', 'wind'], ['TO', 'DT', 'NN', 'NN']),\n",
       " (['with', 'rain', ',', 'o', 'loud', 'south', 'wester', '!'],\n",
       "  ['IN', 'NN', ',', 'JJ', 'JJ', 'NN', 'NN', '.']),\n",
       " (['bring', 'the', 'singer', ',', 'bring', 'the', 'nester'],\n",
       "  ['VBG', 'DT', 'NN', ',', 'VBG', 'DT', 'NN']),\n",
       " (['give', 'the', 'buried', 'flower', 'a', 'dream'],\n",
       "  ['VB', 'DT', 'VBN', 'NN', 'DT', 'NN']),\n",
       " (['make', 'the', 'settled', 'snow', 'bank', 'stream'],\n",
       "  ['VB', 'DT', 'VBN', 'JJ', 'NN', 'NN']),\n",
       " (['find', 'the', 'brown', 'beneath', 'the', 'white'],\n",
       "  ['VB', 'DT', 'JJ', 'NN', 'DT', 'JJ']),\n",
       " (['but', 'whatever', 'you', 'do', 'to', 'night', ','],\n",
       "  ['CC', 'WDT', 'PRP', 'VBP', 'TO', 'NN', ',']),\n",
       " (['bathe', 'my', 'window', ',', 'make', 'it', 'flow'],\n",
       "  ['NN', 'PRP$', 'NN', ',', 'VB', 'PRP', 'VB']),\n",
       " (['melt', 'it', 'as', 'the', 'ice', 'will', 'go'],\n",
       "  ['NN', 'PRP', 'IN', 'DT', 'NN', 'MD', 'VB']),\n",
       " (['melt', 'the', 'glass', 'and', 'leave', 'the', 'sticks'],\n",
       "  ['VB', 'DT', 'NN', 'CC', 'VBP', 'DT', 'NNS']),\n",
       " (['like', 'a', 'hermits', 'crucifix'], ['IN', 'DT', 'NNS', 'NN']),\n",
       " (['burst', 'into', 'my', 'narrow', 'stall'],\n",
       "  ['RB', 'IN', 'PRP$', 'JJ', 'NN']),\n",
       " (['swing', 'the', 'picture', 'on', 'the', 'wall'],\n",
       "  ['VBG', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['run', 'the', 'rattling', 'pages', 'oer'],\n",
       "  ['VB', 'DT', 'NN', 'NNS', 'VBP']),\n",
       " (['scatter', 'poems', 'on', 'the', 'floor'], ['NN', 'NNS', 'IN', 'DT', 'NN']),\n",
       " (['turn', 'the', 'poet', 'out', 'of', 'door'],\n",
       "  ['VB', 'DT', 'NN', 'IN', 'IN', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['a', 'prayer', 'in', 'spring'], ['DT', 'NN', 'IN', 'NN']),\n",
       " (['oh', ',', 'give', 'us', 'pleasure', 'in', 'the', 'flowers', 'to', 'day'],\n",
       "  ['UH', ',', 'VB', 'PRP', 'NN', 'IN', 'DT', 'NNS', 'TO', 'NN']),\n",
       " (['and', 'give', 'us', 'not', 'to', 'think', 'so', 'far', 'away'],\n",
       "  ['CC', 'VB', 'PRP', 'RB', 'TO', 'VB', 'RB', 'RB', 'RB']),\n",
       " (['as', 'the', 'uncertain', 'harvest', 'keep', 'us', 'here'],\n",
       "  ['IN', 'DT', 'JJ', 'NN', 'VB', 'PRP', 'RB']),\n",
       " (['all', 'simply', 'in', 'the', 'springing', 'of', 'the', 'year'],\n",
       "  ['DT', 'RB', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['oh', ',', 'give', 'us', 'pleasure', 'in', 'the', 'orchard', 'white', ','],\n",
       "  ['UH', ',', 'VB', 'PRP', 'NN', 'IN', 'DT', 'NN', 'JJ', ',']),\n",
       " (['like',\n",
       "   'nothing',\n",
       "   'else',\n",
       "   'by',\n",
       "   'day',\n",
       "   ',',\n",
       "   'like',\n",
       "   'ghosts',\n",
       "   'by',\n",
       "   'night'],\n",
       "  ['IN', 'NN', 'RB', 'IN', 'NN', ',', 'IN', 'NNS', 'IN', 'NN']),\n",
       " (['and', 'make', 'us', 'happy', 'in', 'the', 'happy', 'bees', ','],\n",
       "  ['CC', 'VB', 'PRP', 'JJ', 'IN', 'DT', 'JJ', 'NNS', ',']),\n",
       " (['the', 'swarm', 'dilating', 'round', 'the', 'perfect', 'trees'],\n",
       "  ['DT', 'NN', 'NN', 'VBD', 'DT', 'JJ', 'NNS']),\n",
       " (['and', 'make', 'us', 'happy', 'in', 'the', 'darting', 'bird'],\n",
       "  ['CC', 'VB', 'PRP', 'JJ', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['that', 'suddenly', 'above', 'the', 'bees', 'is', 'heard', ','],\n",
       "  ['IN', 'RB', 'IN', 'DT', 'NNS', 'VBZ', 'VBN', ',']),\n",
       " (['the', 'meteor', 'that', 'thrusts', 'in', 'with', 'needle', 'bill', ','],\n",
       "  ['DT', 'NN', 'WDT', 'VBZ', 'IN', 'IN', 'JJ', 'NN', ',']),\n",
       " (['and', 'off', 'a', 'blossom', 'in', 'mid', 'air', 'stands', 'still'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'IN', 'JJ', 'NN', 'NNS', 'RB']),\n",
       " (['for', 'this', 'is', 'love', 'and', 'nothing', 'else', 'is', 'love', ','],\n",
       "  ['IN', 'DT', 'VBZ', 'JJ', 'CC', 'NN', 'RB', 'VBZ', 'NN', ',']),\n",
       " (['the', 'which', 'it', 'is', 'reserved', 'for', 'god', 'above'],\n",
       "  ['DT', 'WDT', 'PRP', 'VBZ', 'VBN', 'IN', 'NN', 'IN']),\n",
       " (['to', 'sanctify', 'to', 'what', 'far', 'ends', 'he', 'will', ','],\n",
       "  ['TO', 'VB', 'TO', 'WP', 'RB', 'VBZ', 'PRP', 'MD', ',']),\n",
       " (['but', 'which', 'it', 'only', 'needs', 'that', 'we', 'fulfil'],\n",
       "  ['CC', 'WDT', 'PRP', 'RB', 'VBZ', 'IN', 'PRP', 'VBP']),\n",
       " (['EOS'], ['NN']),\n",
       " (['flower', 'gathering'], ['NN', 'NN']),\n",
       " (['EOS', 'left', 'you', 'in', 'the', 'morning', ','],\n",
       "  ['NNP', 'VBD', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'in', 'the', 'morning', 'glow', ','],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['you', 'walked', 'a', 'way', 'beside', 'me'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'IN', 'PRP']),\n",
       " (['to', 'make', 'me', 'sad', 'to', 'go'],\n",
       "  ['TO', 'VB', 'PRP', 'VB', 'TO', 'VB']),\n",
       " (['do', 'you', 'know', 'me', 'in', 'the', 'gloaming', ','],\n",
       "  ['VB', 'PRP', 'VB', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['gaunt', 'and', 'dusty', 'grey', 'with', 'roaming', '?'],\n",
       "  ['NN', 'CC', 'JJ', 'NN', 'IN', 'NN', '.']),\n",
       " (['are', 'you', 'dumb', 'because', 'you', 'know', 'me', 'not', ','],\n",
       "  ['VBP', 'PRP', 'JJ', 'IN', 'PRP', 'VBP', 'PRP', 'RB', ',']),\n",
       " (['or', 'dumb', 'because', 'you', 'know', '?'],\n",
       "  ['CC', 'VB', 'IN', 'PRP', 'VBP', '.']),\n",
       " (['all', 'for', 'me', '?', 'and', 'not', 'a', 'question'],\n",
       "  ['DT', 'IN', 'PRP', '.', 'CC', 'RB', 'DT', 'NN']),\n",
       " (['for', 'the', 'faded', 'flowers', 'gay'], ['IN', 'DT', 'JJ', 'NNS', 'VBP']),\n",
       " (['that', 'could', 'take', 'me', 'from', 'beside', 'you'],\n",
       "  ['DT', 'MD', 'VB', 'PRP', 'IN', 'IN', 'PRP']),\n",
       " (['for', 'the', 'ages', 'of', 'a', 'day', '?'],\n",
       "  ['IN', 'DT', 'NNS', 'IN', 'DT', 'NN', '.']),\n",
       " (['they', 'are', 'yours', ',', 'and', 'be', 'the', 'measure'],\n",
       "  ['PRP', 'VBP', 'NNS', ',', 'CC', 'VB', 'DT', 'NN']),\n",
       " (['of', 'their', 'worth', 'for', 'you', 'to', 'treasure', ','],\n",
       "  ['IN', 'PRP$', 'NN', 'IN', 'PRP', 'TO', 'VB', ',']),\n",
       " (['the', 'measure', 'of', 'the', 'little', 'while'],\n",
       "  ['DT', 'NN', 'IN', 'DT', 'JJ', 'IN']),\n",
       " (['that', 'ive', 'been', 'long', 'away'], ['DT', 'JJ', 'VBN', 'RB', 'RB']),\n",
       " (['rose', 'pogonias'], ['VBD', 'NNS']),\n",
       " (['a', 'saturated', 'meadow', ','], ['DT', 'JJ', 'NN', ',']),\n",
       " (['sun', 'shaped', 'and', 'jewel', 'small', ','],\n",
       "  ['NN', 'VBD', 'CC', 'NN', 'JJ', ',']),\n",
       " (['a', 'circle', 'scarcely', 'wider'], ['DT', 'NN', 'RB', 'VB']),\n",
       " (['than', 'the', 'trees', 'around', 'were', 'tall'],\n",
       "  ['IN', 'DT', 'NNS', 'IN', 'VBD', 'JJ']),\n",
       " (['where', 'winds', 'were', 'quite', 'excluded', ','],\n",
       "  ['WRB', 'NNS', 'VBD', 'RB', 'VBN', ',']),\n",
       " (['and', 'the', 'air', 'was', 'stifling', 'sweet'],\n",
       "  ['CC', 'DT', 'NN', 'VBD', 'VBG', 'NN']),\n",
       " (['with', 'the', 'breath', 'of', 'many', 'flowers', ','],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'JJ', 'NNS', ',']),\n",
       " (['a', 'temple', 'of', 'the', 'heat'], ['DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['there', 'we', 'bowed', 'us', 'in', 'the', 'burning', ','],\n",
       "  ['EX', 'PRP', 'VBD', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['as', 'the', 'suns', 'right', 'worship', 'is', ','],\n",
       "  ['IN', 'DT', 'NN', 'JJ', 'NN', 'VBZ', ',']),\n",
       " (['to', 'pick', 'where', 'none', 'could', 'miss', 'them'],\n",
       "  ['TO', 'VB', 'WRB', 'NN', 'MD', 'VB', 'PRP']),\n",
       " (['a', 'thousand', 'orchises'], ['DT', 'NN', 'NNS']),\n",
       " (['for', 'though', 'the', 'grass', 'was', 'scattered', ','],\n",
       "  ['IN', 'IN', 'DT', 'NN', 'VBD', 'VBN', ',']),\n",
       " (['yet', 'every', 'second', 'spear'], ['RB', 'DT', 'JJ', 'NN']),\n",
       " (['seemed', 'tipped', 'with', 'wings', 'of', 'color', ','],\n",
       "  ['VBD', 'JJ', 'IN', 'NNS', 'IN', 'NN', ',']),\n",
       " (['that', 'tinged', 'the', 'atmosphere'], ['DT', 'VBD', 'DT', 'NN']),\n",
       " (['we', 'raised', 'a', 'simple', 'prayer'], ['PRP', 'VBD', 'DT', 'JJ', 'NN']),\n",
       " (['before', 'we', 'left', 'the', 'spot', ','],\n",
       "  ['IN', 'PRP', 'VBD', 'DT', 'NN', ',']),\n",
       " (['that', 'in', 'the', 'general', 'mowing'], ['DT', 'IN', 'DT', 'JJ', 'NN']),\n",
       " (['that', 'place', 'might', 'be', 'forgot'], ['DT', 'NN', 'MD', 'VB', 'VBN']),\n",
       " (['or', 'if', 'not', 'all', 'so', 'favoured', ','],\n",
       "  ['CC', 'IN', 'RB', 'DT', 'RB', 'VBN', ',']),\n",
       " (['obtain', 'such', 'grace', 'of', 'hours', ','],\n",
       "  ['VB', 'JJ', 'NN', 'IN', 'NNS', ',']),\n",
       " (['that', 'none', 'should', 'mow', 'the', 'grass', 'there'],\n",
       "  ['IN', 'NN', 'MD', 'VB', 'DT', 'NN', 'RB']),\n",
       " (['while', 'so', 'confused', 'with', 'flowers'],\n",
       "  ['IN', 'RB', 'JJ', 'IN', 'NNS']),\n",
       " (['EOS'], ['NN']),\n",
       " (['waiting'], ['VBG']),\n",
       " (['afield', 'at', 'dusk'], ['NN', 'IN', 'NN']),\n",
       " (['what',\n",
       "   'things',\n",
       "   'for',\n",
       "   'dream',\n",
       "   'there',\n",
       "   'are',\n",
       "   'when',\n",
       "   'spectre',\n",
       "   'like',\n",
       "   ','],\n",
       "  ['WP', 'NNS', 'IN', 'NN', 'EX', 'VBP', 'WRB', 'NNS', 'IN', ',']),\n",
       " (['moving', 'among', 'tall', 'haycocks', 'lightly', 'piled', ','],\n",
       "  ['VBG', 'IN', 'JJ', 'NNS', 'RB', 'VBD', ',']),\n",
       " (['i', 'enter', 'alone', 'upon', 'the', 'stubble', 'field', ','],\n",
       "  ['JJ', 'VBP', 'RB', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['from', 'which', 'the', 'laborers', 'voices', 'late', 'have', 'died', ','],\n",
       "  ['IN', 'WDT', 'DT', 'NNS', 'NNS', 'RB', 'VBP', 'VBN', ',']),\n",
       " (['and', 'in', 'the', 'antiphony', 'of', 'afterglow'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['and', 'rising', 'full', 'moon', ',', 'sit', 'me', 'down'],\n",
       "  ['CC', 'VBG', 'JJ', 'NN', ',', 'VB', 'PRP', 'RP']),\n",
       " (['upon', 'the', 'full', 'moons', 'side', 'of', 'the', 'first', 'haycock'],\n",
       "  ['IN', 'DT', 'JJ', 'NNS', 'NN', 'IN', 'DT', 'JJ', 'NN']),\n",
       " (['and', 'lose', 'myself', 'amid', 'so', 'many', 'alike'],\n",
       "  ['CC', 'VB', 'PRP', 'IN', 'RB', 'JJ', 'NN']),\n",
       " (['i',\n",
       "   'dream',\n",
       "   'upon',\n",
       "   'the',\n",
       "   'opposing',\n",
       "   'lights',\n",
       "   'of',\n",
       "   'the',\n",
       "   'hour',\n",
       "   ','],\n",
       "  ['JJ', 'NN', 'IN', 'DT', 'VBG', 'NNS', 'IN', 'DT', 'NN', ',']),\n",
       " (['preventing', 'shadow', 'until', 'the', 'moon', 'prevail'],\n",
       "  ['VBG', 'NN', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['i', 'dream', 'upon', 'the', 'night', 'hawks', 'peopling', 'heaven', ','],\n",
       "  ['JJ', 'NN', 'IN', 'DT', 'NN', 'NN', 'VBG', 'NN', ',']),\n",
       " (['each', 'circling', 'each', 'with', 'vague', 'unearthly', 'cry', ','],\n",
       "  ['DT', 'VBG', 'DT', 'IN', 'JJ', 'JJ', 'NN', ',']),\n",
       " (['or', 'plunging', 'headlong', 'with', 'fierce', 'twang', 'afar'],\n",
       "  ['CC', 'VBG', 'JJ', 'IN', 'JJ', 'NN', 'NN']),\n",
       " (['and', 'on', 'the', 'bats', 'mute', 'antics', ',', 'who', 'would', 'seem'],\n",
       "  ['CC', 'IN', 'DT', 'NNS', 'VBP', 'NNS', ',', 'WP', 'MD', 'VB']),\n",
       " (['dimly', 'to', 'have', 'made', 'out', 'my', 'secret', 'place', ','],\n",
       "  ['RB', 'TO', 'VB', 'VBN', 'RP', 'PRP$', 'JJ', 'NN', ',']),\n",
       " (['only', 'to', 'lose', 'it', 'when', 'he', 'pirouettes', ','],\n",
       "  ['RB', 'TO', 'VB', 'PRP', 'WRB', 'PRP', 'VBZ', ',']),\n",
       " (['and', 'seek', 'it', 'endlessly', 'with', 'purblind', 'haste'],\n",
       "  ['CC', 'VB', 'PRP', 'RB', 'IN', 'NN', 'NN']),\n",
       " (['on', 'the', 'last', 'swallows', 'sweep', 'and', 'on', 'the', 'rasp'],\n",
       "  ['IN', 'DT', 'JJ', 'JJ', 'NN', 'CC', 'IN', 'DT', 'NN']),\n",
       " (['in',\n",
       "   'the',\n",
       "   'abyss',\n",
       "   'of',\n",
       "   'odor',\n",
       "   'and',\n",
       "   'rustle',\n",
       "   'at',\n",
       "   'my',\n",
       "   'back',\n",
       "   ','],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'NN', 'CC', 'NN', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['that',\n",
       "   ',',\n",
       "   'silenced',\n",
       "   'by',\n",
       "   'my',\n",
       "   'advent',\n",
       "   ',',\n",
       "   'finds',\n",
       "   'once',\n",
       "   'more',\n",
       "   ','],\n",
       "  ['DT', ',', 'VBN', 'IN', 'PRP$', 'NN', ',', 'VBZ', 'RB', 'JJR', ',']),\n",
       " (['after', 'an', 'interval', ',', 'his', 'instrument', ','],\n",
       "  ['IN', 'DT', 'NN', ',', 'PRP$', 'NN', ',']),\n",
       " (['and', 'tries', 'once', 'twice', 'and', 'thrice', 'if', 'i', 'be', 'there'],\n",
       "  ['CC', 'NNS', 'RB', 'RB', 'CC', 'VB', 'IN', 'JJ', 'VB', 'EX']),\n",
       " (['and', 'on', 'the', 'worn', 'book', 'of', 'old', 'golden', 'song'],\n",
       "  ['CC', 'IN', 'DT', 'JJ', 'NN', 'IN', 'JJ', 'JJ', 'NN']),\n",
       " (['i',\n",
       "   'brought',\n",
       "   'not',\n",
       "   'here',\n",
       "   'to',\n",
       "   'read',\n",
       "   ',',\n",
       "   'it',\n",
       "   'seems',\n",
       "   ',',\n",
       "   'but',\n",
       "   'hold'],\n",
       "  ['NN', 'VBD', 'RB', 'RB', 'TO', 'VB', ',', 'PRP', 'VBZ', ',', 'CC', 'VBP']),\n",
       " (['EOS'], ['NN']),\n",
       " (['and', 'freshen', 'in', 'this', 'air', 'of', 'withering', 'sweetness'],\n",
       "  ['CC', 'NN', 'IN', 'DT', 'NN', 'IN', 'VBG', 'NN']),\n",
       " (['but', 'on', 'the', 'memory', 'of', 'one', 'absent', 'most', ','],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'IN', 'CD', 'NN', 'RBS', ',']),\n",
       " (['for',\n",
       "   'whom',\n",
       "   'these',\n",
       "   'lines',\n",
       "   'when',\n",
       "   'they',\n",
       "   'shall',\n",
       "   'greet',\n",
       "   'her',\n",
       "   'eye'],\n",
       "  ['IN', 'WP', 'DT', 'NNS', 'WRB', 'PRP', 'MD', 'VB', 'PRP$', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['in', 'neglect'], ['IN', 'NN']),\n",
       " (['EOS', 'hey', 'leave', 'us', 'so', 'to', 'the', 'way', 'we', 'took', ','],\n",
       "  ['NNP', 'NN', 'VBP', 'PRP', 'RB', 'TO', 'DT', 'NN', 'PRP', 'VBD', ',']),\n",
       " (['as', 'two', 'in', 'whom', 'they', 'were', 'proved', 'mistaken'],\n",
       "  ['IN', 'CD', 'IN', 'WP', 'PRP', 'VBD', 'VBN', 'NNS']),\n",
       " (['that', 'we', 'sit', 'sometimes', 'in', 'the', 'wayside', 'nook', ','],\n",
       "  ['IN', 'PRP', 'VBP', 'RB', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['with', 'mischievous', 'vagrant', ',', 'seraphic', 'look', ','],\n",
       "  ['IN', 'JJ', 'NN', ',', 'JJ', 'NN', ',']),\n",
       " (['and', 'try', 'if', 'we', 'cannot', 'feel', 'forsaken'],\n",
       "  ['CC', 'VB', 'IN', 'PRP', 'VBP', 'VB', 'JJ']),\n",
       " (['EOS'], ['NN']),\n",
       " (['the', 'vantage', 'point'], ['DT', 'NN', 'NN']),\n",
       " (['if', 'tired', 'of', 'trees', 'i', 'seek', 'again', 'mankind', ','],\n",
       "  ['IN', 'VBN', 'IN', 'NNS', 'VBP', 'VBP', 'RB', 'NN', ',']),\n",
       " (['well', 'i', 'know', 'where', 'to', 'hie', 'me', 'in', 'the', 'dawn', ','],\n",
       "  ['RB', 'RB', 'VBP', 'WRB', 'TO', 'VB', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['to', 'a', 'slope', 'where', 'the', 'cattle', 'keep', 'the', 'lawn'],\n",
       "  ['TO', 'DT', 'NN', 'WRB', 'DT', 'NNS', 'VB', 'DT', 'NN']),\n",
       " (['there', 'amid', 'lolling', 'juniper', 'reclined', ','],\n",
       "  ['RB', 'IN', 'VBG', 'NN', 'VBD', ',']),\n",
       " (['myself', 'unseen', ',', 'i', 'see', 'in', 'white', 'defined', 'fc'],\n",
       "  ['PRP', 'JJ', ',', 'JJ', 'VBP', 'IN', 'JJ', 'VBD', 'NN']),\n",
       " (['far',\n",
       "   'off',\n",
       "   'the',\n",
       "   'homes',\n",
       "   'of',\n",
       "   'men',\n",
       "   ',',\n",
       "   'and',\n",
       "   'farther',\n",
       "   'still',\n",
       "   ','],\n",
       "  ['RB', 'IN', 'DT', 'NNS', 'IN', 'NNS', ',', 'CC', 'RB', 'RB', ',']),\n",
       " (['the', 'graves', 'of', 'men', 'on', 'an', 'opposing', 'hill', ','],\n",
       "  ['DT', 'NNS', 'IN', 'NNS', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['living', 'or', 'dead', ',', 'whichever', 'are', 'to', 'mind'],\n",
       "  ['NN', 'CC', 'JJ', ',', 'WDT', 'VBP', 'TO', 'VB']),\n",
       " (['and', 'if', 'by', 'noon', 'i', 'have', 'too', 'much', 'of', 'these', ','],\n",
       "  ['CC', 'IN', 'IN', 'NN', 'NNS', 'VBP', 'RB', 'JJ', 'IN', 'DT', ',']),\n",
       " (['i', 'have', 'but', 'to', 'turn', 'on', 'my', 'arm', ',', 'and', 'lo', ','],\n",
       "  ['NNS', 'VBP', 'CC', 'TO', 'VB', 'IN', 'PRP$', 'NN', ',', 'CC', 'NN', ',']),\n",
       " (['the', 'sun', 'burned', 'hillside', 'sets', 'my', 'face', 'aglow', ','],\n",
       "  ['DT', 'NN', 'VBD', 'JJ', 'NNS', 'PRP$', 'NN', 'NN', ',']),\n",
       " (['my', 'breathing', 'shakes', 'the', 'bluet', 'like', 'a', 'breeze', ','],\n",
       "  ['PRP$', 'NN', 'VBZ', 'DT', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['i',\n",
       "   'smell',\n",
       "   'the',\n",
       "   'earth',\n",
       "   ',',\n",
       "   'i',\n",
       "   'smell',\n",
       "   'the',\n",
       "   'bruised',\n",
       "   'plant',\n",
       "   ','],\n",
       "  ['NN', 'VBP', 'DT', 'NN', ',', 'NN', 'VBP', 'DT', 'JJ', 'NN', ',']),\n",
       " (['i', 'look', 'into', 'the', 'crater', 'of', 'the', 'ant'],\n",
       "  ['JJ', 'VBP', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['mowing'], ['VBG']),\n",
       " (['EOS',\n",
       "   'here',\n",
       "   'was',\n",
       "   'never',\n",
       "   'a',\n",
       "   'sound',\n",
       "   'beside',\n",
       "   'the',\n",
       "   'wood',\n",
       "   'but',\n",
       "   'one',\n",
       "   ','],\n",
       "  ['NNP', 'RB', 'VBD', 'RB', 'DT', 'NN', 'IN', 'DT', 'NN', 'CC', 'CD', ',']),\n",
       " (['and', 'that', 'was', 'my', 'long', 'scythe', 'whispering', 'to', 'the'],\n",
       "  ['CC', 'DT', 'VBD', 'PRP$', 'JJ', 'NN', 'NN', 'TO', 'DT']),\n",
       " (['ground'], ['NN']),\n",
       " (['what',\n",
       "   'was',\n",
       "   'it',\n",
       "   'it',\n",
       "   'whispered',\n",
       "   '?',\n",
       "   'i',\n",
       "   'knew',\n",
       "   'not',\n",
       "   'well',\n",
       "   'myself'],\n",
       "  ['WDT', 'VBD', 'PRP', 'PRP', 'VBD', '.', 'VB', 'VBD', 'RB', 'RB', 'PRP']),\n",
       " (['perhaps',\n",
       "   'it',\n",
       "   'was',\n",
       "   'something',\n",
       "   'about',\n",
       "   'the',\n",
       "   'heat',\n",
       "   'of',\n",
       "   'the',\n",
       "   'sun',\n",
       "   ','],\n",
       "  ['RB', 'PRP', 'VBD', 'NN', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['something', ',', 'perhaps', ',', 'about', 'the', 'lack', 'of', 'sound'],\n",
       "  ['NN', ',', 'RB', ',', 'IN', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['and',\n",
       "   'that',\n",
       "   'was',\n",
       "   'why',\n",
       "   'it',\n",
       "   'whispered',\n",
       "   'and',\n",
       "   'did',\n",
       "   'not',\n",
       "   'speak'],\n",
       "  ['CC', 'DT', 'VBD', 'WRB', 'PRP', 'VBD', 'CC', 'VBD', 'RB', 'VB']),\n",
       " (['it',\n",
       "   'was',\n",
       "   'no',\n",
       "   'dream',\n",
       "   'of',\n",
       "   'the',\n",
       "   'gift',\n",
       "   'of',\n",
       "   'idle',\n",
       "   'hours',\n",
       "   ','],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'IN', 'DT', 'NN', 'IN', 'JJ', 'NNS', ',']),\n",
       " (['or', 'easy', 'gold', 'at', 'the', 'hand', 'of', 'fay', 'or', 'elf'],\n",
       "  ['CC', 'JJ', 'NN', 'IN', 'DT', 'NN', 'IN', 'NN', 'CC', 'NN']),\n",
       " (['anything', 'more', 'than', 'the', 'truth', 'would', 'have', 'seemed'],\n",
       "  ['NN', 'JJR', 'IN', 'DT', 'NN', 'MD', 'VB', 'VBN']),\n",
       " (['too', 'weak'], ['RB', 'JJ']),\n",
       " (['to',\n",
       "   'the',\n",
       "   'earnest',\n",
       "   'love',\n",
       "   'that',\n",
       "   'laid',\n",
       "   'the',\n",
       "   'swale',\n",
       "   'in',\n",
       "   'rows',\n",
       "   ','],\n",
       "  ['TO', 'DT', 'JJS', 'NN', 'WDT', 'VBD', 'DT', 'NN', 'IN', 'NNS', ',']),\n",
       " (['not', 'without', 'feeble', 'pointed', 'spikes', 'of', 'flowers'],\n",
       "  ['RB', 'IN', 'JJ', 'JJ', 'NNS', 'IN', 'NNS']),\n",
       " (['\\\\(',\n",
       "   'pale',\n",
       "   'orchises',\n",
       "   '\\\\)',\n",
       "   ',',\n",
       "   'and',\n",
       "   'scared',\n",
       "   'a',\n",
       "   'bright',\n",
       "   'green',\n",
       "   'snake'],\n",
       "  ['JJ', 'NN', 'NNS', 'VBP', ',', 'CC', 'VBD', 'DT', 'JJ', 'JJ', 'NN']),\n",
       " (['the', 'fact', 'is', 'the', 'sweetest', 'dream', 'that', 'labor', 'knows'],\n",
       "  ['DT', 'NN', 'VBZ', 'DT', 'JJ', 'NN', 'IN', 'NN', 'NNS']),\n",
       " (['my',\n",
       "   'long',\n",
       "   'scythe',\n",
       "   'whispered',\n",
       "   'and',\n",
       "   'left',\n",
       "   'the',\n",
       "   'hay',\n",
       "   'to',\n",
       "   'make'],\n",
       "  ['PRP$', 'JJ', 'NN', 'VBN', 'CC', 'VBD', 'DT', 'NN', 'TO', 'VB']),\n",
       " (['EOS'], ['NN']),\n",
       " (['going', 'for', 'water'], ['VBG', 'IN', 'NN']),\n",
       " (['EOS', 'he', 'well', 'was', 'dry', 'beside', 'the', 'door', ','],\n",
       "  ['NN', 'PRP', 'RB', 'VBD', 'JJ', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'so', 'we', 'went', 'with', 'pail', 'and', 'can'],\n",
       "  ['CC', 'RB', 'PRP', 'VBD', 'IN', 'NN', 'CC', 'MD']),\n",
       " (['across', 'the', 'fields', 'behind', 'the', 'house'],\n",
       "  ['IN', 'DT', 'NNS', 'IN', 'DT', 'NN']),\n",
       " (['to', 'seek', 'the', 'brook', 'if', 'still', 'it', 'ran'],\n",
       "  ['TO', 'VB', 'DT', 'NN', 'IN', 'RB', 'PRP', 'VBD']),\n",
       " (['not', 'loth', 'to', 'have', 'excuse', 'to', 'go', ','],\n",
       "  ['RB', 'DT', 'TO', 'VB', 'NN', 'TO', 'VB', ',']),\n",
       " (['because', 'the', 'autumn', 'eve', 'was', 'fair'],\n",
       "  ['IN', 'DT', 'NN', 'NN', 'VBD', 'JJ']),\n",
       " (['\\\\(',\n",
       "   'though',\n",
       "   'chill',\n",
       "   '\\\\)',\n",
       "   ',',\n",
       "   'because',\n",
       "   'the',\n",
       "   'fields',\n",
       "   'were',\n",
       "   'ours',\n",
       "   ','],\n",
       "  ['SYM', 'IN', 'JJ', 'NNP', ',', 'IN', 'DT', 'NNS', 'VBD', 'NNS', ',']),\n",
       " (['and', 'by', 'the', 'brook', 'our', 'woods', 'were', 'there'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'PRP$', 'NNS', 'VBD', 'RB']),\n",
       " (['we', 'ran', 'as', 'if', 'to', 'meet', 'the', 'moon'],\n",
       "  ['PRP', 'VBD', 'IN', 'IN', 'TO', 'VB', 'DT', 'NN']),\n",
       " (['that', 'slowly', 'dawned', 'behind', 'the', 'trees', ','],\n",
       "  ['DT', 'NN', 'VBD', 'IN', 'DT', 'NNS', ',']),\n",
       " (['the', 'barren', 'boughs', 'without', 'the', 'leaves', ','],\n",
       "  ['DT', 'NN', 'VBZ', 'IN', 'DT', 'NNS', ',']),\n",
       " (['without', 'the', 'birds', ',', 'without', 'the', 'breeze'],\n",
       "  ['IN', 'DT', 'NNS', ',', 'IN', 'DT', 'NN']),\n",
       " (['but', 'once', 'within', 'the', 'wood', ',', 'we', 'paused'],\n",
       "  ['CC', 'RB', 'IN', 'DT', 'NN', ',', 'PRP', 'VBD']),\n",
       " (['like', 'gnomes', 'that', 'hid', 'us', 'from', 'the', 'moon', ','],\n",
       "  ['IN', 'NNS', 'WDT', 'VBP', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['ready', 'to', 'run', 'to', 'hiding', 'new'],\n",
       "  ['JJ', 'TO', 'VB', 'TO', 'VBG', 'JJ']),\n",
       " (['with', 'laughter', 'when', 'she', 'found', 'us', 'soon'],\n",
       "  ['IN', 'NN', 'WRB', 'PRP', 'VBD', 'PRP', 'RB']),\n",
       " (['each', 'laid', 'on', 'other', 'a', 'staying', 'hand'],\n",
       "  ['DT', 'NN', 'IN', 'JJ', 'DT', 'JJ', 'NN']),\n",
       " (['to', 'listen', 'ere', 'we', 'dared', 'to', 'look', ','],\n",
       "  ['TO', 'VB', 'RB', 'PRP', 'VBD', 'TO', 'VB', ',']),\n",
       " (['and', 'in', 'the', 'hush', 'we', 'joined', 'to', 'make'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'PRP', 'VBD', 'TO', 'VB']),\n",
       " (['we', 'heard', ',', 'we', 'knew', 'we', 'heard', 'the', 'brook'],\n",
       "  ['PRP', 'VBD', ',', 'PRP', 'VBD', 'PRP', 'VBD', 'DT', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['a', 'note', 'as', 'from', 'a', 'single', 'place', ','],\n",
       "  ['DT', 'NN', 'IN', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['a', 'slender', 'tinkling', 'fall', 'that', 'made'],\n",
       "  ['DT', 'NN', 'VBG', 'NN', 'IN', 'VBD']),\n",
       " (['now', 'drops', 'that', 'floated', 'on', 'the', 'pool'],\n",
       "  ['RB', 'VBZ', 'IN', 'VBN', 'IN', 'DT', 'NN']),\n",
       " (['like', 'pearls', ',', 'and', 'now', 'a', 'silver', 'blade'],\n",
       "  ['IN', 'NNS', ',', 'CC', 'RB', 'DT', 'NN', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['revelation'], ['NN']),\n",
       " (['ve', 'make', 'ourselves', 'a', 'place', 'apart'],\n",
       "  ['NNS', 'VBP', 'VBZ', 'DT', 'NN', 'NN']),\n",
       " (['behind', 'light', 'words', 'that', 'tease', 'and', 'flout', ','],\n",
       "  ['IN', 'JJ', 'NNS', 'WDT', 'NN', 'CC', 'NN', ',']),\n",
       " (['but', 'oh', ',', 'the', 'agitated', 'heart'],\n",
       "  ['CC', 'UH', ',', 'DT', 'JJ', 'NN']),\n",
       " (['till', 'someone', 'find', 'us', 'really', 'out'],\n",
       "  ['NN', 'NN', 'VBP', 'PRP', 'RB', 'RP']),\n",
       " (['tis', 'pity', 'if', 'the', 'case', 'require'],\n",
       "  ['NN', 'NN', 'IN', 'DT', 'NN', 'VB']),\n",
       " (['\\\\(', 'or', 'so', 'we', 'say', '\\\\)', 'that', 'in', 'the', 'end'],\n",
       "  ['NN', 'CC', 'IN', 'PRP', 'VBP', 'SYM', 'IN', 'IN', 'DT', 'NN']),\n",
       " (['we', 'speak', 'the', 'literal', 'to', 'inspire'],\n",
       "  ['PRP', 'VBP', 'DT', 'JJ', 'TO', 'VB']),\n",
       " (['the', 'understanding', 'of', 'a', 'friend'],\n",
       "  ['DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['but', 'so', 'with', 'all', ',', 'from', 'babes', 'that', 'play'],\n",
       "  ['CC', 'RB', 'IN', 'DT', ',', 'IN', 'NNS', 'WDT', 'VBP']),\n",
       " (['at', 'hide', 'and', 'seek', 'to', 'god', 'afar', ','],\n",
       "  ['IN', 'NN', 'CC', 'NN', 'TO', 'VB', 'NN', ',']),\n",
       " (['so', 'all', 'who', 'hide', 'too', 'well', 'away'],\n",
       "  ['RB', 'DT', 'WP', 'VBP', 'RB', 'RB', 'RB']),\n",
       " (['must', 'speak', 'and', 'tell', 'us', 'where', 'they', 'are'],\n",
       "  ['MD', 'VB', 'CC', 'VB', 'PRP', 'WRB', 'PRP', 'VBP']),\n",
       " (['the', 'tuft', 'of', 'flowers'], ['DT', 'NN', 'IN', 'NNS']),\n",
       " (['EOS', 'went', 'to', 'turn', 'the', 'grass', 'once', 'after', 'one'],\n",
       "  ['NNP', 'VBD', 'TO', 'VB', 'DT', 'NN', 'RB', 'IN', 'CD']),\n",
       " (['who', 'mowed', 'it', 'in', 'the', 'dew', 'before', 'the', 'sun'],\n",
       "  ['WP', 'VBD', 'PRP', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['the', 'dew', 'was', 'gone', 'that', 'made', 'his', 'blade', 'so', 'keen'],\n",
       "  ['DT', 'NN', 'VBD', 'VBN', 'IN', 'VBD', 'PRP$', 'NN', 'RB', 'JJ']),\n",
       " (['before', 'i', 'came', 'to', 'view', 'the', 'levelled', 'scene'],\n",
       "  ['IN', 'NNS', 'VBD', 'TO', 'VB', 'DT', 'JJ', 'NN']),\n",
       " (['f', 'looked', 'for', 'him', 'behind', 'an', 'isle', 'of', 'trees'],\n",
       "  ['NN', 'VBD', 'IN', 'PRP', 'IN', 'DT', 'NN', 'IN', 'NNS']),\n",
       " (['i', 'listened', 'for', 'his', 'whetstone', 'on', 'the', 'breeze'],\n",
       "  ['NN', 'VBD', 'IN', 'PRP$', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['but',\n",
       "   'he',\n",
       "   'had',\n",
       "   'gone',\n",
       "   'his',\n",
       "   'way',\n",
       "   ',',\n",
       "   'the',\n",
       "   'grass',\n",
       "   'all',\n",
       "   'mown',\n",
       "   ','],\n",
       "  ['CC', 'PRP', 'VBD', 'VBN', 'PRP$', 'NN', ',', 'DT', 'NN', 'DT', 'NN', ',']),\n",
       " (['and',\n",
       "   'i',\n",
       "   'must',\n",
       "   'be',\n",
       "   ',',\n",
       "   'as',\n",
       "   'he',\n",
       "   'had',\n",
       "   'been',\n",
       "   ',',\n",
       "   'alone',\n",
       "   ','],\n",
       "  ['CC', 'VB', 'MD', 'VB', ',', 'IN', 'PRP', 'VBD', 'VBN', ',', 'RB', ',']),\n",
       " (['as', 'all', 'must', 'be', 'i', 'said', 'within', 'my', 'heart', ','],\n",
       "  ['IN', 'DT', 'MD', 'VB', 'VBN', 'VBD', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['whether', 'they', 'work', 'together', 'or', 'apart'],\n",
       "  ['IN', 'PRP', 'VBP', 'RB', 'CC', 'VB']),\n",
       " (['but',\n",
       "   'as',\n",
       "   'i',\n",
       "   'said',\n",
       "   'it',\n",
       "   ',',\n",
       "   'swift',\n",
       "   'there',\n",
       "   'passed',\n",
       "   'me',\n",
       "   'by'],\n",
       "  ['CC', 'IN', 'NN', 'VBD', 'PRP', ',', 'VB', 'RB', 'VBN', 'PRP', 'IN']),\n",
       " (['on', 'noiseless', 'wing', 'a', 'bewildered', 'butterfly', ','],\n",
       "  ['IN', 'JJ', 'VBG', 'DT', 'JJ', 'NN', ',']),\n",
       " (['seeking', 'with', 'memories', 'grown', 'dim', 'oer', 'night'],\n",
       "  ['VBG', 'IN', 'NNS', 'VBN', 'RB', 'JJ', 'NN']),\n",
       " (['some', 'resting', 'flower', 'of', 'yesterdays', 'dekght'],\n",
       "  ['DT', 'VBG', 'NN', 'IN', 'NNS', 'NN']),\n",
       " (['and',\n",
       "   'once',\n",
       "   'i',\n",
       "   'marked',\n",
       "   'his',\n",
       "   'flight',\n",
       "   'go',\n",
       "   'round',\n",
       "   'and',\n",
       "   'round',\n",
       "   ','],\n",
       "  ['CC', 'RB', 'JJ', 'VBD', 'PRP$', 'NN', 'VBP', 'NN', 'CC', 'NN', ',']),\n",
       " (['as',\n",
       "   'where',\n",
       "   'some',\n",
       "   'flower',\n",
       "   'lay',\n",
       "   'withering',\n",
       "   'on',\n",
       "   'the',\n",
       "   'ground',\n",
       "   ','],\n",
       "  ['IN', 'WRB', 'DT', 'NN', 'VBD', 'VBG', 'IN', 'DT', 'NN', ',']),\n",
       " (['i'], ['NN']),\n",
       " (['and', 'then', 'he', 'flew', 'as', 'far', 'as', 'eye', 'could', 'see', ','],\n",
       "  ['CC', 'RB', 'PRP', 'VBD', 'RB', 'RB', 'IN', 'NN', 'MD', 'VB', ',']),\n",
       " (['and', 'then', 'on', 'tremulous', 'wing', 'came', 'back', 'to', 'me'],\n",
       "  ['CC', 'RB', 'IN', 'JJ', 'NN', 'VBD', 'RB', 'TO', 'PRP']),\n",
       " (['i', 'thought', 'of', 'questions', 'that', 'have', 'no', 'reply', ','],\n",
       "  ['JJ', 'NN', 'IN', 'NNS', 'WDT', 'VBP', 'DT', 'NN', ',']),\n",
       " (['and',\n",
       "   'would',\n",
       "   'have',\n",
       "   'turned',\n",
       "   'to',\n",
       "   'toss',\n",
       "   'the',\n",
       "   'grass',\n",
       "   'to',\n",
       "   'dry'],\n",
       "  ['CC', 'MD', 'VB', 'VBN', 'TO', 'VB', 'DT', 'NN', 'TO', 'VB']),\n",
       " (['but',\n",
       "   'he',\n",
       "   'turned',\n",
       "   'first',\n",
       "   ',',\n",
       "   'and',\n",
       "   'led',\n",
       "   'my',\n",
       "   'eye',\n",
       "   'to',\n",
       "   'look'],\n",
       "  ['CC', 'PRP', 'VBD', 'RB', ',', 'CC', 'VBD', 'PRP$', 'NN', 'TO', 'VB']),\n",
       " (['at', 'a', 'tall', 'tuft', 'of', 'flowers', 'beside', 'a', 'brook', ','],\n",
       "  ['IN', 'DT', 'JJ', 'NN', 'IN', 'NNS', 'VBP', 'DT', 'NN', ',']),\n",
       " (['a', 'leaping', 'tongue', 'of', 'bloom', 'the', 'scythe', 'had', 'spared'],\n",
       "  ['DT', 'JJ', 'NN', 'IN', 'NN', 'DT', 'NN', 'VBD', 'VBN']),\n",
       " (['beside', 'a', 'reedy', 'brook', 'the', 'scythe', 'had', 'bared'],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'DT', 'NN', 'VBD', 'VBN']),\n",
       " (['i',\n",
       "   'left',\n",
       "   'my',\n",
       "   'place',\n",
       "   'to',\n",
       "   'know',\n",
       "   'them',\n",
       "   'by',\n",
       "   'their',\n",
       "   'name',\n",
       "   ','],\n",
       "  ['NN', 'VBD', 'PRP$', 'NN', 'TO', 'VB', 'PRP', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['finding', 'them', 'butterfly', 'weed', 'when', 'i', 'came'],\n",
       "  ['VBG', 'PRP', 'VBP', 'VBD', 'WRB', 'NN', 'VBD']),\n",
       " (['the', 'mower', 'in', 'the', 'dew', 'had', 'loved', 'them', 'thus', ','],\n",
       "  ['DT', 'NN', 'IN', 'DT', 'NN', 'VBD', 'VBN', 'PRP', 'RB', ',']),\n",
       " (['by', 'leaving', 'them', 'to', 'flourish', ',', 'not', 'for', 'us', ','],\n",
       "  ['IN', 'VBG', 'PRP', 'TO', 'VB', ',', 'RB', 'IN', 'PRP', ',']),\n",
       " (['nor',\n",
       "   'yet',\n",
       "   'to',\n",
       "   'draw',\n",
       "   'one',\n",
       "   'thought',\n",
       "   'of',\n",
       "   'ours',\n",
       "   'to',\n",
       "   'him',\n",
       "   ','],\n",
       "  ['CC', 'RB', 'TO', 'VB', 'CD', 'NN', 'IN', 'NNS', 'TO', 'PRP', ',']),\n",
       " (['but', 'from', 'sheer', 'morning', 'gladness', 'at', 'the', 'brim'],\n",
       "  ['CC', 'IN', 'NN', 'NN', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['the', 'butterfly', 'and', 'i', 'had', 'lit', 'upon', ','],\n",
       "  ['DT', 'NN', 'CC', 'NN', 'VBD', 'VBN', 'IN', ',']),\n",
       " (['nevertheless', ',', 'a', 'message', 'from', 'the', 'dawn', ','],\n",
       "  ['RB', ',', 'DT', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['that', 'made', 'me', 'hear', 'the', 'wakening', 'birds', 'around', ','],\n",
       "  ['IN', 'VBD', 'PRP', 'VB', 'DT', 'NN', 'NNS', 'IN', ',']),\n",
       " (['and',\n",
       "   'hear',\n",
       "   'his',\n",
       "   'long',\n",
       "   'scythe',\n",
       "   'whispering',\n",
       "   'to',\n",
       "   'the',\n",
       "   'ground',\n",
       "   ','],\n",
       "  ['CC', 'VB', 'PRP$', 'JJ', 'NN', 'NN', 'TO', 'DT', 'NN', ',']),\n",
       " (['and', 'feel', 'a', 'spirit', 'kindred', 'to', 'my', 'own'],\n",
       "  ['CC', 'VB', 'DT', 'NN', 'VBN', 'TO', 'PRP$', 'JJ']),\n",
       " (['so', 'that', 'henceforth', 'i', 'worked', 'no', 'more', 'alone'],\n",
       "  ['RB', 'IN', 'NN', 'NN', 'VBD', 'DT', 'RBR', 'RB']),\n",
       " (['but',\n",
       "   'glad',\n",
       "   'with',\n",
       "   'him',\n",
       "   ',',\n",
       "   'i',\n",
       "   'worked',\n",
       "   'as',\n",
       "   'with',\n",
       "   'his',\n",
       "   'aid',\n",
       "   ','],\n",
       "  ['CC', 'JJ', 'IN', 'PRP', ',', 'RB', 'VBD', 'IN', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['and', 'weary', ',', 'sought', 'at', 'noon', 'with', 'him', 'the', 'shade'],\n",
       "  ['CC', 'JJ', ',', 'VBD', 'IN', 'NN', 'IN', 'PRP', 'DT', 'NN']),\n",
       " (['and',\n",
       "   'dreaming',\n",
       "   ',',\n",
       "   'as',\n",
       "   'it',\n",
       "   'were',\n",
       "   ',',\n",
       "   'held',\n",
       "   'brotherly',\n",
       "   'speech'],\n",
       "  ['CC', 'NN', ',', 'IN', 'PRP', 'VBD', ',', 'VBD', 'RB', 'NN']),\n",
       " (['with',\n",
       "   'one',\n",
       "   'whose',\n",
       "   'thought',\n",
       "   'i',\n",
       "   'had',\n",
       "   'not',\n",
       "   'hoped',\n",
       "   'to',\n",
       "   'reach'],\n",
       "  ['IN', 'CD', 'WP$', 'NN', 'NN', 'VBD', 'RB', 'VBN', 'TO', 'VB']),\n",
       " (['v',\n",
       "   'men',\n",
       "   'work',\n",
       "   'together',\n",
       "   'i',\n",
       "   'told',\n",
       "   'him',\n",
       "   'from',\n",
       "   'the',\n",
       "   'heart',\n",
       "   ','],\n",
       "  ['NNS', 'NNS', 'VBP', 'RB', 'JJ', 'VBD', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['whether', 'they', 'work', 'together', 'or', 'apart'],\n",
       "  ['IN', 'PRP', 'VBP', 'RB', 'CC', 'VB']),\n",
       " (['EOS'], ['NN']),\n",
       " (['the', 'demiurges', 'laugh'], ['DT', 'NNS', 'IN']),\n",
       " (['it', 'was', 'far', 'in', 'the', 'sameness', 'of', 'the', 'wood'],\n",
       "  ['PRP', 'VBD', 'RB', 'IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['i', 'was', 'running', 'with', 'joy', 'on', 'the', 'demons', 'trail', ','],\n",
       "  ['NN', 'VBD', 'VBG', 'IN', 'NN', 'IN', 'DT', 'NNS', 'NN', ',']),\n",
       " (['though', 'i', 'knew', 'what', 'i', 'hunted', 'was', 'no', 'true', 'god'],\n",
       "  ['IN', 'JJ', 'VBD', 'WP', 'NN', 'VBD', 'VBD', 'DT', 'JJ', 'NN']),\n",
       " (['it',\n",
       "   'was',\n",
       "   'just',\n",
       "   'as',\n",
       "   'the',\n",
       "   'light',\n",
       "   'was',\n",
       "   'beginning',\n",
       "   'to',\n",
       "   'fail'],\n",
       "  ['PRP', 'VBD', 'RB', 'IN', 'DT', 'NN', 'VBD', 'VBG', 'TO', 'VB']),\n",
       " (['that', 'i', 'suddenly', 'heard', 'all', 'i', 'needed', 'to', 'hear'],\n",
       "  ['IN', 'VBZ', 'RB', 'VBP', 'DT', 'NN', 'VBD', 'TO', 'VB']),\n",
       " (['it', 'has', 'lasted', 'me', 'many', 'and', 'many', 'a', 'year'],\n",
       "  ['PRP', 'VBZ', 'VBN', 'PRP', 'JJ', 'CC', 'JJ', 'DT', 'NN']),\n",
       " (['the', 'sound', 'was', 'behind', 'me', 'instead', 'of', 'before', ','],\n",
       "  ['DT', 'NN', 'VBD', 'IN', 'PRP', 'RB', 'IN', 'RB', ',']),\n",
       " (['a', 'sleepy', 'sound', ',', 'but', 'mocking', 'half', ','],\n",
       "  ['DT', 'NN', 'NN', ',', 'CC', 'VBG', 'NN', ',']),\n",
       " (['as', 'of', 'one', 'who', 'utterly', 'couldnt', 'care'],\n",
       "  ['IN', 'IN', 'CD', 'WP', 'RB', 'VBP', 'NN']),\n",
       " (['the', 'demon', 'arose', 'from', 'his', 'wallow', 'to', 'laugh', ','],\n",
       "  ['DT', 'NN', 'VBD', 'IN', 'PRP$', 'NN', 'TO', 'NN', ',']),\n",
       " (['brushing', 'the', 'dirt', 'from', 'his', 'eye', 'as', 'he', 'went'],\n",
       "  ['VBG', 'DT', 'NN', 'IN', 'PRP$', 'NN', 'IN', 'PRP', 'VBD']),\n",
       " (['and', 'well', 'i', 'knew', 'what', 'the', 'demon', 'meant'],\n",
       "  ['CC', 'RB', 'VB', 'VBD', 'WP', 'DT', 'NN', 'NN']),\n",
       " (['i', 'shall', 'not', 'forget', 'how', 'his', 'laugh', 'rang', 'out'],\n",
       "  ['VB', 'MD', 'RB', 'VB', 'WRB', 'PRP$', 'NN', 'NN', 'IN']),\n",
       " (['i', 'felt', 'as', 'a', 'fool', 'to', 'have', 'been', 'so', 'caught', ','],\n",
       "  ['NN', 'VBD', 'IN', 'DT', 'NN', 'TO', 'VB', 'VBN', 'RB', 'JJ', ',']),\n",
       " (['and', 'checked', 'my', 'steps', 'to', 'make', 'pretence'],\n",
       "  ['CC', 'VB', 'PRP$', 'NNS', 'TO', 'VB', 'NN']),\n",
       " (['it', 'was', 'something', 'among', 'the', 'leaves', 'i', 'sought'],\n",
       "  ['PRP', 'VBD', 'NN', 'IN', 'DT', 'NNS', 'VBP', 'VBD']),\n",
       " (['\\\\(', 'though', 'doubtful', 'whether', 'he', 'stayed', 'to', 'see', '\\\\)'],\n",
       "  ['SYM', 'IN', 'JJ', 'IN', 'PRP', 'VBD', 'TO', 'VB', 'JJ']),\n",
       " (['thereafter', 'i', 'sat', 'me', 'against', 'a', 'tree'],\n",
       "  ['RB', 'NN', 'VBD', 'PRP', 'IN', 'DT', 'NN']),\n",
       " (['a', 'line', 'storm', 'song'], ['DT', 'NN', 'NN', 'NN']),\n",
       " (['the', 'line', 'storm', 'clouds', 'fly', 'tattered', 'and', 'swiftj'],\n",
       "  ['DT', 'NN', 'NN', 'VBP', 'NN', 'VBN', 'CC', 'VB']),\n",
       " (['the', 'road', 'is', 'forlorn', 'all', 'day', ','],\n",
       "  ['DT', 'NN', 'VBZ', 'JJ', 'DT', 'NN', ',']),\n",
       " (['vhere', 'a', 'myriad', 'snowy', 'quartz', 'stones', 'lift', ','],\n",
       "  ['RB', 'DT', 'JJ', 'NN', 'NN', 'NNS', 'NN', ',']),\n",
       " (['and', 'the', 'hoof', 'prints', 'vanish', 'away'],\n",
       "  ['CC', 'DT', 'NN', 'NNS', 'VB', 'RB']),\n",
       " (['the', 'roadside', 'flowers', ',', 'too', 'wet', 'for', 'the', 'bee', ','],\n",
       "  ['DT', 'NN', 'NNS', ',', 'RB', 'JJ', 'IN', 'DT', 'NN', ',']),\n",
       " (['expend', 'their', 'bloom', 'in', 'vain'],\n",
       "  ['VB', 'PRP$', 'NN', 'IN', 'NN']),\n",
       " (['come', 'over', 'the', 'hills', 'and', 'far', 'with', 'me', ','],\n",
       "  ['VBN', 'IN', 'DT', 'NNS', 'CC', 'RB', 'IN', 'PRP', ',']),\n",
       " (['and', 'be', 'my', 'love', 'in', 'the', 'rain'],\n",
       "  ['CC', 'VB', 'PRP$', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['the', 'birds', 'have', 'less', 'to', 'say', 'for', 'themselves'],\n",
       "  ['DT', 'NNS', 'VBP', 'JJR', 'TO', 'VB', 'IN', 'PRP']),\n",
       " (['in', 'the', 'wood', 'worlds', 'torn', 'despair'],\n",
       "  ['IN', 'DT', 'NN', 'NNS', 'VBP', 'NN']),\n",
       " (['than', 'now', 'these', 'numberless', 'years', 'the', 'elves', 'a'],\n",
       "  ['IN', 'RB', 'DT', 'JJ', 'NNS', 'DT', 'NNS', 'DT']),\n",
       " (['although', 'they', 'are', 'no', 'less', 'there'],\n",
       "  ['IN', 'PRP', 'VBP', 'DT', 'RBR', 'RB']),\n",
       " (['all', 'song', 'of', 'the', 'woods', 'is', 'crushed', 'like', 'some'],\n",
       "  ['DT', 'NN', 'IN', 'DT', 'NNS', 'VBZ', 'VBN', 'IN', 'DT']),\n",
       " (['wild', ',', 'easily', 'shattered', 'rose'],\n",
       "  ['JJ', ',', 'RB', 'VBD', 'VBD']),\n",
       " (['come',\n",
       "   ',',\n",
       "   'be',\n",
       "   'my',\n",
       "   'love',\n",
       "   'in',\n",
       "   'the',\n",
       "   'wet',\n",
       "   'woods',\n",
       "   ',',\n",
       "   'come',\n",
       "   ','],\n",
       "  ['NN', ',', 'VB', 'PRP$', 'NN', 'IN', 'DT', 'NN', 'NNS', ',', 'VB', ',']),\n",
       " (['where', 'the', 'boughs', 'rain', 'when', 'it', 'blows'],\n",
       "  ['WRB', 'DT', 'NNS', 'VBP', 'WRB', 'PRP', 'VBZ']),\n",
       " (['there', 'is', 'the', 'gale', 'to', 'urge', 'behind'],\n",
       "  ['EX', 'VBZ', 'DT', 'NN', 'TO', 'VB', 'IN']),\n",
       " (['and', 'bruit', 'our', 'singing', 'down', ','],\n",
       "  ['CC', 'VB', 'PRP$', 'VBG', 'RP', ',']),\n",
       " (['and', 'the', 'shallow', 'waters', 'aflutter', 'with', 'wind'],\n",
       "  ['CC', 'DT', 'JJ', 'NNS', 'VBP', 'IN', 'NN']),\n",
       " (['from', 'which', 'to', 'gather', 'your', 'gown'],\n",
       "  ['IN', 'WDT', 'TO', 'VB', 'PRP$', 'NN']),\n",
       " (['what', 'matter', 'if', 'we', 'go', 'clear', 'to', 'the', 'west', ','],\n",
       "  ['WP', 'NN', 'IN', 'PRP', 'VBP', 'JJ', 'TO', 'DT', 'NN', ',']),\n",
       " (['and', 'come', 'not', 'through', 'dry', 'shod', '?'],\n",
       "  ['CC', 'NN', 'RB', 'IN', 'JJ', 'NN', '.']),\n",
       " (['for', 'wilding', 'brooch', 'shall', 'wet', 'your', 'breast'],\n",
       "  ['IN', 'VBG', 'JJ', 'MD', 'VB', 'PRP$', 'NN']),\n",
       " (['the', 'rain', 'fresh', 'goldenrod'], ['DT', 'NN', 'JJ', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['oh', ',', 'never', 'this', 'whelming', 'east', 'wind', 'swells'],\n",
       "  ['UH', ',', 'RB', 'DT', 'VBG', 'JJ', 'NN', 'NNS']),\n",
       " (['but', 'it', 'seems', 'like', 'the', 'seas', 'return'],\n",
       "  ['CC', 'PRP', 'VBZ', 'IN', 'DT', 'NNS', 'VBP']),\n",
       " (['to', 'the', 'ancient', 'lands', 'where', 'it', 'left', 'the', 'shells'],\n",
       "  ['TO', 'DT', 'NN', 'VBZ', 'WRB', 'PRP', 'VBD', 'DT', 'NNS']),\n",
       " (['before', 'the', 'age', 'of', 'the', 'fern'],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['and', 'it', 'seems', 'like', 'the', 'time', 'when', 'after', 'doubt'],\n",
       "  ['CC', 'PRP', 'VBZ', 'IN', 'DT', 'NN', 'WRB', 'IN', 'NN']),\n",
       " (['our', 'love', 'came', 'back', 'amain'], ['PRP$', 'NN', 'VBD', 'RB', 'NN']),\n",
       " (['oh', ',', 'come', 'forth', 'into', 'the', 'storm', 'and', 'rout'],\n",
       "  ['UH', ',', 'VB', 'NN', 'IN', 'DT', 'NN', 'CC', 'NN']),\n",
       " (['and', 'be', 'my', 'love', 'in', 'the', 'rain'],\n",
       "  ['CC', 'VB', 'PRP$', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['october'], ['NN']),\n",
       " (['o', 'hushed', 'october', 'morning', 'mild', ','],\n",
       "  ['RB', 'VBN', 'RP', 'NN', 'NN', ',']),\n",
       " (['thy', 'leaves', 'have', 'ripened', 'to', 'the', 'fall'],\n",
       "  ['JJ', 'NNS', 'VBP', 'VBN', 'TO', 'DT', 'NN']),\n",
       " (['to', 'morrows', 'wind', ',', 'if', 'it', 'be', 'wild', ','],\n",
       "  ['TO', 'NNS', 'VB', ',', 'IN', 'PRP', 'VB', 'JJ', ',']),\n",
       " (['should', 'waste', 'them', 'all'], ['MD', 'VB', 'PRP', 'DT']),\n",
       " (['the', 'crows', 'above', 'the', 'forest', 'call'],\n",
       "  ['DT', 'NNS', 'IN', 'DT', 'JJS', 'NN']),\n",
       " (['to', 'morrow', 'they', 'may', 'form', 'and', 'go'],\n",
       "  ['TO', 'VB', 'PRP', 'MD', 'VB', 'CC', 'VB']),\n",
       " (['o', 'hushed', 'october', 'morning', 'mild', ','],\n",
       "  ['RB', 'VBN', 'RP', 'NN', 'NN', ',']),\n",
       " (['begin', 'the', 'hours', 'of', 'this', 'day', 'slow'],\n",
       "  ['VB', 'DT', 'NNS', 'IN', 'DT', 'NN', 'VB']),\n",
       " (['make', 'the', 'day', 'seem', 'to', 'us', 'less', 'brief'],\n",
       "  ['VB', 'DT', 'NN', 'VBP', 'TO', 'PRP', 'JJR', 'JJ']),\n",
       " (['hearts', 'not', 'averse', 'to', 'being', 'beguiled', ','],\n",
       "  ['NNS', 'RB', 'VB', 'TO', 'VBG', 'VBN', ',']),\n",
       " (['beguile', 'us', 'in', 'the', 'way', 'you', 'know'],\n",
       "  ['NN', 'PRP', 'IN', 'DT', 'NN', 'PRP', 'VBP']),\n",
       " (['release', 'one', 'leaf', 'at', 'break', 'of', 'day'],\n",
       "  ['NN', 'CD', 'NN', 'IN', 'NN', 'IN', 'NN']),\n",
       " (['at', 'noon', 'release', 'another', 'leaf'],\n",
       "  ['IN', 'NN', 'NN', 'DT', 'NN']),\n",
       " (['one', 'from', 'our', 'trees', ',', 'one', 'far', 'away'],\n",
       "  ['CD', 'IN', 'PRP$', 'NNS', ',', 'CD', 'RB', 'RB']),\n",
       " (['retard', 'the', 'sun', 'with', 'gentle', 'mist'],\n",
       "  ['VB', 'DT', 'NN', 'IN', 'JJ', 'NN']),\n",
       " (['enchant', 'the', 'land', 'with', 'amethyst'],\n",
       "  ['VB', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['slow', ',', 'slow', '!'], ['JJ', ',', 'JJ', '.']),\n",
       " (['for', 'the', 'grapes', 'sake', ',', 'if', 'they', 'were', 'all', ','],\n",
       "  ['IN', 'DT', 'NNS', 'VBP', ',', 'IN', 'PRP', 'VBD', 'DT', ',']),\n",
       " (['whose', 'leaves', 'already', 'are', 'burnt', 'with', 'frost', ','],\n",
       "  ['WP$', 'NNS', 'RB', 'VBP', 'JJ', 'IN', 'NN', ',']),\n",
       " (['whose', 'clustered', 'fruit', 'must', 'else', 'be', 'lost'],\n",
       "  ['WP$', 'JJ', 'NN', 'MD', 'RB', 'VB', 'VBN']),\n",
       " (['for', 'the', 'grapes', 'sake', 'along', 'the', 'wall'],\n",
       "  ['IN', 'DT', 'NNS', 'VBP', 'IN', 'DT', 'NN']),\n",
       " (['reluctance'], ['NN']),\n",
       " (['vjut', 'through', 'the', 'fields', 'and', 'the', 'woods'],\n",
       "  ['NN', 'IN', 'DT', 'NNS', 'CC', 'DT', 'NNS']),\n",
       " (['and', 'over', 'the', 'walls', 'i', 'have', 'wended'],\n",
       "  ['CC', 'IN', 'DT', 'NNS', 'VBP', 'VBP', 'VBN']),\n",
       " (['i', 'have', 'climbed', 'the', 'hills', 'of', 'view'],\n",
       "  ['NNS', 'VBP', 'VBN', 'DT', 'NNS', 'IN', 'NN']),\n",
       " (['and', 'looked', 'at', 'the', 'world', ',', 'and', 'descended'],\n",
       "  ['CC', 'VBD', 'IN', 'DT', 'NN', ',', 'CC', 'VBD']),\n",
       " (['i', 'have', 'come', 'by', 'the', 'highway', 'home', ','],\n",
       "  ['NNS', 'VBP', 'VBN', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['and', 'lo', ',', 'it', 'is', 'ended'],\n",
       "  ['CC', 'NN', ',', 'PRP', 'VBZ', 'VBN']),\n",
       " (['the', 'leaves', 'are', 'all', 'dead', 'on', 'the', 'ground', ','],\n",
       "  ['DT', 'NNS', 'VBP', 'DT', 'JJ', 'IN', 'DT', 'NN', ',']),\n",
       " (['save', 'those', 'that', 'the', 'oak', 'is', 'keeping'],\n",
       "  ['VB', 'DT', 'IN', 'DT', 'NN', 'VBZ', 'VBG']),\n",
       " (['to', 'ravel', 'them', 'one', 'by', 'one'],\n",
       "  ['TO', 'VB', 'PRP', 'CD', 'IN', 'CD']),\n",
       " (['and', 'let', 'them', 'go', 'scraping', 'and', 'creeping'],\n",
       "  ['CC', 'VB', 'PRP', 'VB', 'VBG', 'CC', 'VBG']),\n",
       " (['out', 'over', 'the', 'crusted', 'snow', ','],\n",
       "  ['IN', 'IN', 'DT', 'VBN', 'NN', ',']),\n",
       " (['vhen', 'others', 'are', 'sleeping'], ['NN', 'NNS', 'VBP', 'VBG']),\n",
       " (['and', 'the', 'dead', 'leaves', 'lie', 'huddled', 'and', 'still', ','],\n",
       "  ['CC', 'DT', 'JJ', 'VBZ', 'NN', 'VBD', 'CC', 'RB', ',']),\n",
       " (['no', 'longer', 'blown', 'hither', 'and', 'thither'],\n",
       "  ['RB', 'RB', 'VB', 'NN', 'CC', 'NN']),\n",
       " (['the', 'last', 'lone', 'aster', 'is', 'gone'],\n",
       "  ['DT', 'JJ', 'NN', 'NN', 'VBZ', 'VBN']),\n",
       " (['the', 'flowers', 'of', 'the', 'witch', 'hazel', 'wither'],\n",
       "  ['DT', 'NNS', 'IN', 'DT', 'NN', 'NN', 'NN']),\n",
       " (['the', 'heart', 'is', 'still', 'aching', 'to', 'seek', ','],\n",
       "  ['DT', 'NN', 'VBZ', 'RB', 'VBG', 'TO', 'VB', ',']),\n",
       " (['but', 'the', 'feet', 'question', 'whither', '?'],\n",
       "  ['CC', 'DT', 'NNS', 'NN', 'RB', '.']),\n",
       " (['ah', ',', 'when', 'to', 'the', 'heart', 'of', 'man'],\n",
       "  ['NN', ',', 'WRB', 'TO', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['was', 'it', 'ever', 'less', 'than', 'a', 'treason'],\n",
       "  ['VBD', 'PRP', 'RB', 'JJR', 'IN', 'DT', 'NN']),\n",
       " (['to', 'go', 'with', 'the', 'drift', 'of', 'things', ','],\n",
       "  ['TO', 'VB', 'IN', 'DT', 'NN', 'IN', 'NNS', ',']),\n",
       " (['to', 'yield', 'with', 'a', 'grace', 'to', 'reason', ','],\n",
       "  ['TO', 'VB', 'IN', 'DT', 'NN', 'TO', 'NN', ',']),\n",
       " (['and', 'bow', 'and', 'accept', 'the', 'end'],\n",
       "  ['CC', 'NN', 'CC', 'VB', 'DT', 'NN']),\n",
       " (['of', 'a', 'love', 'or', 'a', 'season', '?'],\n",
       "  ['IN', 'DT', 'NN', 'CC', 'DT', 'NN', '.']),\n",
       " (['north', 'of', 'boston'], ['NN', 'IN', 'NN']),\n",
       " (['mending', 'wall'], ['VBG', 'NN']),\n",
       " (['something', 'there', 'is', 'that', 'doesnt', 'love', 'a', 'wall', ','],\n",
       "  ['NN', 'EX', 'VBZ', 'IN', 'NN', 'VB', 'DT', 'NN', ',']),\n",
       " (['that', 'sends', 'the', 'frozen', 'ground', 'swell', 'under', 'it', ','],\n",
       "  ['DT', 'VBZ', 'DT', 'JJ', 'NN', 'NN', 'IN', 'PRP', ',']),\n",
       " (['and', 'spills', 'the', 'upper', 'boulders', 'in', 'the', 'sun'],\n",
       "  ['CC', 'VBZ', 'DT', 'JJ', 'NNS', 'IN', 'DT', 'NN']),\n",
       " (['and', 'makes', 'gaps', 'even', 'two', 'can', 'pass', 'abreast'],\n",
       "  ['CC', 'VBZ', 'NNS', 'RB', 'CD', 'MD', 'VB', 'NN']),\n",
       " (['the', 'work', 'of', 'hunters', 'is', 'another', 'thing'],\n",
       "  ['DT', 'NN', 'IN', 'NNS', 'VBZ', 'DT', 'NN']),\n",
       " (['i', 'have', 'come', 'after', 'them', 'and', 'made', 'repair'],\n",
       "  ['NNS', 'VBP', 'VBN', 'IN', 'PRP', 'CC', 'VBD', 'NN']),\n",
       " (['where',\n",
       "   'they',\n",
       "   'have',\n",
       "   'left',\n",
       "   'not',\n",
       "   'one',\n",
       "   'stone',\n",
       "   'on',\n",
       "   'a',\n",
       "   'stone',\n",
       "   ','],\n",
       "  ['WRB', 'PRP', 'VBP', 'VBN', 'RB', 'CD', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['but',\n",
       "   'they',\n",
       "   'would',\n",
       "   'have',\n",
       "   'the',\n",
       "   'rabbit',\n",
       "   'out',\n",
       "   'of',\n",
       "   'hiding',\n",
       "   ','],\n",
       "  ['CC', 'PRP', 'MD', 'VB', 'DT', 'NN', 'IN', 'IN', 'NN', ',']),\n",
       " (['to', 'please', 'the', 'yelping', 'dogs', 'the', 'gaps', 'i', 'mean', ','],\n",
       "  ['TO', 'VB', 'DT', 'VBG', 'NNS', 'DT', 'NNS', 'JJ', 'VBP', ',']),\n",
       " (['no', 'one', 'has', 'seen', 'them', 'made', 'or', 'heard', 'them', 'made'],\n",
       "  ['DT', 'NN', 'VBZ', 'VBN', 'PRP', 'VBD', 'CC', 'VB', 'PRP', 'VBN']),\n",
       " (['but', 'at', 'spring', 'mending', 'time', 'we', 'find', 'them', 'there'],\n",
       "  ['CC', 'IN', 'NN', 'NN', 'NN', 'PRP', 'VBP', 'PRP', 'EX']),\n",
       " (['i', 'let', 'my', 'neighbour', 'know', 'beyond', 'the', 'hill'],\n",
       "  ['JJ', 'VBP', 'PRP$', 'NNS', 'VBP', 'IN', 'DT', 'NN']),\n",
       " (['and', 'on', 'a', 'day', 'we', 'meet', 'to', 'walk', 'the', 'line'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'PRP', 'VBP', 'TO', 'VB', 'DT', 'NN']),\n",
       " (['and', 'set', 'the', 'wall', 'between', 'us', 'once', 'again'],\n",
       "  ['CC', 'VB', 'DT', 'NN', 'IN', 'PRP', 'RB', 'RB']),\n",
       " (['we', 'keep', 'the', 'wall', 'between', 'us', 'as', 'we', 'go'],\n",
       "  ['PRP', 'VBP', 'DT', 'NN', 'IN', 'PRP', 'IN', 'PRP', 'VBP']),\n",
       " (['to', 'each', 'the', 'boulders', 'hat', 'have', 'fallen', 'to', 'each'],\n",
       "  ['TO', 'DT', 'DT', 'NNS', 'WDT', 'VBP', 'VBN', 'TO', 'DT']),\n",
       " (['and', 'some', 'are', 'loaves', 'and', 'some', 'so', 'nearly', 'balls'],\n",
       "  ['CC', 'DT', 'VBP', 'NNS', 'CC', 'DT', 'RB', 'RB', 'NNS']),\n",
       " (['we', 'have', 'to', 'use', 'a', 'spell', 'to', 'make', 'them', 'balance'],\n",
       "  ['PRP', 'VBP', 'TO', 'VB', 'DT', 'NN', 'TO', 'VB', 'PRP', 'VB']),\n",
       " (['stay',\n",
       "   'where',\n",
       "   'you',\n",
       "   'are',\n",
       "   'until',\n",
       "   'our',\n",
       "   'backs',\n",
       "   'are',\n",
       "   'turned',\n",
       "   'y'],\n",
       "  ['VB', 'WRB', 'PRP', 'VBP', 'IN', 'PRP$', 'NNS', 'VBP', 'VBN', 'RP']),\n",
       " (['we', 'wear', 'our', 'fingers', 'rough', 'with', 'handling', 'them'],\n",
       "  ['PRP', 'VBP', 'PRP$', 'NNS', 'VBP', 'IN', 'VBG', 'PRP']),\n",
       " (['oh', ',', 'just', 'another', 'kind', 'of', 'out', 'door', 'game', ','],\n",
       "  ['UH', ',', 'RB', 'DT', 'NN', 'IN', 'IN', 'NN', 'NN', ',']),\n",
       " (['one', 'on', 'a', 'side', 'it', 'comes', 'to', 'little', 'more'],\n",
       "  ['CD', 'IN', 'DT', 'NN', 'PRP', 'VBZ', 'TO', 'VB', 'JJR']),\n",
       " (['there', 'where', 'it', 'is', 'we', 'do', 'not', 'need', 'the', 'wall'],\n",
       "  ['RB', 'WRB', 'PRP', 'VBZ', 'PRP', 'VBP', 'RB', 'VB', 'DT', 'NN']),\n",
       " (['he', 'is', 'all', 'pine', 'and', 'i', 'am', 'apple', 'orchard'],\n",
       "  ['PRP', 'VBZ', 'DT', 'NN', 'CC', 'NN', 'VBP', 'NN', 'NN']),\n",
       " (['my', 'apple', 'trees', 'will', 'never', 'get', 'across'],\n",
       "  ['PRP$', 'NN', 'NNS', 'MD', 'RB', 'VB', 'IN']),\n",
       " (['and',\n",
       "   'eat',\n",
       "   'the',\n",
       "   'cones',\n",
       "   'under',\n",
       "   'his',\n",
       "   'pines',\n",
       "   ',',\n",
       "   'i',\n",
       "   'tell',\n",
       "   'him'],\n",
       "  ['CC', 'VB', 'DT', 'NNS', 'IN', 'PRP$', 'NNS', ',', 'VBP', 'VBP', 'PRP']),\n",
       " (['he', 'only', 'says', ',', 'good', 'fences', 'make', 'good', 'neighbours'],\n",
       "  ['PRP', 'RB', 'VBZ', ',', 'JJ', 'NNS', 'VBP', 'JJ', 'NNS']),\n",
       " (['EOS'], ['NN']),\n",
       " (['spring', 'is', 'the', 'mischief', 'in', 'me', ',', 'and', 'i', 'wonder'],\n",
       "  ['NN', 'VBZ', 'DT', 'NN', 'IN', 'PRP', ',', 'CC', 'JJ', 'NN']),\n",
       " (['if', 'i', 'could', 'put', 'a', 'notion', 'in', 'his', 'head'],\n",
       "  ['IN', 'NNS', 'MD', 'VB', 'DT', 'NN', 'IN', 'PRP$', 'NN']),\n",
       " (['why', 'do', 'they', 'make', 'good', 'neighbours', '?', 'isnt', 'it'],\n",
       "  ['WRB', 'VBP', 'PRP', 'VB', 'JJ', 'NNS', '.', 'NN', 'PRP']),\n",
       " (['where',\n",
       "   'there',\n",
       "   'are',\n",
       "   'cows',\n",
       "   '?',\n",
       "   'but',\n",
       "   'here',\n",
       "   'there',\n",
       "   'are',\n",
       "   'no',\n",
       "   'cows'],\n",
       "  ['WRB', 'EX', 'VBP', 'NNS', '.', 'CC', 'RB', 'EX', 'VBP', 'DT', 'NNS']),\n",
       " (['before', 'i', 'built', 'a', 'wall', 'id', 'ask', 'to', 'know'],\n",
       "  ['IN', 'NN', 'VBP', 'DT', 'NN', 'NN', 'NN', 'TO', 'VB']),\n",
       " (['what', 'i', 'was', 'walling', 'in', 'or', 'walling', 'out', ','],\n",
       "  ['WP', 'NN', 'VBD', 'VBG', 'IN', 'CC', 'VBG', 'RP', ',']),\n",
       " (['and', 'to', 'whom', 'i', 'was', 'like', 'to', 'give', 'offence'],\n",
       "  ['CC', 'TO', 'WP', 'NN', 'VBD', 'IN', 'TO', 'VB', 'NN']),\n",
       " (['something', 'there', 'is', 'that', 'doesnt', 'love', 'a', 'wall', ','],\n",
       "  ['NN', 'EX', 'VBZ', 'IN', 'NN', 'VB', 'DT', 'NN', ',']),\n",
       " (['that',\n",
       "   'wants',\n",
       "   'it',\n",
       "   'down',\n",
       "   'i',\n",
       "   'could',\n",
       "   'say',\n",
       "   '\\\\(',\n",
       "   'eives',\n",
       "   'to',\n",
       "   'him',\n",
       "   ','],\n",
       "  ['DT', 'VBZ', 'PRP', 'RP', 'NN', 'MD', 'VB', 'JJ', 'NNS', 'TO', 'PRP', ',']),\n",
       " (['but', 'its', 'not', 'elves', 'exactly', ',', 'and', 'id', 'rather'],\n",
       "  ['CC', 'PRP$', 'RB', 'VBZ', 'RB', ',', 'CC', 'NN', 'RB']),\n",
       " (['he', 'said', 'it', 'for', 'himself', 'i', 'see', 'him', 'there'],\n",
       "  ['PRP', 'VBD', 'PRP', 'IN', 'PRP', 'JJ', 'VBP', 'PRP', 'RB']),\n",
       " (['bringing', 'a', 'stone', 'grasped', 'firmly', 'by', 'the', 'top'],\n",
       "  ['VBG', 'DT', 'NN', 'VBD', 'RB', 'IN', 'DT', 'JJ']),\n",
       " (['in', 'each', 'hand', ',', 'like', 'an', 'old', 'stone', 'savage', 'armed'],\n",
       "  ['IN', 'DT', 'NN', ',', 'IN', 'DT', 'JJ', 'NN', 'NN', 'VBD']),\n",
       " (['he', 'moves', 'in', 'darkness', 'as', 'it', 'seems', 'to', 'me', ','],\n",
       "  ['PRP', 'VBZ', 'IN', 'NN', 'IN', 'PRP', 'VBZ', 'TO', 'PRP', ',']),\n",
       " (['not', 'of', 'woods', 'only', 'and', 'the', 'shade', 'of', 'trees'],\n",
       "  ['RB', 'IN', 'NNS', 'RB', 'CC', 'DT', 'NN', 'IN', 'NNS']),\n",
       " (['he', 'will', 'not', 'go', 'behind', 'his', 'fathers', 'saying', ','],\n",
       "  ['PRP', 'MD', 'RB', 'VB', 'IN', 'PRP$', 'NNS', 'VBG', ',']),\n",
       " (['and', 'he', 'likes', 'having', 'thought', 'of', 'it', 'so', 'well'],\n",
       "  ['CC', 'PRP', 'VBZ', 'VBG', 'VBN', 'IN', 'PRP', 'RB', 'RB']),\n",
       " (['he', 'says', 'again', ',', 'good', 'fences', 'make', 'good', 'neighbours'],\n",
       "  ['PRP', 'VBZ', 'RB', ',', 'JJ', 'NNS', 'VBP', 'JJ', 'NNS']),\n",
       " (['the', 'mountain'], ['DT', 'NN']),\n",
       " (['EOS', 'he', 'mountain', 'held', 'the', 'town', 'as', 'in', 'a', 'shadow'],\n",
       "  ['NNP', 'PRP', 'VBD', 'VBD', 'DT', 'NN', 'IN', 'IN', 'DT', 'NN']),\n",
       " (['i', 'saw', 'so', 'much', 'before', 'i', 'slept', 'there', 'once'],\n",
       "  ['NN', 'VBD', 'RB', 'JJ', 'IN', 'JJ', 'VBP', 'RB', 'RB']),\n",
       " (['i', 'noticed', 'that', 'i', 'missed', 'stars', 'in', 'the', 'west', ','],\n",
       "  ['NN', 'VBD', 'IN', 'NN', 'VBD', 'NNS', 'IN', 'DT', 'NN', ',']),\n",
       " (['where', 'its', 'black', 'body', 'cut', 'into', 'the', 'sky'],\n",
       "  ['WRB', 'PRP$', 'JJ', 'NN', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['near', 'me', 'it', 'seemed', 'i', 'felt', 'it', 'like', 'a', 'wall'],\n",
       "  ['IN', 'PRP', 'PRP', 'VBD', 'JJ', 'VBD', 'PRP', 'IN', 'DT', 'NN']),\n",
       " (['behind', 'which', 'i', 'was', 'sheltered', 'from', 'a', 'wind'],\n",
       "  ['IN', 'WDT', 'NN', 'VBD', 'VBN', 'IN', 'DT', 'NN']),\n",
       " (['and', 'yet', 'between', 'the', 'town', 'and', 'it', 'i', 'found', ','],\n",
       "  ['CC', 'RB', 'IN', 'DT', 'NN', 'CC', 'PRP', 'VBZ', 'VBD', ',']),\n",
       " (['when',\n",
       "   'i',\n",
       "   'walked',\n",
       "   'forth',\n",
       "   'at',\n",
       "   'dawn',\n",
       "   'to',\n",
       "   'see',\n",
       "   'new',\n",
       "   'things',\n",
       "   ','],\n",
       "  ['WRB', 'NN', 'VBD', 'NN', 'IN', 'NN', 'TO', 'VB', 'JJ', 'NNS', ',']),\n",
       " (['were',\n",
       "   'fields',\n",
       "   ',',\n",
       "   'a',\n",
       "   'river',\n",
       "   ',',\n",
       "   'and',\n",
       "   'beyond',\n",
       "   ',',\n",
       "   'more',\n",
       "   'fields'],\n",
       "  ['VBD', 'NNS', ',', 'DT', 'NN', ',', 'CC', 'IN', ',', 'JJR', 'NNS']),\n",
       " (['the', 'river', 'at', 'the', 'time', 'was', 'fallen', 'away', ','],\n",
       "  ['DT', 'NN', 'IN', 'DT', 'NN', 'VBD', 'VBN', 'RB', ',']),\n",
       " (['and', 'made', 'a', 'widespread', 'brawl', 'EOS', 'cobble', 'stones'],\n",
       "  ['CC', 'VBD', 'DT', 'JJ', 'NN', 'NNP', 'JJ', 'NNS']),\n",
       " (['but',\n",
       "   'the',\n",
       "   'signs',\n",
       "   'showed',\n",
       "   'what',\n",
       "   'it',\n",
       "   'had',\n",
       "   'done',\n",
       "   'in',\n",
       "   'spring'],\n",
       "  ['CC', 'DT', 'NNS', 'VBD', 'WP', 'PRP', 'VBD', 'VBN', 'IN', 'NN']),\n",
       " (['good',\n",
       "   'grass',\n",
       "   'land',\n",
       "   'gullied',\n",
       "   'out',\n",
       "   ',',\n",
       "   'and',\n",
       "   'in',\n",
       "   'the',\n",
       "   'grass'],\n",
       "  ['JJ', 'NN', 'NN', 'VBN', 'IN', ',', 'CC', 'IN', 'DT', 'NN']),\n",
       " (['ridges', 'of', 'sand', ',', 'and', 'driftwood', 'stripped', 'of', 'bark'],\n",
       "  ['NNS', 'IN', 'NN', ',', 'CC', 'NN', 'NN', 'IN', 'NN']),\n",
       " (['i', 'crossed', 'the', 'river', 'and', 'swung', 'round', 'the', 'mountain'],\n",
       "  ['NN', 'VBD', 'DT', 'NN', 'CC', 'NN', 'VBP', 'DT', 'NN']),\n",
       " (['and', 'there', 'i', 'met', 'a', 'man', 'who', 'moved', 'so', 'slow'],\n",
       "  ['CC', 'EX', 'VB', 'VBD', 'DT', 'NN', 'WP', 'VBD', 'RB', 'JJ']),\n",
       " (['with', 'white', 'faced', 'oxen', 'in', 'a', 'heavy', 'cart', ','],\n",
       "  ['IN', 'JJ', 'VBN', 'NN', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['it', 'seemed', 'no', 'harm', 'to', 'stop', 'him', 'altogether'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'TO', 'VB', 'PRP', 'RB']),\n",
       " (['what', 'town', 'is', 'this', '?', 'i', 'asked'],\n",
       "  ['WP', 'NN', 'VBZ', 'DT', '.', 'NN', 'VBD']),\n",
       " (['this', '?', 'lunenburg'], ['DT', '.', 'NN']),\n",
       " (['then', 'i', 'was', 'wrong', 'the', 'town', 'of', 'my', 'sojourn', ','],\n",
       "  ['RB', 'NN', 'VBD', 'JJ', 'DT', 'NN', 'IN', 'PRP$', 'NN', ',']),\n",
       " (['beyond',\n",
       "   'the',\n",
       "   'bridge',\n",
       "   ',',\n",
       "   'was',\n",
       "   'not',\n",
       "   'that',\n",
       "   'of',\n",
       "   'the',\n",
       "   'mountain',\n",
       "   ','],\n",
       "  ['IN', 'DT', 'NN', ',', 'VBD', 'RB', 'IN', 'IN', 'DT', 'NN', ',']),\n",
       " (['but', 'only', 'felt', 'at', 'night', 'its', 'shadowy', 'presence'],\n",
       "  ['CC', 'RB', 'VBD', 'IN', 'NN', 'PRP$', 'NN', 'NN']),\n",
       " (['where', 'is', 'your', 'village', '?', 'very', 'far', 'from', 'here', '?'],\n",
       "  ['WRB', 'VBZ', 'PRP$', 'NN', '.', 'RB', 'RB', 'IN', 'RB', '.']),\n",
       " (['EOS'], ['NN']),\n",
       " (['there', 'is', 'no', 'village', 'only', 'scattered', 'farms'],\n",
       "  ['EX', 'VBZ', 'DT', 'NN', 'RB', 'VBD', 'NNS']),\n",
       " (['we', 'were', 'but', 'sixty', 'voters', 'last', 'election'],\n",
       "  ['PRP', 'VBD', 'CC', 'JJ', 'NNS', 'JJ', 'NN']),\n",
       " (['we', 'cant', 'in', 'nature', 'grow', 'to', 'many', 'more'],\n",
       "  ['PRP', 'VBP', 'IN', 'NN', 'NN', 'TO', 'JJ', 'JJR']),\n",
       " (['that',\n",
       "   'thing',\n",
       "   'takes',\n",
       "   'all',\n",
       "   'the',\n",
       "   'room',\n",
       "   '!',\n",
       "   'he',\n",
       "   'moved',\n",
       "   'his',\n",
       "   'goad'],\n",
       "  ['IN', 'NN', 'VBZ', 'PDT', 'DT', 'NN', '.', 'PRP', 'VBD', 'PRP$', 'NN']),\n",
       " (['the', 'mountain', 'stood', 'there', 'to', 'be', 'pointed', 'at'],\n",
       "  ['DT', 'NN', 'VBD', 'EX', 'TO', 'VB', 'VBN', 'IN']),\n",
       " (['asture', 'ran', 'up', 'the', 'side', 'a', 'little', 'way', ','],\n",
       "  ['NN', 'VBD', 'RP', 'DT', 'NN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['nd', 'then', 'there', 'was', 'a', 'wall', 'of', 'trees', 'with', 'trunks'],\n",
       "  ['RB', 'RB', 'EX', 'VBD', 'DT', 'NN', 'IN', 'NNS', 'IN', 'NNS']),\n",
       " (['after', 'that', 'only', 'tops', 'of', 'trees', ',', 'and', 'cliffs'],\n",
       "  ['IN', 'DT', 'JJ', 'NNS', 'IN', 'NNS', ',', 'CC', 'NNS']),\n",
       " (['imperfectly', 'concealed', 'among', 'the', 'leaves'],\n",
       "  ['RB', 'VBN', 'IN', 'DT', 'NNS']),\n",
       " (['a', 'dry', 'ravine', 'emerged', 'from', 'under', 'boughs'],\n",
       "  ['DT', 'JJ', 'NN', 'VBN', 'IN', 'IN', 'NNS']),\n",
       " (['into', 'the', 'pasture'], ['IN', 'DT', 'NN']),\n",
       " (['that', 'looks', 'like', 'a', 'path'], ['DT', 'VBZ', 'IN', 'DT', 'NN']),\n",
       " (['is',\n",
       "   'that',\n",
       "   'the',\n",
       "   'way',\n",
       "   'to',\n",
       "   'reach',\n",
       "   'the',\n",
       "   'top',\n",
       "   'from',\n",
       "   'here',\n",
       "   '?'],\n",
       "  ['VBZ', 'IN', 'DT', 'NN', 'TO', 'VB', 'DT', 'NN', 'IN', 'RB', '.']),\n",
       " (['not', 'for', 'this', 'morning', ',', 'but', 'some', 'other', 'time'],\n",
       "  ['RB', 'IN', 'DT', 'NN', ',', 'CC', 'DT', 'JJ', 'NN']),\n",
       " (['i', 'must', 'be', 'getting', 'back', 'to', 'breakfast', 'now'],\n",
       "  ['NN', 'MD', 'VB', 'VBG', 'RB', 'TO', 'NN', 'RB']),\n",
       " (['i', 'dont', 'advise', 'your', 'trying', 'from', 'this', 'side'],\n",
       "  ['NN', 'VBP', 'VB', 'PRP$', 'VBG', 'IN', 'DT', 'NN']),\n",
       " (['there', 'is', 'no', 'proper', 'path', ',', 'but', 'those', 'that', 'have'],\n",
       "  ['EX', 'VBZ', 'DT', 'JJ', 'NN', ',', 'CC', 'DT', 'WDT', 'VBP']),\n",
       " (['been',\n",
       "   'up',\n",
       "   ',',\n",
       "   'i',\n",
       "   'understand',\n",
       "   ',',\n",
       "   'have',\n",
       "   'climbed',\n",
       "   'from',\n",
       "   'ladds'],\n",
       "  ['VBN', 'RP', ',', 'JJ', 'VBP', ',', 'VBP', 'VBN', 'IN', 'NNS']),\n",
       " (['thats', 'five', 'miles', 'back', 'you', 'cant', 'mistake', 'the', 'place'],\n",
       "  ['NNS', 'CD', 'NNS', 'RB', 'PRP', 'VBP', 'VB', 'DT', 'NN']),\n",
       " (['they', 'logged', 'it', 'there', 'last', 'winter', 'some', 'way', 'up'],\n",
       "  ['PRP', 'VBD', 'PRP', 'EX', 'JJ', 'NN', 'DT', 'NN', 'RP']),\n",
       " (['td', 'take', 'you', ',', 'but', 'fm', 'bound', 'the', 'other', 'way'],\n",
       "  ['NNS', 'VBP', 'PRP', ',', 'CC', 'RB', 'IN', 'DT', 'JJ', 'NN']),\n",
       " (['youve', 'never', 'climbed', 'it', '?'], ['RB', 'RB', 'VBD', 'PRP', '.']),\n",
       " (['ive', 'been', 'on', 'the', 'sides', ','],\n",
       "  ['JJ', 'VBN', 'IN', 'DT', 'NNS', ',']),\n",
       " (['deer', 'hunting', 'and', 'trout', 'fishing', 'theres', 'a', 'brook'],\n",
       "  ['NN', 'NN', 'CC', 'NN', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['that', 'starts', 'up', 'on', 'it', 'somewhere', 'ive', 'heard', 'say'],\n",
       "  ['DT', 'VBZ', 'RP', 'IN', 'PRP', 'RB', 'JJ', 'NNS', 'VBP']),\n",
       " (['right', 'on', 'the', 'top', ',', 'tip', 'top', 'a', 'curious', 'thing'],\n",
       "  ['RB', 'IN', 'DT', 'JJ', ',', 'JJ', 'NN', 'DT', 'JJ', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['but', 'what', 'would', 'interest', 'you', 'about', 'the', 'brook', ','],\n",
       "  ['CC', 'WP', 'MD', 'NN', 'PRP', 'IN', 'DT', 'NN', ',']),\n",
       " (['its', 'always', 'cold', 'in', 'summer', ',', 'warm', 'in', 'winter'],\n",
       "  ['PRP$', 'RB', 'VBN', 'IN', 'NN', ',', 'NN', 'IN', 'NN']),\n",
       " (['one', 'of', 'the', 'great', 'sights', 'going', 'is', 'to', 'see'],\n",
       "  ['CD', 'IN', 'DT', 'JJ', 'NNS', 'VBG', 'VBZ', 'TO', 'VB']),\n",
       " (['it', 'steam', 'in', 'winter', 'like', 'an', 'oxs', 'breath', ','],\n",
       "  ['PRP', 'NN', 'IN', 'NN', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['until', 'the', 'bushes', 'all', 'along', 'its', 'banks'],\n",
       "  ['IN', 'DT', 'NNS', 'DT', 'IN', 'PRP$', 'NNS']),\n",
       " (['are',\n",
       "   'inch',\n",
       "   'deep',\n",
       "   'with',\n",
       "   'the',\n",
       "   'frosty',\n",
       "   'spines',\n",
       "   'and',\n",
       "   'bristles'],\n",
       "  ['VBP', 'JJ', 'RB', 'IN', 'DT', 'JJ', 'NNS', 'CC', 'NNS']),\n",
       " (['you',\n",
       "   'know',\n",
       "   'the',\n",
       "   'kind',\n",
       "   'then',\n",
       "   'let',\n",
       "   'the',\n",
       "   'sun',\n",
       "   'shine',\n",
       "   'on',\n",
       "   'it',\n",
       "   '!'],\n",
       "  ['PRP', 'VBP', 'DT', 'NN', 'RB', 'VBD', 'DT', 'JJ', 'NN', 'IN', 'PRP', '.']),\n",
       " (['there', 'ought', 'to', 'be', 'a', 'view', 'around', 'the', 'world'],\n",
       "  ['RB', 'MD', 'TO', 'VB', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['from', 'such', 'a', 'mountain', 'if', 'it', 'isnt', 'wooded'],\n",
       "  ['IN', 'PDT', 'DT', 'NN', 'IN', 'PRP', 'VBZ', 'VBD']),\n",
       " (['clear', 'to', 'the', 'top', 'i', 'saw', 'through', 'leafy', 'screens'],\n",
       "  ['JJ', 'TO', 'DT', 'JJ', 'NN', 'VBD', 'IN', 'NN', 'NNS']),\n",
       " (['great', 'granite', 'terraces', 'in', 'sun', 'and', 'shadow', ','],\n",
       "  ['JJ', 'JJ', 'NNS', 'IN', 'NN', 'CC', 'NN', ',']),\n",
       " (['shelves', 'one', 'could', 'rest', 'a', 'knee', 'on', 'getting', 'up'],\n",
       "  ['NNS', 'CD', 'MD', 'VB', 'DT', 'NN', 'IN', 'VBG', 'RP']),\n",
       " (['with', 'depths', 'behind', 'him', 'sheer', 'a', 'hundred', 'feet'],\n",
       "  ['IN', 'NNS', 'IN', 'PRP', 'VB', 'DT', 'CD', 'NNS']),\n",
       " (['or', 'turn', 'and', 'sit', 'on', 'and', 'look', 'out', 'and', 'down', ','],\n",
       "  ['CC', 'NN', 'CC', 'NN', 'IN', 'CC', 'VB', 'RB', 'CC', 'RB', ',']),\n",
       " (['with', 'little', 'ferns', 'in', 'crevices', 'at', 'his', 'elbow'],\n",
       "  ['IN', 'JJ', 'NNS', 'IN', 'NNS', 'IN', 'PRP$', 'NN']),\n",
       " (['as',\n",
       "   'to',\n",
       "   'that',\n",
       "   'i',\n",
       "   'cant',\n",
       "   'say',\n",
       "   'but',\n",
       "   'theres',\n",
       "   'the',\n",
       "   'spring',\n",
       "   ','],\n",
       "  ['IN', 'TO', 'IN', 'JJ', 'VBP', 'VBP', 'CC', 'VBZ', 'DT', 'NN', ',']),\n",
       " (['right', 'on', 'the', 'summit', ',', 'almost', 'like', 'a', 'fountain'],\n",
       "  ['RB', 'IN', 'DT', 'NN', ',', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['that', 'ought', 'to', 'be', 'worth', 'seeing'],\n",
       "  ['DT', 'MD', 'TO', 'VB', 'JJ', 'VBG']),\n",
       " (['if', 'its', 'there'], ['IN', 'PRP$', 'EX']),\n",
       " (['you', 'never', 'saw', 'it', '?', 'EOS'],\n",
       "  ['PRP', 'RB', 'VBD', 'PRP', '.', 'NNP']),\n",
       " (['i', 'guess', 'theres', 'no', 'doubt'], ['NN', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['about', 'its', 'being', 'there', 'i', 'never', 'saw', 'it'],\n",
       "  ['IN', 'PRP$', 'VBG', 'EX', 'VB', 'RB', 'VBD', 'PRP']),\n",
       " (['it', 'may', 'not', 'be', 'right', 'on', 'the', 'very', 'top'],\n",
       "  ['PRP', 'MD', 'RB', 'VB', 'RB', 'IN', 'DT', 'RB', 'JJ']),\n",
       " (['it', 'wouldnt', 'have', 'to', 'be', 'a', 'long', 'way', 'down'],\n",
       "  ['PRP', 'WDT', 'VBP', 'TO', 'VB', 'DT', 'JJ', 'NN', 'IN']),\n",
       " (['to', 'have', 'some', 'head', 'of', 'water', 'from', 'above', ','],\n",
       "  ['TO', 'VB', 'DT', 'NN', 'IN', 'NN', 'IN', 'IN', ',']),\n",
       " (['and', 'a', 'good', 'distance', 'down', 'might', 'not', 'be', 'noticed'],\n",
       "  ['CC', 'DT', 'JJ', 'NN', 'RB', 'MD', 'RB', 'VB', 'VBN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['by', 'anyone', 'whod', 'come', 'a', 'long', 'way', 'up'],\n",
       "  ['IN', 'NN', 'NN', 'VB', 'DT', 'JJ', 'NN', 'IN']),\n",
       " (['one', 'time', 'i', 'asked', 'a', 'fellow', 'climbing', 'it'],\n",
       "  ['CD', 'NN', 'NN', 'VBD', 'DT', 'JJ', 'NN', 'PRP']),\n",
       " (['to', 'look', 'and', 'tell', 'me', 'later', 'how', 'it', 'was'],\n",
       "  ['TO', 'VB', 'CC', 'VB', 'PRP', 'RB', 'WRB', 'PRP', 'VBD']),\n",
       " (['what', 'did', 'he', 'say', '?'], ['WP', 'VBD', 'PRP', 'VB', '.']),\n",
       " (['he', 'said', 'there', 'was', 'a', 'lake'],\n",
       "  ['PRP', 'VBD', 'EX', 'VBD', 'DT', 'NN']),\n",
       " (['somewhere', 'in', 'ireland', 'on', 'a', 'mountain', 'top'],\n",
       "  ['RB', 'IN', 'NN', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['but', 'a', 'lakes', 'different', 'what', 'about', 'the', 'spring', '?'],\n",
       "  ['CC', 'DT', 'JJ', 'JJ', 'WP', 'IN', 'DT', 'NN', '.']),\n",
       " (['he', 'never', 'got', 'up', 'high', 'enough', 'to', 'see'],\n",
       "  ['PRP', 'RB', 'VBD', 'RB', 'JJ', 'RB', 'TO', 'VB']),\n",
       " (['thats', 'why', 'i', 'dont', 'advise', 'your', 'trying', 'this', 'side'],\n",
       "  ['NNS', 'WRB', 'VBP', 'VBP', 'VB', 'PRP$', 'VBG', 'DT', 'NN']),\n",
       " (['he', 'tried', 'this', 'side', 'ive', 'always', 'meant', 'to', 'go'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'NN', 'RB', 'VBD', 'TO', 'VB']),\n",
       " (['and', 'look', 'myself', ',', 'but', 'you', 'know', 'how', 'it', 'is'],\n",
       "  ['CC', 'VB', 'PRP', ',', 'CC', 'PRP', 'VBP', 'WRB', 'PRP', 'VBZ']),\n",
       " (['it', 'doesnt', 'seem', 'so', 'much', 'to', 'climb', 'a', 'mountain'],\n",
       "  ['PRP', 'VBZ', 'VBP', 'RB', 'JJ', 'TO', 'VB', 'DT', 'NN']),\n",
       " (['youve', 'worked', 'around', 'the', 'foot', 'of', 'all', 'your', 'life'],\n",
       "  ['NN', 'VBD', 'IN', 'DT', 'NN', 'IN', 'DT', 'PRP$', 'NN']),\n",
       " (['what', 'would', 'i', 'do', '?', 'go', 'in', 'my', 'overalls', ','],\n",
       "  ['WP', 'MD', 'VB', 'VB', '.', 'VB', 'IN', 'PRP$', 'NNS', ',']),\n",
       " (['with',\n",
       "   'a',\n",
       "   'big',\n",
       "   'stick',\n",
       "   ',',\n",
       "   'the',\n",
       "   'same',\n",
       "   'as',\n",
       "   'when',\n",
       "   'the',\n",
       "   'cows'],\n",
       "  ['IN', 'DT', 'JJ', 'NN', ',', 'DT', 'JJ', 'IN', 'WRB', 'DT', 'NNS']),\n",
       " (['havent',\n",
       "   'come',\n",
       "   'down',\n",
       "   'to',\n",
       "   'the',\n",
       "   'bars',\n",
       "   'at',\n",
       "   'milking',\n",
       "   'lime',\n",
       "   '?'],\n",
       "  ['NN', 'VB', 'IN', 'TO', 'DT', 'NNS', 'IN', 'VBG', 'NN', '.']),\n",
       " (['or', 'with', 'a', 'shotgun', 'for', 'a', 'stray', 'black', 'bear', '?'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'IN', 'DT', 'JJ', 'JJ', 'NN', '.']),\n",
       " (['twouldnt', 'seem', 'real', 'to', 'climb', 'for', 'climbing', 'it'],\n",
       "  ['NN', 'VBP', 'JJ', 'TO', 'VB', 'IN', 'VBG', 'PRP']),\n",
       " (['f', 'l', 'shouldnt', 'climb', 'it', 'if', 'i', 'didnt', 'want', 'to'],\n",
       "  ['JJ', 'NN', 'NN', 'NN', 'PRP', 'IN', 'JJ', 'VBP', 'VBP', 'TO']),\n",
       " (['not', 'for', 'the', 'sake', 'of', 'climbing', 'whats', 'its', 'name'],\n",
       "  ['RB', 'IN', 'DT', 'NN', 'IN', 'VBG', 'CC', 'PRP$', 'NN']),\n",
       " (['we', 'call', 'it', 'hor', 'i', 'dont', 'know', 'if', 'thats', 'right'],\n",
       "  ['PRP', 'VBP', 'PRP', 'NN', 'VBZ', 'VBP', 'VB', 'IN', 'NNS', 'RB']),\n",
       " (['can',\n",
       "   'one',\n",
       "   'walk',\n",
       "   'around',\n",
       "   'it',\n",
       "   '?',\n",
       "   'would',\n",
       "   'it',\n",
       "   'be',\n",
       "   'too',\n",
       "   'far',\n",
       "   '?'],\n",
       "  ['MD', 'CD', 'NN', 'IN', 'PRP', '.', 'MD', 'PRP', 'VB', 'RB', 'RB', '.']),\n",
       " (['\\\\(',\n",
       "   'you',\n",
       "   'can',\n",
       "   'drive',\n",
       "   'round',\n",
       "   'and',\n",
       "   'keep',\n",
       "   'in',\n",
       "   'lunenburg',\n",
       "   ','],\n",
       "  ['IN', 'PRP', 'MD', 'VB', 'NN', 'CC', 'VB', 'IN', 'NN', ',']),\n",
       " (['but', 'its', 'as', 'much', 'as', 'ever', 'you', 'can', 'do', ','],\n",
       "  ['CC', 'PRP$', 'RB', 'JJ', 'IN', 'RB', 'PRP', 'MD', 'VB', ',']),\n",
       " (['the', 'boundary', 'lines', 'keep', 'in', 'so', 'close', 'to', 'it'],\n",
       "  ['DT', 'JJ', 'NNS', 'VB', 'IN', 'RB', 'JJ', 'TO', 'PRP']),\n",
       " (['hor', 'is', 'the', 'township', ',', 'and', 'the', 'townships', 'hor'],\n",
       "  ['NN', 'VBZ', 'DT', 'NN', ',', 'CC', 'DT', 'NNS', 'NN']),\n",
       " (['and', 'a', 'few', 'houses', 'sprinkled', 'round', 'the', 'foot', ','],\n",
       "  ['CC', 'DT', 'JJ', 'NNS', 'VBD', 'RP', 'DT', 'NN', ',']),\n",
       " (['like', 'boulders', 'broken', 'off', 'the', 'upper', 'cliff', ','],\n",
       "  ['IN', 'NNS', 'VBN', 'RP', 'DT', 'JJ', 'NN', ',']),\n",
       " (['rolled', 'out', 'a', 'little', 'farther', 'than', 'the', 'rest'],\n",
       "  ['VBN', 'RP', 'DT', 'RB', 'JJR', 'IN', 'DT', 'NN']),\n",
       " (['warm',\n",
       "   'in',\n",
       "   'december',\n",
       "   ',',\n",
       "   'cold',\n",
       "   'in',\n",
       "   'june',\n",
       "   ',',\n",
       "   'you',\n",
       "   'say',\n",
       "   '?'],\n",
       "  ['NN', 'IN', 'NN', ',', 'NN', 'IN', 'NN', ',', 'PRP', 'VBP', '.']),\n",
       " (['i', 'dont', 'suppose', 'the', 'waters', 'changed', 'at', 'all'],\n",
       "  ['NN', 'VBP', 'VB', 'DT', 'NNS', 'VBD', 'IN', 'DT']),\n",
       " (['you', 'and', 'i', 'know', 'enough', 'to', 'know', 'its', 'warm'],\n",
       "  ['PRP', 'CC', 'VB', 'VBP', 'RB', 'TO', 'VB', 'PRP$', 'NN']),\n",
       " (['compared', 'with', 'cold', ',', 'and', 'cold', 'compared', 'with', 'warm'],\n",
       "  ['VBN', 'IN', 'NN', ',', 'CC', 'JJ', 'VBN', 'IN', 'JJ']),\n",
       " (['but', 'all', 'the', 'funs', 'in', 'how', 'you', 'say', 'a', 'thing'],\n",
       "  ['CC', 'PDT', 'DT', 'NNS', 'IN', 'WRB', 'PRP', 'VBP', 'DT', 'NN']),\n",
       " (['EOS', 'youve', 'lived', 'here', 'all', 'your', 'life', '?'],\n",
       "  ['NNP', 'PRP', 'VBD', 'RB', 'DT', 'PRP$', 'NN', '.']),\n",
       " (['ever', 'since', 'hor'], ['RB', 'IN', 'NN']),\n",
       " (['was', 'no', 'bigger', 'than', 'a', 'what', ',', 'i', 'did', 'not', 'hear'],\n",
       "  ['VBD', 'DT', 'JJR', 'IN', 'DT', 'WP', ',', 'NN', 'VBD', 'RB', 'VB']),\n",
       " (['he', 'drew', 'the', 'oxen', 'toward', 'him', 'with', 'light', 'touches'],\n",
       "  ['PRP', 'VBD', 'DT', 'JJ', 'IN', 'PRP', 'IN', 'NN', 'NNS']),\n",
       " (['of', 'his', 'slim', 'goad', 'on', 'nose', 'and', 'offside', 'flank', ','],\n",
       "  ['IN', 'PRP$', 'JJ', 'NN', 'IN', 'JJ', 'CC', 'JJ', 'NN', ',']),\n",
       " (['gave', 'them', 'their', 'marching', 'orders', 'and', 'was', 'moving', ','],\n",
       "  ['VBD', 'PRP', 'PRP$', 'NN', 'NNS', 'CC', 'VBD', 'VBG', ',']),\n",
       " (['a', 'hundred', 'collars'], ['DT', 'CD', 'NNS']),\n",
       " (['lancaster', 'bore', 'him', 'such', 'a', 'little', 'town', ','],\n",
       "  ['NN', 'VBD', 'PRP', 'PDT', 'DT', 'JJ', 'NN', ',']),\n",
       " (['such', 'a', 'great', 'man', 'it', 'doesnt', 'see', 'him', 'often'],\n",
       "  ['JJ', 'DT', 'JJ', 'NN', 'PRP', 'VBZ', 'VBP', 'PRP', 'RB']),\n",
       " (['of',\n",
       "   'late',\n",
       "   'years',\n",
       "   ',',\n",
       "   'though',\n",
       "   'he',\n",
       "   'keeps',\n",
       "   'the',\n",
       "   'old',\n",
       "   'homestead'],\n",
       "  ['IN', 'JJ', 'NNS', ',', 'IN', 'PRP', 'VBZ', 'DT', 'JJ', 'NN']),\n",
       " (['and',\n",
       "   'sends',\n",
       "   'the',\n",
       "   'children',\n",
       "   'down',\n",
       "   'there',\n",
       "   'with',\n",
       "   'their',\n",
       "   'mother'],\n",
       "  ['CC', 'VBZ', 'DT', 'NNS', 'RP', 'RB', 'IN', 'PRP$', 'NN']),\n",
       " (['to', 'run', 'wild', 'in', 'the', 'summer', 'a', 'little', 'wild'],\n",
       "  ['TO', 'VB', 'RB', 'IN', 'DT', 'NN', 'DT', 'JJ', 'JJ']),\n",
       " (['sometimes', 'he', 'joins', 'them', 'for', 'a', 'day', 'or', 'two'],\n",
       "  ['RB', 'PRP', 'VBZ', 'PRP', 'IN', 'DT', 'NN', 'CC', 'CD']),\n",
       " (['and', 'sees', 'old', 'friends', 'he', 'somehow', 'cant', 'get', 'near'],\n",
       "  ['CC', 'NNS', 'JJ', 'NNS', 'PRP', 'RB', 'JJ', 'NN', 'IN']),\n",
       " (['they', 'meet', 'him', 'in', 'the', 'general', 'store', 'at', 'night', ','],\n",
       "  ['PRP', 'VBP', 'PRP', 'IN', 'DT', 'JJ', 'NN', 'IN', 'NN', ',']),\n",
       " (['pre', 'occupied', 'with', 'formidable', 'mail', ','],\n",
       "  ['NNS', 'VBN', 'IN', 'JJ', 'NN', ',']),\n",
       " (['rifling', 'a', 'printed', 'letter', 'as', 'he', 'talks'],\n",
       "  ['VBG', 'DT', 'JJ', 'NN', 'IN', 'PRP', 'VBZ']),\n",
       " (['they', 'seem', 'afraid', 'he', 'wouldnt', 'have', 'it', 'so'],\n",
       "  ['PRP', 'VBP', 'IN', 'PRP', 'WDT', 'VBP', 'PRP', 'RB']),\n",
       " (['though', 'a', 'great', 'scholar', ',', 'hes', 'a', 'democrat', ','],\n",
       "  ['IN', 'DT', 'JJ', 'NN', ',', 'VBZ', 'DT', 'NN', ',']),\n",
       " (['if', 'not', 'at', 'heart', ',', 'at', 'least', 'on', 'principle'],\n",
       "  ['IN', 'RB', 'IN', 'NN', ',', 'IN', 'JJS', 'IN', 'NN']),\n",
       " (['lately', 'when', 'coming', 'up', 'to', 'lancaster', ','],\n",
       "  ['RB', 'WRB', 'VBG', 'RB', 'TO', 'NN', ',']),\n",
       " (['his', 'train', 'being', 'late', ',', 'he', 'missed', 'another', 'train'],\n",
       "  ['PRP$', 'NN', 'VBG', 'JJ', ',', 'PRP', 'VBD', 'DT', 'NN']),\n",
       " (['and',\n",
       "   'had',\n",
       "   'four',\n",
       "   'hours',\n",
       "   'to',\n",
       "   'wait',\n",
       "   'at',\n",
       "   'woodsville',\n",
       "   'junction'],\n",
       "  ['CC', 'VBD', 'CD', 'NNS', 'TO', 'VB', 'IN', 'JJ', 'NN']),\n",
       " (['after', 'eleven', 'oclock', 'at', 'night', 'too', 'tired'],\n",
       "  ['IN', 'JJ', 'NN', 'IN', 'NN', 'RB', 'VBD']),\n",
       " (['to', 'think', 'of', 'sitting', 'such', 'an', 'ordeal', 'out', ','],\n",
       "  ['TO', 'VB', 'IN', 'VBG', 'JJ', 'DT', 'NN', 'RP', ',']),\n",
       " (['he', 'turned', 'to', 'the', 'hotel', 'to', 'find', 'a', 'bed'],\n",
       "  ['PRP', 'VBD', 'TO', 'DT', 'NN', 'TO', 'VB', 'DT', 'NN']),\n",
       " (['no', 'room', 'the', 'night', 'clerk', 'said', 'unless'],\n",
       "  ['DT', 'NN', 'DT', 'NN', 'NN', 'VBD', 'IN']),\n",
       " (['woodsvilles', 'a', 'place', 'of', 'shrieks', 'and', 'wandering', 'lamps'],\n",
       "  ['NNS', 'DT', 'NN', 'IN', 'NN', 'CC', 'NN', 'NNS']),\n",
       " (['and', 'cars', 'that', 'shock', 'and', 'rattle', 'and', 'one', 'hotel'],\n",
       "  ['CC', 'NNS', 'IN', 'NN', 'CC', 'NN', 'CC', 'CD', 'NN']),\n",
       " (['you', 'say', 'unless'], ['PRP', 'VBP', 'IN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['unless', 'you', 'wouldnt', 'mind'], ['IN', 'PRP', 'VBP', 'VB']),\n",
       " (['sharing', 'a', 'room', 'with', 'someone', 'else'],\n",
       "  ['VBG', 'DT', 'NN', 'IN', 'NN', 'RB']),\n",
       " (['who', 'is', 'it', '?'], ['WP', 'VBZ', 'PRP', '.']),\n",
       " (['man'], ['NN']),\n",
       " (['so', 'i', 'should', 'hope', 'what', 'kind', 'of', 'man', '?'],\n",
       "  ['RB', 'JJ', 'MD', 'VB', 'WP', 'NN', 'IN', 'NN', '.']),\n",
       " (['i', 'know', 'him', 'hes', 'all', 'right', 'a', 'mans', 'a', 'man'],\n",
       "  ['NNS', 'VBP', 'PRP', 'VBZ', 'RB', 'RB', 'DT', 'NNS', 'DT', 'NN']),\n",
       " (['separate', 'beds', ',', 'of', 'course', ',', 'you', 'understand'],\n",
       "  ['JJ', 'NNS', ',', 'IN', 'NN', ',', 'PRP', 'VBP']),\n",
       " (['the',\n",
       "   'night',\n",
       "   'clerk',\n",
       "   'blinked',\n",
       "   'his',\n",
       "   'eyes',\n",
       "   'and',\n",
       "   'dared',\n",
       "   'him',\n",
       "   'on'],\n",
       "  ['DT', 'NN', 'NN', 'VBD', 'PRP$', 'NNS', 'CC', 'VBD', 'PRP', 'IN']),\n",
       " (['whos', 'that', 'man', 'sleeping', 'in', 'the', 'office', 'chair', '?'],\n",
       "  ['NN', 'WDT', 'NN', 'VBG', 'IN', 'DT', 'NN', 'NN', '.']),\n",
       " (['has', 'he', 'had', 'the', 'refusal', 'of', 'my', 'chance', '?'],\n",
       "  ['VBZ', 'PRP', 'VBD', 'DT', 'NN', 'IN', 'PRP$', 'NN', '.']),\n",
       " (['he', 'was', 'afraid', 'of', 'being', 'robbed', 'or', 'murdered'],\n",
       "  ['PRP', 'VBD', 'JJ', 'IN', 'VBG', 'VBN', 'CC', 'VBN']),\n",
       " (['what', 'do', 'you', 'say', '?'], ['WP', 'VBP', 'PRP', 'VB', '.']),\n",
       " (['til', 'have', 'to', 'have', 'a', 'bed'],\n",
       "  ['NNS', 'VBP', 'TO', 'VB', 'DT', 'NN']),\n",
       " (['the',\n",
       "   'night',\n",
       "   'clerk',\n",
       "   'led',\n",
       "   'him',\n",
       "   'up',\n",
       "   'three',\n",
       "   'flights',\n",
       "   'of',\n",
       "   'stairs'],\n",
       "  ['DT', 'NN', 'NN', 'VBD', 'PRP', 'RP', 'CD', 'NNS', 'IN', 'NNS']),\n",
       " (['and', 'down', 'a', 'narrow', 'passage', 'full', 'of', 'doors', ','],\n",
       "  ['CC', 'IN', 'DT', 'JJ', 'NN', 'JJ', 'IN', 'NNS', ',']),\n",
       " (['at',\n",
       "   'the',\n",
       "   'last',\n",
       "   'one',\n",
       "   'of',\n",
       "   'which',\n",
       "   'he',\n",
       "   'knocked',\n",
       "   'and',\n",
       "   'entered'],\n",
       "  ['IN', 'DT', 'JJ', 'CD', 'IN', 'WDT', 'PRP', 'VBD', 'CC', 'VBD']),\n",
       " (['lafe',\n",
       "   ',',\n",
       "   'heres',\n",
       "   'a',\n",
       "   'fellow',\n",
       "   'wants',\n",
       "   'to',\n",
       "   'share',\n",
       "   'your',\n",
       "   'room'],\n",
       "  ['NN', ',', 'VBZ', 'DT', 'JJ', 'VBZ', 'TO', 'NN', 'PRP$', 'NN']),\n",
       " (['show', 'him', 'this', 'way', 'im', 'not', 'afraid', 'of', 'him'],\n",
       "  ['NN', 'PRP', 'DT', 'NN', 'VBZ', 'RB', 'JJ', 'IN', 'PRP']),\n",
       " (['im', 'not', 'so', 'drunk', 'i', 'cant', 'take', 'care', 'of', 'myself'],\n",
       "  ['NN', 'RB', 'RB', 'JJ', 'NN', 'VBP', 'VB', 'NN', 'IN', 'NN']),\n",
       " (['the', 'night', 'clerk', 'clapped', 'a', 'bedstead', 'on', 'the', 'foot'],\n",
       "  ['DT', 'NN', 'NN', 'VBD', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['this',\n",
       "   'will',\n",
       "   'be',\n",
       "   'yours',\n",
       "   'good',\n",
       "   'night',\n",
       "   ',',\n",
       "   'he',\n",
       "   'said',\n",
       "   ',',\n",
       "   'and',\n",
       "   'went'],\n",
       "  ['DT', 'MD', 'VB', 'RB', 'JJ', 'NN', ',', 'PRP', 'VBD', ',', 'CC', 'VBD']),\n",
       " (['lafe', 'was', 'the', 'name', ',', 'i', 'think', '?'],\n",
       "  ['NN', 'VBD', 'DT', 'NN', ',', 'NN', 'VBP', '.']),\n",
       " (['yes', ',', 'layfayette'], ['UH', ',', 'NN']),\n",
       " (['you', 'got', 'it', 'the', 'first', 'time', 'and', 'yours', '?'],\n",
       "  ['PRP', 'VBD', 'PRP', 'DT', 'JJ', 'NN', 'CC', 'NNS', '.']),\n",
       " (['magoon', ','], ['NN', ',']),\n",
       " (['doctor', 'magoon'], ['NN', 'NN']),\n",
       " (['a', 'doctor', '?'], ['DT', 'NN', '.']),\n",
       " (['well', ',', 'a', 'teacher'], ['RB', ',', 'DT', 'NN']),\n",
       " (['professor', 'square', 'the', 'circle', 'till', 'youre', 'tired', '?'],\n",
       "  ['NN', 'VBZ', 'DT', 'NN', 'NN', 'NN', 'VBN', '.']),\n",
       " (['hold',\n",
       "   'on',\n",
       "   ',',\n",
       "   'theres',\n",
       "   'something',\n",
       "   'i',\n",
       "   'dont',\n",
       "   'think',\n",
       "   'of',\n",
       "   'now'],\n",
       "  ['NN', 'IN', ',', 'NNS', 'NN', 'JJ', 'JJ', 'NN', 'IN', 'RB']),\n",
       " (['that', 'i', 'had', 'on', 'my', 'mind', 'to', 'ask', 'the', 'first'],\n",
       "  ['IN', 'NN', 'VBD', 'IN', 'PRP$', 'NN', 'TO', 'VB', 'DT', 'JJ']),\n",
       " (['man', 'that', 'knew', 'anything', 'i', 'happened', 'in', 'with'],\n",
       "  ['NN', 'WDT', 'VBD', 'NN', 'NN', 'VBD', 'IN', 'IN']),\n",
       " (['ill', 'ask', 'you', 'later', 'dont', 'let', 'me', 'forget', 'it'],\n",
       "  ['VB', 'NN', 'PRP', 'RB', 'VBP', 'VB', 'PRP', 'VB', 'PRP']),\n",
       " (['the', 'doctor', 'looked', 'at', 'lafe', 'and', 'looked', 'away'],\n",
       "  ['DT', 'NN', 'VBD', 'IN', 'JJ', 'CC', 'VBD', 'RB']),\n",
       " (['a', 'man', '?', 'a', 'brute', 'naked', 'above', 'the', 'waist', ','],\n",
       "  ['DT', 'NN', '.', 'DT', 'NN', 'VBN', 'IN', 'DT', 'NN', ',']),\n",
       " (['he',\n",
       "   'sat',\n",
       "   'there',\n",
       "   'creased',\n",
       "   'and',\n",
       "   'shining',\n",
       "   'in',\n",
       "   'the',\n",
       "   'light',\n",
       "   ','],\n",
       "  ['PRP', 'VBD', 'EX', 'VBN', 'CC', 'VBG', 'IN', 'DT', 'NN', ',']),\n",
       " (['fumbling', 'the', 'buttons', 'in', 'a', 'well', 'starched', 'shirt'],\n",
       "  ['VBG', 'DT', 'NNS', 'IN', 'DT', 'RB', 'VBN', 'NN']),\n",
       " (['im', 'moving', 'into', 'a', 'size', 'larger', 'shirt'],\n",
       "  ['NN', 'VBG', 'IN', 'DT', 'NN', 'JJR', 'NN']),\n",
       " (['ive', 'felt', 'mean', 'lately', 'means', 'no', 'name', 'for', 'it'],\n",
       "  ['JJ', 'VBD', 'JJ', 'RB', 'VBZ', 'DT', 'NN', 'IN', 'PRP']),\n",
       " (['i', 'just', 'found', 'what', 'the', 'matter', 'was', 'to', 'night'],\n",
       "  ['NN', 'RB', 'VBD', 'WP', 'DT', 'NN', 'VBD', 'TO', 'NN']),\n",
       " (['ive', 'been', 'a', 'choking', 'like', 'a', 'nursery', 'tree'],\n",
       "  ['JJ', 'VBN', 'DT', 'VBG', 'IN', 'DT', 'NN', 'NN']),\n",
       " (['when',\n",
       "   'it',\n",
       "   'outgrows',\n",
       "   'the',\n",
       "   'wire',\n",
       "   'band',\n",
       "   'of',\n",
       "   'its',\n",
       "   'name',\n",
       "   'tag'],\n",
       "  ['WRB', 'PRP', 'VBZ', 'DT', 'NN', 'NN', 'IN', 'PRP$', 'NN', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['i', 'blamed', 'it', 'on', 'the', 'hot', 'spell', 'weve', 'been', 'having'],\n",
       "  ['NN', 'VBD', 'PRP', 'IN', 'DT', 'JJ', 'NN', 'VBP', 'VBN', 'VBG']),\n",
       " (['twas', 'nothing', 'but', 'my', 'foolish', 'hanging', 'back', ','],\n",
       "  ['NN', 'NN', 'CC', 'PRP$', 'JJ', 'NN', 'RB', ',']),\n",
       " (['not', 'liking', 'to', 'own', 'up', 'id', 'grown', 'a', 'size'],\n",
       "  ['RB', 'VBG', 'TO', 'VB', 'RP', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['number',\n",
       "   'eighteen',\n",
       "   'this',\n",
       "   'is',\n",
       "   'what',\n",
       "   'size',\n",
       "   'do',\n",
       "   'you',\n",
       "   'wear',\n",
       "   '?'],\n",
       "  ['NN', 'NN', 'DT', 'VBZ', 'WP', 'NN', 'VBP', 'PRP', 'VB', '.']),\n",
       " (['the', 'doctor', 'caught', 'his', 'throat', 'convulsively'],\n",
       "  ['DT', 'NN', 'VBD', 'PRP$', 'NN', 'RB']),\n",
       " (['v', 'oh', 'ah', 'fourteen', 'fourteen'], ['NN', 'MD', 'VB', 'JJ', 'NN']),\n",
       " (['fourteen', '!', 'you', 'say', 'so', '!'],\n",
       "  ['NN', '.', 'PRP', 'VBP', 'RB', '.']),\n",
       " (['i', 'can', 'remember', 'when', 'i', 'wore', 'fourteen'],\n",
       "  ['NN', 'MD', 'VB', 'WRB', 'NN', 'VBD', 'JJ']),\n",
       " (['and', 'come', 'to', 'think', 'i', 'must', 'have', 'back', 'at', 'home'],\n",
       "  ['CC', 'VB', 'TO', 'VB', 'NN', 'MD', 'VB', 'RB', 'IN', 'NN']),\n",
       " (['more', 'than', 'a', 'hundred', 'collars', ',', 'size', 'fourteen'],\n",
       "  ['RBR', 'IN', 'DT', 'JJ', 'NNS', ',', 'NN', 'NN']),\n",
       " (['too', 'bad', 'to', 'waste', 'them', 'all', 'you', 'ought', 'to', 'have'],\n",
       "  ['RB', 'JJ', 'TO', 'VB', 'PRP', 'DT', 'PRP', 'MD', 'TO', 'VB']),\n",
       " (['them'], ['PRP']),\n",
       " (['theyre', 'yours', 'and', 'welcome', 'let', 'me', 'send', 'them', 'to'],\n",
       "  ['NN', 'NNS', 'CC', 'JJ', 'VB', 'PRP', 'VB', 'PRP', 'TO']),\n",
       " (['you'], ['PRP']),\n",
       " (['what',\n",
       "   'makes',\n",
       "   'you',\n",
       "   'stand',\n",
       "   'there',\n",
       "   'on',\n",
       "   'one',\n",
       "   'leg',\n",
       "   'like',\n",
       "   'that',\n",
       "   '?'],\n",
       "  ['WP', 'VBZ', 'PRP', 'VBP', 'RB', 'IN', 'CD', 'NN', 'IN', 'DT', '.']),\n",
       " (['youre',\n",
       "   'not',\n",
       "   'much',\n",
       "   'furtherer',\n",
       "   'than',\n",
       "   'where',\n",
       "   'kike',\n",
       "   'left',\n",
       "   'you'],\n",
       "  ['NN', 'RB', 'RB', 'JJR', 'IN', 'WRB', 'NN', 'VBD', 'PRP']),\n",
       " (['you', 'act', 'as', 'if', 'you', 'wished', 'you', 'hadnt', 'come'],\n",
       "  ['PRP', 'VBP', 'IN', 'IN', 'PRP', 'VBP', 'PRP', 'VBP', 'VB']),\n",
       " (['sit',\n",
       "   'down',\n",
       "   'or',\n",
       "   'lie',\n",
       "   'down',\n",
       "   ',',\n",
       "   'friend',\n",
       "   'you',\n",
       "   'make',\n",
       "   'me',\n",
       "   'nervous'],\n",
       "  ['VB', 'RP', 'CC', 'VB', 'RP', ',', 'NN', 'PRP', 'VBP', 'PRP', 'JJ']),\n",
       " (['the', 'doctor', 'made', 'a', 'subdued', 'dash', 'for', 'it', ','],\n",
       "  ['DT', 'NN', 'VBD', 'DT', 'JJ', 'NN', 'IN', 'PRP', ',']),\n",
       " (['and', 'propped', 'himself', 'at', 'bay', 'against', 'a', 'pillow'],\n",
       "  ['CC', 'VBD', 'PRP', 'IN', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['not',\n",
       "   'that',\n",
       "   'way',\n",
       "   ',',\n",
       "   'with',\n",
       "   'your',\n",
       "   'shoes',\n",
       "   'on',\n",
       "   'kikes',\n",
       "   'white',\n",
       "   'bed'],\n",
       "  ['RB', 'DT', 'NN', ',', 'IN', 'PRP$', 'NNS', 'IN', 'NNS', 'JJ', 'NN']),\n",
       " (['you',\n",
       "   'cant',\n",
       "   'rest',\n",
       "   'that',\n",
       "   'way',\n",
       "   'let',\n",
       "   'me',\n",
       "   'pull',\n",
       "   'your',\n",
       "   'shoes',\n",
       "   'off'],\n",
       "  ['PRP', 'VBP', 'VB', 'DT', 'NN', 'VB', 'PRP', 'VB', 'PRP$', 'NNS', 'RP']),\n",
       " (['dont',\n",
       "   'touch',\n",
       "   'me',\n",
       "   ',',\n",
       "   'please',\n",
       "   'i',\n",
       "   'say',\n",
       "   ',',\n",
       "   'dont',\n",
       "   'touch',\n",
       "   'me',\n",
       "   ','],\n",
       "  ['NN', 'NN', 'PRP', ',', 'VB', 'NNS', 'VBP', ',', 'JJ', 'NN', 'PRP', ',']),\n",
       " (['please'], ['NN']),\n",
       " (['ill', 'not', 'be', 'put', 'to', 'bed', 'by', 'you', ',', 'my', 'man'],\n",
       "  ['NN', 'RB', 'VB', 'VBN', 'TO', 'VBN', 'IN', 'PRP', ',', 'PRP$', 'NN']),\n",
       " (['EOS'], ['NN']),\n",
       " (['just', 'as', 'you', 'say', 'have', 'it', 'your', 'own', 'way', 'then'],\n",
       "  ['RB', 'IN', 'PRP', 'VBP', 'VBP', 'PRP', 'PRP$', 'JJ', 'NN', 'RB']),\n",
       " (['my', 'man', 'is', 'it', '?', 'you', 'talk', 'like', 'a', 'professor'],\n",
       "  ['PRP$', 'NN', 'VBZ', 'PRP', '.', 'PRP', 'VBP', 'IN', 'DT', 'NN']),\n",
       " (['speaking', 'of', 'whos', 'afraid', 'of', 'who', ',', 'however', ','],\n",
       "  ['NN', 'IN', 'NN', 'NN', 'IN', 'WP', ',', 'RB', ',']),\n",
       " (['im', 'thinking', 'i', 'have', 'more', 'to', 'lose', 'than', 'you'],\n",
       "  ['NN', 'VBG', 'NNS', 'VBP', 'JJR', 'TO', 'VB', 'IN', 'PRP']),\n",
       " (['if', 'anything', 'should', 'happen', 'to', 'be', 'wrong'],\n",
       "  ['IN', 'NN', 'MD', 'VB', 'TO', 'VB', 'JJ']),\n",
       " (['who', 'wants', 'to', 'cut', 'your', 'number', 'fourteen', 'throat', 'i'],\n",
       "  ['WP', 'VBZ', 'TO', 'VB', 'PRP$', 'NN', 'JJ', 'NN', 'NN']),\n",
       " (['lets', 'have', 'a', 'show', 'down', 'as', 'an', 'evidence'],\n",
       "  ['NNS', 'VBP', 'DT', 'NN', 'RP', 'IN', 'DT', 'NN']),\n",
       " (['of', 'good', 'faith', 'there', 'is', 'ninety', 'dollars'],\n",
       "  ['IN', 'JJ', 'NN', 'EX', 'VBZ', 'CD', 'NNS']),\n",
       " (['come', ',', 'if', 'youre', 'not', 'afraid'],\n",
       "  ['NN', ',', 'IN', 'NN', 'RB', 'JJ']),\n",
       " (['f', 'tm', 'not', 'afraid'], ['NNS', 'MD', 'RB', 'VB']),\n",
       " (['theres', 'five', 'thats', 'all', 'i', 'carry'],\n",
       "  ['NNS', 'CD', 'NNS', 'DT', 'VBP', 'VBP']),\n",
       " (['EOS', 'can', 'search', 'you', '?'], ['NNS', 'MD', 'VB', 'PRP', '.']),\n",
       " (['where', 'are', 'you', 'moving', 'over', 'to', '?', 'stay', 'still'],\n",
       "  ['WRB', 'VBP', 'PRP', 'VBG', 'IN', 'TO', '.', 'VB', 'RB']),\n",
       " (['youd', 'better', 'tuck', 'your', 'money', 'under', 'you'],\n",
       "  ['RB', 'RBR', 'VB', 'PRP$', 'NN', 'IN', 'PRP']),\n",
       " (['and', 'sleep', 'on', 'it', 'the', 'way', 'i', 'always', 'do'],\n",
       "  ['CC', 'VB', 'IN', 'PRP', 'DT', 'NN', 'NN', 'RB', 'VBP']),\n",
       " (['when', 'im', 'with', 'people', 'i', 'dont', 'trust', 'at', 'night'],\n",
       "  ['WRB', 'NN', 'IN', 'NNS', 'VBP', 'JJ', 'NN', 'IN', 'NN']),\n",
       " (['will', 'you', 'believe', 'me', 'if', 'i', 'put', 'it', 'there'],\n",
       "  ['MD', 'PRP', 'VB', 'PRP', 'IN', 'VBN', 'VBP', 'PRP', 'EX']),\n",
       " (['right', 'on', 'the', 'counterpanethat', 'i', 'do', 'trust', 'you', '?'],\n",
       "  ['RB', 'IN', 'DT', 'NN', 'NN', 'VBP', 'VB', 'PRP', '.']),\n",
       " (['youd', 'say', 'so', ',', 'mister', 'man', 'im', 'a', 'collector'],\n",
       "  ['NNS', 'VBP', 'RB', ',', 'JJR', 'NN', 'VBZ', 'DT', 'NN']),\n",
       " (['my', 'ninety', 'isnt', 'mine', 'you', 'wont', 'think', 'that'],\n",
       "  ['PRP$', 'NN', 'NN', 'NN', 'PRP', 'VBP', 'VB', 'IN']),\n",
       " (['i', 'pick', 'it', 'up', 'a', 'dollar', 'at', 'a', 'time'],\n",
       "  ['NN', 'VBP', 'PRP', 'RP', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['all', 'round', 'the', 'country', 'for', 'the', 'weekly', 'news', ','],\n",
       "  ['DT', 'VBP', 'DT', 'NN', 'IN', 'DT', 'JJ', 'NN', ',']),\n",
       " (['published', 'in', 'bow', 'you', 'know', 'the', 'weekly', 'news', '?'],\n",
       "  ['VBN', 'IN', 'NN', 'PRP', 'VBP', 'DT', 'JJ', 'NN', '.']),\n",
       " (['known', 'it', 'since', 'i', 'was', 'young'],\n",
       "  ['VBN', 'PRP', 'IN', 'NN', 'VBD', 'JJ']),\n",
       " (['EOS'], ['NN']),\n",
       " (['then', 'you', 'know', 'me'], ['RB', 'PRP', 'VBP', 'PRP']),\n",
       " (['now', 'we', 'are', 'getting', 'on', 'together', 'talking'],\n",
       "  ['RB', 'PRP', 'VBP', 'VBG', 'IN', 'RB', 'VBG']),\n",
       " (['im', 'sort', 'of', 'something', 'for', 'it', 'at', 'the', 'front'],\n",
       "  ['JJ', 'NN', 'IN', 'NN', 'IN', 'PRP', 'IN', 'DT', 'NN']),\n",
       " (['my', 'business', 'is', 'to', 'find', 'what', 'people', 'want'],\n",
       "  ['PRP$', 'NN', 'VBZ', 'TO', 'VB', 'WP', 'NNS', 'VBP']),\n",
       " (['they',\n",
       "   'pay',\n",
       "   'for',\n",
       "   'it',\n",
       "   ',',\n",
       "   'and',\n",
       "   'so',\n",
       "   'they',\n",
       "   'ought',\n",
       "   'to',\n",
       "   'have',\n",
       "   'it'],\n",
       "  ['PRP',\n",
       "   'VBP',\n",
       "   'IN',\n",
       "   'PRP',\n",
       "   ',',\n",
       "   'CC',\n",
       "   'RB',\n",
       "   'PRP',\n",
       "   'MD',\n",
       "   'TO',\n",
       "   'VB',\n",
       "   'PRP']),\n",
       " (['fairbanks', ',', 'he', 'says', 'to', 'mehes', 'editor'],\n",
       "  ['NNS', ',', 'PRP', 'VBZ', 'TO', 'NNS', 'NN']),\n",
       " (['feel', 'out', 'the', 'public', 'sentiment', 'he', 'says'],\n",
       "  ['VB', 'IN', 'DT', 'JJ', 'NN', 'PRP', 'VBZ']),\n",
       " (['a', 'good', 'deal', 'comes', 'on', 'me', 'when', 'all', 'is', 'said'],\n",
       "  ['DT', 'JJ', 'NN', 'VBZ', 'IN', 'PRP', 'WRB', 'DT', 'VBZ', 'VBD']),\n",
       " (['the', 'only', 'trouble', 'is', 'we', 'disagree'],\n",
       "  ['DT', 'JJ', 'NN', 'VBZ', 'PRP', 'VBP']),\n",
       " (['in', 'politics', 'im', 'vermont', 'democrat'],\n",
       "  ['IN', 'NNS', 'JJ', 'NN', 'NN']),\n",
       " (['you', 'know', 'what', 'that', 'is', ',', 'sort', 'of', 'double', 'dyed'],\n",
       "  ['PRP', 'VBP', 'WP', 'DT', 'VBZ', ',', 'NN', 'IN', 'JJ', 'NN']),\n",
       " (['the', 'news', 'has', 'always', 'been', 'republican'],\n",
       "  ['DT', 'NN', 'VBZ', 'RB', 'VBN', 'JJ']),\n",
       " (['fairbanks',\n",
       "   ',',\n",
       "   'he',\n",
       "   'says',\n",
       "   'to',\n",
       "   'me',\n",
       "   ',',\n",
       "   'help',\n",
       "   'us',\n",
       "   'this',\n",
       "   'year',\n",
       "   ','],\n",
       "  ['NNS', ',', 'PRP', 'VBZ', 'TO', 'PRP', ',', 'VB', 'PRP', 'DT', 'NN', ',']),\n",
       " (['meaning', 'by', 'us', 'their', 'ticket', 'no', ',', 'i', 'says', ','],\n",
       "  ['NN', 'IN', 'PRP', 'PRP$', 'NN', 'DT', ',', 'NN', 'VBZ', ',']),\n",
       " (['i', 'cant', 'and', 'wont', 'youve', 'been', 'in', 'long', 'enough'],\n",
       "  ['NN', 'NN', 'CC', 'NN', 'RB', 'VBN', 'IN', 'RB', 'RB']),\n",
       " (['its', 'time', 'you', 'turned', 'around', 'and', 'boosted', 'us'],\n",
       "  ['PRP$', 'NN', 'PRP', 'VBD', 'RB', 'CC', 'VBD', 'PRP']),\n",
       " (['youll', 'have', 'to', 'pay', 'me', 'more', 'than', 'ten', 'a', 'week'],\n",
       "  ['RB', 'VBP', 'TO', 'VB', 'PRP', 'JJR', 'IN', 'VB', 'DT', 'NN']),\n",
       " (['if', 'fm', 'expected', 'to', 'elect', 'bill', 'taft'],\n",
       "  ['IN', 'VBN', 'VBN', 'TO', 'VB', 'NN', 'NN']),\n",
       " (['i', 'doubt', 'if', 'i', 'could', 'do', 'it', 'anyway'],\n",
       "  ['JJ', 'NN', 'IN', 'NN', 'MD', 'VB', 'PRP', 'VB']),\n",
       " (['EOS', 'you', 'seem', 'to', 'shape', 'the', 'papers', 'policy'],\n",
       "  ['NNP', 'PRP', 'VBP', 'TO', 'VB', 'DT', 'NNS', 'NN']),\n",
       " (['you', 'see', 'im', 'in', 'with', 'everybody', ',', 'know', 'em', 'all'],\n",
       "  ['PRP', 'VBP', 'JJ', 'IN', 'IN', 'NN', ',', 'VBP', 'VBP', 'DT']),\n",
       " (['i', 'almost', 'know', 'their', 'farms', 'as', 'well', 'as', 'they', 'do'],\n",
       "  ['NN', 'RB', 'VBP', 'PRP$', 'NNS', 'RB', 'RB', 'IN', 'PRP', 'VBP']),\n",
       " (['you', 'drive', 'around', '?', 'it', 'must', 'be', 'pleasant', 'work'],\n",
       "  ['PRP', 'VBP', 'IN', '.', 'PRP', 'MD', 'VB', 'JJ', 'NN']),\n",
       " (['its', 'business', ',', 'but', 'i', 'cant', 'say', 'its', 'not', 'fun'],\n",
       "  ['PRP$', 'NN', ',', 'CC', 'JJ', 'VBP', 'VB', 'PRP$', 'RB', 'VB']),\n",
       " (['what',\n",
       "   'i',\n",
       "   'like',\n",
       "   'bests',\n",
       "   'the',\n",
       "   'lay',\n",
       "   'of',\n",
       "   'different',\n",
       "   'farms',\n",
       "   ','],\n",
       "  ['WP', 'VBZ', 'VBP', 'NNS', 'DT', 'NN', 'IN', 'JJ', 'NNS', ',']),\n",
       " (['EOS'], ['NN']),\n",
       " (['coming', 'out', 'on', 'them', 'from', 'a', 'stretch', 'of', 'woods', ','],\n",
       "  ['VBG', 'RP', 'IN', 'PRP', 'IN', 'DT', 'NN', 'IN', 'NNS', ',']),\n",
       " (['or', 'over', 'a', 'hill', 'or', 'round', 'a', 'sudden', 'corner'],\n",
       "  ['CC', 'IN', 'DT', 'NN', 'CC', 'VB', 'DT', 'JJ', 'NN']),\n",
       " (['i', 'like', 'to', 'find', 'folks', 'getting', 'out', 'in', 'spring', ','],\n",
       "  ['NNS', 'VBP', 'TO', 'VB', 'NNS', 'VBG', 'RP', 'IN', 'NN', ',']),\n",
       " (['raking', 'the', 'dooryard', ',', 'working', 'near', 'the', 'house'],\n",
       "  ['VBG', 'DT', 'NN', ',', 'VBG', 'IN', 'DT', 'NN']),\n",
       " (['later', 'they', 'get', 'out', 'further', 'in', 'the', 'fields'],\n",
       "  ['RB', 'PRP', 'VBP', 'RP', 'RB', 'IN', 'DT', 'NNS']),\n",
       " (['everythings', 'shut', 'sometimes', 'except', 'the', 'barn'],\n",
       "  ['NNS', 'VBD', 'RB', 'IN', 'DT', 'NN']),\n",
       " (['the', 'familys', 'all', 'away', 'in', 'some', 'back', 'meadow'],\n",
       "  ['DT', 'NN', 'DT', 'RB', 'IN', 'DT', 'JJ', 'NN']),\n",
       " (['theres', 'a', 'hay', 'load', 'a', 'coming', 'when', 'it', 'comes'],\n",
       "  ['NNS', 'DT', 'NN', 'NN', 'DT', 'VBG', 'WRB', 'PRP', 'VBZ']),\n",
       " (['and', 'later', 'still', 'they', 'all', 'get', 'driven', 'in'],\n",
       "  ['CC', 'RBR', 'RB', 'PRP', 'DT', 'VBP', 'VBN', 'IN']),\n",
       " (['the',\n",
       "   'fields',\n",
       "   'are',\n",
       "   'stripped',\n",
       "   'to',\n",
       "   'lawn',\n",
       "   ',',\n",
       "   'the',\n",
       "   'garden',\n",
       "   'patches'],\n",
       "  ['DT', 'NNS', 'VBP', 'VBN', 'TO', 'VB', ',', 'DT', 'NN', 'NNS']),\n",
       " (['stripped', 'to', 'bare', 'ground', ',', 'the', 'maple', 'trees'],\n",
       "  ['VBN', 'TO', 'VB', 'NN', ',', 'DT', 'NN', 'NNS']),\n",
       " (['to', 'whips', 'and', 'poles', 'theres', 'nobody', 'about'],\n",
       "  ['TO', 'NNS', 'CC', 'NNS', 'NNS', 'VBP', 'IN']),\n",
       " (['the',\n",
       "   'chimney',\n",
       "   ',',\n",
       "   'though',\n",
       "   ',',\n",
       "   'keeps',\n",
       "   'up',\n",
       "   'a',\n",
       "   'good',\n",
       "   'brisk',\n",
       "   'smoking'],\n",
       "  ['DT', 'NN', ',', 'IN', ',', 'VBZ', 'RP', 'DT', 'JJ', 'NN', 'NN']),\n",
       " (['and', 'i', 'lie', 'back', 'and', 'ride', 'i', 'take', 'the', 'reins'],\n",
       "  ['CC', 'VB', 'VBP', 'RB', 'CC', 'VB', 'NNS', 'VBP', 'DT', 'NNS']),\n",
       " (['only', 'when', 'someones', 'coming', ',', 'and', 'the', 'mare'],\n",
       "  ['RB', 'WRB', 'NNS', 'VBG', ',', 'CC', 'DT', 'NN']),\n",
       " (['stops', 'when', 'she', 'likes', 'i', 'tell', 'her', 'when', 'to', 'go'],\n",
       "  ['NNS', 'WRB', 'PRP', 'VBZ', 'RB', 'VBP', 'PRP$', 'WRB', 'TO', 'VB']),\n",
       " (['ive', 'spoiled', 'jemima', 'in', 'more', 'ways', 'than', 'one'],\n",
       "  ['JJ', 'VBD', 'NN', 'IN', 'RBR', 'NNS', 'IN', 'CD']),\n",
       " (['shes', 'got', 'so', 'she', 'turns', 'in', 'at', 'every', 'house'],\n",
       "  ['NNS', 'VBD', 'RB', 'PRP', 'VBZ', 'IN', 'IN', 'DT', 'NN']),\n",
       " (['as', 'if', 'she', 'had', 'some', 'sort', 'of', 'curvature', ','],\n",
       "  ['IN', 'IN', 'PRP', 'VBD', 'DT', 'NN', 'IN', 'NN', ',']),\n",
       " (['no', 'matter', 'if', 'i', 'have', 'no', 'errand', 'there'],\n",
       "  ['DT', 'NN', 'IN', 'NNS', 'VBP', 'DT', 'NN', 'RB']),\n",
       " (['she', 'thinks', 'im', 'sociable', 'i', 'maybe', 'am'],\n",
       "  ['PRP', 'VBZ', 'JJ', 'JJ', 'NN', 'RB', 'VBP']),\n",
       " (['its',\n",
       "   'seldom',\n",
       "   'i',\n",
       "   'get',\n",
       "   'down',\n",
       "   'except',\n",
       "   'for',\n",
       "   'meals',\n",
       "   ',',\n",
       "   'though'],\n",
       "  ['PRP$', 'NN', 'NN', 'VBP', 'RP', 'IN', 'IN', 'NNS', ',', 'IN']),\n",
       " (['folks', 'entertain', 'me', 'from', 'the', 'kitchen', 'doorstep', ','],\n",
       "  ['NNS', 'VBP', 'PRP', 'IN', 'DT', 'NN', 'NN', ',']),\n",
       " (['all', 'in', 'a', 'family', 'row', 'down', 'to', 'the', 'youngest'],\n",
       "  ['DT', 'IN', 'DT', 'NN', 'VB', 'IN', 'TO', 'DT', 'JJS']),\n",
       " (['one', 'would', 'suppose', 'they', 'might', 'not', 'be', 'as', 'glad'],\n",
       "  ['CD', 'MD', 'VB', 'PRP', 'MD', 'RB', 'VB', 'IN', 'JJ']),\n",
       " (['to', 'see', 'you', 'as', 'you', 'are', 'to', 'see', 'them'],\n",
       "  ['TO', 'VB', 'PRP', 'IN', 'PRP', 'VBP', 'TO', 'VB', 'PRP']),\n",
       " (['oh', ','], ['UH', ',']),\n",
       " (['because', 'i', 'want', 'their', 'dollar', '?', 'i', 'dont', 'want'],\n",
       "  ['IN', 'NN', 'VBP', 'PRP$', 'NN', '.', 'JJ', 'NN', 'VBP']),\n",
       " (['EOS'], ['NN']),\n",
       " (['anything', 'theyve', 'not', 'got', 'i', 'never', 'dun'],\n",
       "  ['NN', 'VBZ', 'RB', 'VBN', 'RB', 'RB', 'NN']),\n",
       " (['im',\n",
       "   'there',\n",
       "   ',',\n",
       "   'and',\n",
       "   'they',\n",
       "   'can',\n",
       "   'pay',\n",
       "   'me',\n",
       "   'if',\n",
       "   'they',\n",
       "   'like'],\n",
       "  ['NN', 'RB', ',', 'CC', 'PRP', 'MD', 'VB', 'PRP', 'IN', 'PRP', 'VBP']),\n",
       " (['i', 'go', 'nowhere', 'on', 'purpose', 'i', 'happen', 'by'],\n",
       "  ['NN', 'VBP', 'RB', 'IN', 'NN', 'NN', 'VBP', 'IN']),\n",
       " (['sorry', 'there', 'is', 'no', 'cup', 'to', 'give', 'you', 'a', 'drink'],\n",
       "  ['NN', 'EX', 'VBZ', 'DT', 'NN', 'TO', 'VB', 'PRP', 'DT', 'NN']),\n",
       " (['i', 'drink', 'out', 'of', 'the', 'bottle', 'not', 'your', 'style'],\n",
       "  ['NN', 'VBP', 'IN', 'IN', 'DT', 'NN', 'RB', 'PRP$', 'NN']),\n",
       " (['maynt', 'i', 'offer', 'you', '?'], ['NN', 'NN', 'VBP', 'PRP', '.']),\n",
       " (['no', ',', 'no', ',', 'no', ',', 'thank', 'you'],\n",
       "  ['DT', ',', 'DT', ',', 'DT', ',', 'VB', 'PRP']),\n",
       " (['just', 'as', 'you', 'say', 'heres', 'looking', 'at', 'you', 'then'],\n",
       "  ['RB', 'IN', 'PRP', 'VBP', 'NNS', 'VBG', 'IN', 'PRP', 'RB']),\n",
       " (['and', 'now', 'im', 'leaving', 'you', 'a', 'little', 'while'],\n",
       "  ['CC', 'RB', 'VB', 'VBG', 'PRP', 'DT', 'JJ', 'NN']),\n",
       " (['youll', 'rest', 'easier', 'when', 'im', 'gone', ',', 'perhaps'],\n",
       "  ['RB', 'NN', 'NN', 'WRB', 'NN', 'VBN', ',', 'RB']),\n",
       " (['lie', 'down', 'let', 'yourself', 'go', 'and', 'get', 'some', 'sleep'],\n",
       "  ['RB', 'RP', 'VB', 'PRP', 'VB', 'CC', 'VB', 'DT', 'NN']),\n",
       " (['bnt',\n",
       "   'first',\n",
       "   'lets',\n",
       "   'see',\n",
       "   'what',\n",
       "   'was',\n",
       "   'i',\n",
       "   'going',\n",
       "   'to',\n",
       "   'ask',\n",
       "   'you',\n",
       "   '?'],\n",
       "  ['NN',\n",
       "   'JJ',\n",
       "   'VBZ',\n",
       "   'VBP',\n",
       "   'WP',\n",
       "   'VBD',\n",
       "   'JJ',\n",
       "   'VBG',\n",
       "   'TO',\n",
       "   'VB',\n",
       "   'PRP',\n",
       "   '.']),\n",
       " (['those', 'collars', 'who', 'shall', 'i', 'address', 'them', 'to', ','],\n",
       "  ['DT', 'NNS', 'WP', 'MD', 'VB', 'RB', 'PRP', 'TO', ',']),\n",
       " (['suppose', 'you', 'arent', 'awake', 'when', 'i', 'come', 'back', '?'],\n",
       "  ['NN', 'PRP', 'VBP', 'VB', 'WRB', 'NN', 'VBP', 'RB', '.']),\n",
       " (['really',\n",
       "   ',',\n",
       "   'friend',\n",
       "   ',',\n",
       "   'i',\n",
       "   'cant',\n",
       "   'let',\n",
       "   'you',\n",
       "   'you',\n",
       "   'may',\n",
       "   'need',\n",
       "   'them'],\n",
       "  ['RB', ',', 'NN', ',', 'JJ', 'VBP', 'VB', 'PRP', 'PRP', 'MD', 'VB', 'PRP']),\n",
       " (['not',\n",
       "   'till',\n",
       "   'i',\n",
       "   'shrink',\n",
       "   ',',\n",
       "   'when',\n",
       "   'theyll',\n",
       "   'be',\n",
       "   'out',\n",
       "   'of',\n",
       "   'style'],\n",
       "  ['RB', 'VB', 'JJ', 'NN', ',', 'WRB', 'NN', 'VB', 'IN', 'IN', 'NN']),\n",
       " (['but', 'really', 'i', 'i', 'have', 'so', 'many', 'collars'],\n",
       "  ['CC', 'RB', 'JJ', 'NNS', 'VBP', 'RB', 'JJ', 'NNS']),\n",
       " (['i', 'dont', 'know', 'who', 'i', 'rather', 'would', 'have', 'have', 'them'],\n",
       "  ['JJ', 'NN', 'VBP', 'WP', 'VBP', 'RB', 'MD', 'VB', 'VB', 'PRP']),\n",
       " (['theyre', 'only', 'turning', 'yellow', 'where', 'they', 'are'],\n",
       "  ['NN', 'RB', 'VBG', 'PRP', 'WRB', 'PRP', 'VBP']),\n",
       " (['but', 'youre', 'the', 'doctor', 'as', 'the', 'saying', 'is'],\n",
       "  ['CC', 'PDT', 'DT', 'NN', 'IN', 'DT', 'NN', 'VBZ']),\n",
       " (['ill', 'put', 'the', 'light', 'out', 'dont', 'you', 'wait', 'for', 'me'],\n",
       "  ['NN', 'VBD', 'DT', 'NN', 'RP', 'NN', 'PRP', 'VBP', 'IN', 'PRP']),\n",
       " (['ive', 'just', 'begun', 'the', 'night', 'you', 'get', 'some', 'sleep'],\n",
       "  ['JJ', 'RB', 'VBN', 'DT', 'NN', 'PRP', 'VBP', 'DT', 'NN']),\n",
       " (['ill', 'knock', 'so', 'fashion', 'and', 'peep', 'round', 'the', 'door'],\n",
       "  ['NN', 'VB', 'IN', 'NN', 'CC', 'JJ', 'NN', 'DT', 'NN']),\n",
       " (['when', 'i', 'come', 'back', 'so', 'youll', 'know', 'who', 'it', 'is'],\n",
       "  ['WRB', 'NN', 'VBP', 'RB', 'RB', 'RB', 'VBP', 'WP', 'PRP', 'VBZ']),\n",
       " (['EOS'], ['NN']),\n",
       " (['theres', 'nothing', 'im', 'afraid', 'of', 'like', 'scared', 'people'],\n",
       "  ['NNS', 'NN', 'NN', 'NN', 'IN', 'IN', 'JJ', 'NNS']),\n",
       " (['i', 'dont', 'want', 'you', 'should', 'shoot', 'me', 'in', 'the', 'head'],\n",
       "  ['NNS', 'VBP', 'VBP', 'PRP', 'MD', 'VB', 'PRP', 'IN', 'DT', 'NN']),\n",
       " (['what', 'am', 'i', 'doing', 'carrying', 'off', 'this', 'bottle', '?'],\n",
       "  ['WP', 'VBP', 'JJ', 'VBG', 'VBG', 'RP', 'DT', 'NN', '.']),\n",
       " (['there', 'now', ',', 'you', 'get', 'some', 'sleep'],\n",
       "  ['RB', 'RB', ',', 'PRP', 'VBP', 'DT', 'NN']),\n",
       " (['he', 'shut', 'the', 'door'], ['PRP', 'VBD', 'DT', 'NN']),\n",
       " (['the', 'doctor', 'slid', 'a', 'little', 'down', 'the', 'pillow'],\n",
       "  ['DT', 'NN', 'VBD', 'DT', 'JJ', 'RP', 'DT', 'NN']),\n",
       " (['against', 'the', 'lounge', 'beside', 'it', ',', 'though', 'i', 'doubt'],\n",
       "  ['IN', 'DT', 'NN', 'IN', 'PRP', ',', 'IN', 'JJ', 'NN']),\n",
       " (['if', 'such', 'unlifelike', 'lines', 'kept', 'power', 'to', 'stir'],\n",
       "  ['IN', 'JJ', 'JJ', 'NNS', 'VBD', 'NN', 'TO', 'VB']),\n",
       " (['anything', 'in', 'her', 'after', 'all', 'the', 'years'],\n",
       "  ['NN', 'IN', 'PRP$', 'IN', 'PDT', 'DT', 'NNS']),\n",
       " (['he', 'fell', 'at', 'gettysburg', 'or', 'fredericksburg', ','],\n",
       "  ['PRP', 'VBD', 'IN', 'NN', 'CC', 'NN', ',']),\n",
       " (['i', 'ought', 'to', 'know', 'it', 'makes', 'a', 'difference', 'which'],\n",
       "  ['NN', 'MD', 'TO', 'VB', 'PRP', 'VBZ', 'DT', 'NN', 'WDT']),\n",
       " (['fredericksburg', 'wasnt', 'gettysburg', ',', 'of', 'course'],\n",
       "  ['NN', 'NN', 'NN', ',', 'IN', 'NN']),\n",
       " (['but', 'what', 'im', 'getting', 'to', 'is', 'how', 'forsaken'],\n",
       "  ['CC', 'WP', 'VBZ', 'VBG', 'TO', 'VBZ', 'WRB', 'JJ']),\n",
       " (['a', 'little', 'cottage', 'this', 'has', 'always', 'seemed'],\n",
       "  ['DT', 'JJ', 'NN', 'DT', 'VBZ', 'RB', 'VBN']),\n",
       " (['since', 'she', 'went', 'more', 'than', 'ever', ',', 'but', 'before'],\n",
       "  ['IN', 'PRP', 'VBD', 'RBR', 'IN', 'RB', ',', 'CC', 'IN']),\n",
       " (['i', 'dont', 'mean', 'altogether', 'by', 'the', 'lives'],\n",
       "  ['JJ', 'VBP', 'JJ', 'RB', 'IN', 'DT', 'NNS']),\n",
       " (['that',\n",
       "   'had',\n",
       "   'gone',\n",
       "   'out',\n",
       "   'of',\n",
       "   'it',\n",
       "   ',',\n",
       "   'the',\n",
       "   'father',\n",
       "   'first',\n",
       "   ','],\n",
       "  ['DT', 'VBD', 'VBN', 'IN', 'IN', 'PRP', ',', 'DT', 'NN', 'RB', ',']),\n",
       " (['then', 'the', 'two', 'sons', ',', 'till', 'she', 'was', 'left', 'alone'],\n",
       "  ['RB', 'DT', 'CD', 'NNS', ',', 'IN', 'PRP', 'VBD', 'VBN', 'RB']),\n",
       " (['\\\\(', 'nothing', 'could', 'draw', 'her', 'after', 'those', 'two', 'sons'],\n",
       "  ['NNS', 'NN', 'MD', 'VB', 'PRP$', 'IN', 'DT', 'CD', 'NNS']),\n",
       " (['she', 'valued', 'the', 'considerate', 'neglect'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'NN']),\n",
       " (['she', 'had', 'at', 'some', 'costtaught', 'them', 'after', 'years', '\\\\)'],\n",
       "  ['PRP', 'VBD', 'IN', 'DT', 'VBD', 'PRP', 'IN', 'NNS', 'RB']),\n",
       " (['i', 'meanby', 'the', 'woilz', 'sjhiayjngpasscd', 'it', 'by'],\n",
       "  ['NN', 'VBP', 'DT', 'NN', 'VBD', 'PRP', 'IN']),\n",
       " (['as', 'we', 'almost', 'got', 'by', 'this', 'afternoon'],\n",
       "  ['IN', 'PRP', 'RB', 'VBD', 'IN', 'DT', 'NN']),\n",
       " (['it', 'always', 'seems', 'to', 'me', 'a', 'sort', 'of', 'mark'],\n",
       "  ['PRP', 'RB', 'VBZ', 'TO', 'PRP', 'DT', 'NN', 'IN', 'NN']),\n",
       " (['to', 'measure', 'how', 'far', 'fifty', 'years', 'have', 'brought', 'us'],\n",
       "  ['TO', 'VB', 'WRB', 'RB', 'JJ', 'NNS', 'VBP', 'VBN', 'PRP']),\n",
       " (['why', 'not', 'sit', 'down', 'if', 'you', 'are', 'in', 'no', 'haste', '?'],\n",
       "  ['WRB', 'RB', 'VB', 'RP', 'IN', 'PRP', 'VBP', 'IN', 'DT', 'NN', '.']),\n",
       " (['these', 'doorsteps', 'seldom', 'have', 'a', 'visitor'],\n",
       "  ['DT', 'NNS', 'RB', 'VBP', 'DT', 'NN']),\n",
       " (['the', 'warping', 'boards', 'pull', 'out', 'their', 'own', 'old', 'nails'],\n",
       "  ['DT', 'NN', 'NNS', 'VBP', 'RP', 'PRP$', 'JJ', 'JJ', 'NNS']),\n",
       " (['with',\n",
       "   'none',\n",
       "   'to',\n",
       "   'tread',\n",
       "   'and',\n",
       "   'put',\n",
       "   'them',\n",
       "   'in',\n",
       "   'their',\n",
       "   'place'],\n",
       "  ['IN', 'NN', 'TO', 'VB', 'CC', 'VB', 'PRP', 'IN', 'PRP$', 'NN']),\n",
       " (['she',\n",
       "   'had',\n",
       "   'her',\n",
       "   'own',\n",
       "   'idea',\n",
       "   'of',\n",
       "   'things',\n",
       "   ',',\n",
       "   'the',\n",
       "   'old',\n",
       "   'lady'],\n",
       "  ['PRP', 'VBD', 'PRP', 'JJ', 'NN', 'IN', 'NNS', ',', 'DT', 'JJ', 'NN']),\n",
       " (['and', 'she', 'liked', 'talk', 'she', 'had', 'seen', 'garrison'],\n",
       "  ['CC', 'PRP', 'VBD', 'NN', 'PRP', 'VBD', 'VBN', 'NN']),\n",
       " (['and', 'whittier', ',', 'and', 'had', 'her', 'story', 'of', 'them'],\n",
       "  ['CC', 'NN', ',', 'CC', 'VBD', 'PRP$', 'NN', 'IN', 'PRP']),\n",
       " (['one', 'wasnt', 'long', 'in', 'learning', 'that', 'she', 'thought'],\n",
       "  ['CD', 'NN', 'RB', 'IN', 'VBG', 'IN', 'PRP', 'VBD']),\n",
       " (['whatever', 'else', 'the', 'civil', 'war', 'was', 'for', ','],\n",
       "  ['WDT', 'RB', 'DT', 'JJ', 'NN', 'VBD', 'IN', ',']),\n",
       " (['it', 'wasnt', 'just', 'to', 'keep', 'the', 'states', 'together', ','],\n",
       "  ['PRP', 'VBZ', 'RB', 'TO', 'VB', 'DT', 'NNS', 'RB', ',']),\n",
       " (['nor',\n",
       "   'just',\n",
       "   'to',\n",
       "   'free',\n",
       "   'the',\n",
       "   'slaves',\n",
       "   ',',\n",
       "   'though',\n",
       "   'it',\n",
       "   'did',\n",
       "   'both'],\n",
       "  ['CC', 'RB', 'TO', 'VB', 'DT', 'NNS', ',', 'IN', 'PRP', 'VBD', 'DT']),\n",
       " (['EOS'], ['NN']),\n",
       " (['she', 'wouldnt', 'have', 'believed', 'those', 'ends', 'enough'],\n",
       "  ['PRP', 'WDT', 'VBP', 'VBN', 'DT', 'NNS', 'RB']),\n",
       " (['to', 'have', 'given', 'outright', 'for', 'them', 'all', 'she', 'gave'],\n",
       "  ['TO', 'VB', 'VBN', 'RP', 'IN', 'PRP', 'DT', 'PRP', 'VBD']),\n",
       " (['her', 'giving', 'somehow', 'touched', 'the', 'principle'],\n",
       "  ['PRP$', 'VBG', 'NN', 'VBD', 'DT', 'NN']),\n",
       " (['that', 'all', 'men', 'are', 'created', 'free', 'and', 'equal'],\n",
       "  ['IN', 'DT', 'NNS', 'VBP', 'VBN', 'JJ', 'CC', 'JJ']),\n",
       " (['and', 'to', 'hear', 'her', 'quaint', 'phrasesso', 'removed'],\n",
       "  ['CC', 'TO', 'VB', 'PRP$', 'NN', 'NN', 'VBD']),\n",
       " (['from',\n",
       "   'the',\n",
       "   'worlds',\n",
       "   'view',\n",
       "   'to',\n",
       "   'day',\n",
       "   'of',\n",
       "   'all',\n",
       "   'those',\n",
       "   'things'],\n",
       "  ['IN', 'DT', 'NNS', 'VBP', 'TO', 'NN', 'IN', 'PDT', 'DT', 'NNS']),\n",
       " (['thats', 'a', 'hard', 'mystery', 'of', 'jeffersons'],\n",
       "  ['NNS', 'DT', 'JJ', 'NN', 'IN', 'NNS']),\n",
       " (['what', 'did', 'he', 'mean', '?', 'of', 'course', 'the', 'easy', 'way'],\n",
       "  ['WP', 'VBD', 'PRP', 'VB', '.', 'IN', 'NN', 'DT', 'JJ', 'NN']),\n",
       " (['is', 'to', 'decide', 'it', 'simply', 'isnt', 'true'],\n",
       "  ['VBZ', 'TO', 'VB', 'PRP', 'RB', 'VBZ', 'JJ']),\n",
       " (['it', 'may', 'not', 'be', 'i', 'heard', 'a', 'fellow', 'say', 'so'],\n",
       "  ['PRP', 'MD', 'RB', 'VB', 'JJ', 'VBP', 'DT', 'JJ', 'NN', 'RB']),\n",
       " (['but', 'never', 'mind', ',', 'the', 'welshman', 'got', 'it', 'planted'],\n",
       "  ['CC', 'RB', 'NN', ',', 'DT', 'NN', 'VBD', 'PRP', 'VBD']),\n",
       " (['where', 'it', 'will', 'trouble', 'us', 'a', 'thousand', 'years'],\n",
       "  ['WRB', 'PRP', 'MD', 'NN', 'PRP', 'DT', 'CD', 'NNS']),\n",
       " (['each', 'age', 'will', 'have', 'to', 'reconsider', 'it'],\n",
       "  ['DT', 'NN', 'MD', 'VB', 'TO', 'VB', 'PRP']),\n",
       " (['you',\n",
       "   'couldnt',\n",
       "   'tell',\n",
       "   'her',\n",
       "   'what',\n",
       "   'the',\n",
       "   'west',\n",
       "   'was',\n",
       "   'saying',\n",
       "   ','],\n",
       "  ['PRP', 'VBP', 'VB', 'PRP$', 'WP', 'DT', 'NN', 'VBD', 'VBG', ',']),\n",
       " (['and', 'what', 'the', 'south', 'to', 'her', 'serene', 'belief'],\n",
       "  ['CC', 'WP', 'DT', 'NN', 'TO', 'PRP$', 'JJ', 'NN']),\n",
       " (['she', 'had', 'some', 'art', 'of', 'hearing', 'and', 'yet', 'not'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'IN', 'NN', 'CC', 'RB', 'RB']),\n",
       " (['hearing', 'the', 'latter', 'wisdom', 'of', 'the', 'world'],\n",
       "  ['VBG', 'DT', 'JJ', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['white', 'was', 'the', 'only', 'race', 'she', 'ever', 'knew'],\n",
       "  ['JJ', 'VBD', 'DT', 'JJ', 'NN', 'PRP', 'RB', 'VBD']),\n",
       " (['black', 'she', 'had', 'scarcely', 'seen', ',', 'and', 'yellow', 'never'],\n",
       "  ['JJ', 'PRP', 'VBD', 'RB', 'VBN', ',', 'CC', 'VB', 'RB']),\n",
       " (['but', 'how', 'could', 'they', 'be', 'made', 'so', 'very', 'unlike'],\n",
       "  ['CC', 'WRB', 'MD', 'PRP', 'VB', 'VBN', 'RB', 'RB', 'IN']),\n",
       " (['by', 'the', 'same', 'hand', 'working', 'in', 'the', 'same', 'stuff', '?'],\n",
       "  ['IN', 'DT', 'JJ', 'NN', 'VBG', 'IN', 'DT', 'JJ', 'NN', '.']),\n",
       " (['she', 'had', 'supposed', 'the', 'war', 'decided', 'that'],\n",
       "  ['PRP', 'VBD', 'VBN', 'DT', 'NN', 'VBD', 'IN']),\n",
       " (['what',\n",
       "   'are',\n",
       "   'you',\n",
       "   'going',\n",
       "   'to',\n",
       "   'do',\n",
       "   'with',\n",
       "   'such',\n",
       "   'a',\n",
       "   'person',\n",
       "   '?'],\n",
       "  ['WP', 'VBP', 'PRP', 'VBG', 'TO', 'VB', 'IN', 'PDT', 'DT', 'NN', '.']),\n",
       " (['strange', 'how', 'such', 'innocence', 'gets', 'its', 'own', 'way'],\n",
       "  ['JJ', 'WRB', 'JJ', 'NN', 'VBZ', 'PRP$', 'JJ', 'NN']),\n",
       " (['i', 'shouldnt', 'be', 'surprised', 'if', 'in', 'this', 'world'],\n",
       "  ['NN', 'VBP', 'VB', 'VBN', 'IN', 'IN', 'DT', 'NN']),\n",
       " (['it', 'were', 'the', 'force', 'that', 'would', 'at', 'last', 'prevail'],\n",
       "  ['PRP', 'VBD', 'DT', 'NN', 'WDT', 'MD', 'IN', 'JJ', 'NN']),\n",
       " (['do', 'you', 'know', 'but', 'for', 'her', 'there', 'was', 'a', 'time'],\n",
       "  ['VB', 'PRP', 'VB', 'CC', 'IN', 'PRP$', 'EX', 'VBD', 'DT', 'NN']),\n",
       " (['when', 'to', 'please', 'younger', 'members', 'of', 'the', 'church', ','],\n",
       "  ['WRB', 'TO', 'VB', 'JJR', 'NNS', 'IN', 'DT', 'NN', ',']),\n",
       " (['or', 'rather', 'say', 'non', 'members', 'in', 'the', 'church', ','],\n",
       "  ['CC', 'RB', 'VB', 'JJ', 'NNS', 'IN', 'DT', 'NN', ',']),\n",
       " (['whom', 'we', 'all', 'have', 'to', 'think', 'of', 'nowadays', ','],\n",
       "  ['WP', 'PRP', 'DT', 'VBP', 'TO', 'VB', 'IN', 'NNS', ',']),\n",
       " (['EOS'], ['NN']),\n",
       " (['i',\n",
       "   'would',\n",
       "   'have',\n",
       "   'changed',\n",
       "   'the',\n",
       "   'creed',\n",
       "   'a',\n",
       "   'very',\n",
       "   'little',\n",
       "   '?'],\n",
       "  ['NN', 'MD', 'VB', 'VBN', 'DT', 'NN', 'DT', 'RB', 'JJ', '.']),\n",
       " (['not', 'that', 'she', 'ever', 'had', 'to', 'ask', 'me', 'not', 'to'],\n",
       "  ['RB', 'IN', 'PRP', 'RB', 'VBD', 'TO', 'VB', 'PRP', 'RB', 'TO']),\n",
       " (['it',\n",
       "   'never',\n",
       "   'got',\n",
       "   'so',\n",
       "   'far',\n",
       "   'as',\n",
       "   'that',\n",
       "   'but',\n",
       "   'the',\n",
       "   'bare',\n",
       "   'thought'],\n",
       "  ['PRP', 'RB', 'VBD', 'RB', 'RB', 'IN', 'DT', 'CC', 'DT', 'NN', 'VBD']),\n",
       " (['of', 'her', 'old', 'tremulous', 'bonnet', 'in', 'the', 'pew', ','],\n",
       "  ['IN', 'PRP$', 'JJ', 'JJ', 'NN', 'IN', 'DT', 'NN', ',']),\n",
       " (['and', 'of', 'her', 'half', 'asleep', 'was', 'too', 'much', 'for', 'me'],\n",
       "  ['CC', 'IN', 'PRP$', 'NN', 'NN', 'VBD', 'RB', 'JJ', 'IN', 'PRP']),\n",
       " (['why', ',', 'i', 'might', 'wake', 'her', 'up', 'and', 'startle', 'her'],\n",
       "  ['WRB', ',', 'NN', 'MD', 'VB', 'PRP$', 'NN', 'CC', 'VB', 'PRP$']),\n",
       " (['it', 'was', 'the', 'words', 'descended', 'into', 'hades'],\n",
       "  ['PRP', 'VBD', 'DT', 'NNS', 'VBD', 'IN', 'NNS']),\n",
       " (['that', 'seemed', 'too', 'pagan', 'to', 'our', 'liberal', 'youth'],\n",
       "  ['DT', 'VBD', 'RB', 'JJ', 'TO', 'PRP$', 'JJ', 'NN']),\n",
       " (['you', 'know', 'they', 'suffered', 'from', 'a', 'general', 'onslaught'],\n",
       "  ['PRP', 'VBP', 'PRP', 'VBD', 'IN', 'DT', 'JJ', 'NN']),\n",
       " (['and',\n",
       "   'well',\n",
       "   ',',\n",
       "   'if',\n",
       "   'they',\n",
       "   'werent',\n",
       "   'true',\n",
       "   'why',\n",
       "   'keep',\n",
       "   'right',\n",
       "   'on'],\n",
       "  ['CC', 'RB', ',', 'IN', 'PRP', 'VBP', 'JJ', 'WRB', 'VB', 'NN', 'IN']),\n",
       " (['saying',\n",
       "   'them',\n",
       "   'like',\n",
       "   'the',\n",
       "   'heathen',\n",
       "   '?',\n",
       "   'we',\n",
       "   'could',\n",
       "   'drop',\n",
       "   'them'],\n",
       "  ['VBG', 'PRP', 'IN', 'DT', 'NN', '.', 'PRP', 'MD', 'VB', 'PRP']),\n",
       " (['only', 'there', 'was', 'the', 'bonnet', 'in', 'the', 'pew'],\n",
       "  ['RB', 'EX', 'VBD', 'DT', 'NN', 'IN', 'DT', 'NN']),\n",
       " (['such', 'a', 'phrase', 'couldnt', 'have', 'meant', 'much', 'to', 'her'],\n",
       "  ['JJ', 'DT', 'NN', 'NN', 'VBP', 'VBN', 'JJ', 'TO', 'PRP$']),\n",
       " (['but', 'suppose', 'she', 'had', 'missed', 'it', 'from', 'the', 'creed'],\n",
       "  ['CC', 'VB', 'PRP', 'VBD', 'VBN', 'PRP', 'IN', 'DT', 'NN']),\n",
       " ...]"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lines_and_templates"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "edited = []\n",
    "edited.append((['into', 'my', 'own'], ['IN', 'PRP$', 'NN']))\n",
    "edited.append(['one', 'of', 'my', 'wishes', 'is', 'that', 'those', 'dark', 'trees', ','],\n",
    "  ['CD', 'IN', 'PRP$', 'NNS', 'VBZ', 'IN', 'DT', 'JJ', 'NNS', ',']))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# HOW MANY SINGULAR NOUNS WITH HAVE IN LINE 2?\n",
    "get_pos_tag(dat[1]).count('NN')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('fly', 'NN')]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#fly is a noun according to this, but it should also be a verb\n",
    "nltk.pos_tag(['fly'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "# In order to get all possible tags for a particular word, we need to search over some corpus and find them.\n",
    "#Search all tags for every word in the dataset\n",
    "from collections import defaultdict, Counter\n",
    "import itertools\n",
    "counts = defaultdict(Counter)\n",
    "tagged_sents = [nltk.pos_tag(sent) for sent in dat]\n",
    "for word, pos in itertools.chain(*tagged_sents):\n",
    "     counts[word][pos] += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import defaultdict, Counter\n",
    "import itertools\n",
    "counts_sent= defaultdict(int)\n",
    "for sent in dataset:\n",
    "    str_sent=' '.join(sent)\n",
    "    counts_sent[str_sent] += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Counter({'NN': 13, 'VB': 6})"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#fly is a verb and a noun\n",
    "counts['fly']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Counter()\n",
      "Counter({'NN': 16})\n"
     ]
    }
   ],
   "source": [
    "#kind is a noun, but \n",
    "print (counts['report'])\n",
    "print(counts['kind'])\n",
    "\n",
    "##add more examples pbt or brown nltk.corpus.brown"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'from nltk.corpus import brown\\nprint (brown.words())\\ntagged_sents = nltk.pos_tag(brown.words())\\nfor word, pos in tagged_sents:\\n     counts[word][pos] += 1'"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# search over brown corpus too\n",
    "\"\"\"from nltk.corpus import brown\n",
    "print (brown.words())\n",
    "tagged_sents = nltk.pos_tag(brown.words())\n",
    "for word, pos in tagged_sents:\n",
    "     counts[word][pos] += 1\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "#create dictionary TAG--> WORDS\n",
    "tag2words=defaultdict(list)\n",
    "wordTOtags=defaultdict(list)\n",
    "word2tags=defaultdict(list)\n",
    "for word, tag in zip(list(counts.keys()), list(counts.values())):\n",
    "    mc=tag.most_common(3)\n",
    "    for pos_t in mc:\n",
    "        #tag2words[pos_t].append(word.lower())\n",
    "        wordTOtags[word.lower()].append(pos_t)\n",
    "for word, tag in zip(list(wordTOtags.keys()), list(wordTOtags.values())):\n",
    "    list_t=sorted(tag, key=lambda tup: tup[1], reverse=True)\n",
    "    for x in list_t:\n",
    "        if float(x[1])/(list_t[0][1])>0.3:\n",
    "            word2tags[word].append(x[0])\n",
    "            tag2words[x[0]].append(word)\n",
    "            "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('DT', 70), ('NNP', 19)]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(counts.values())[192].most_common(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['VBD']"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word2tags['was']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['wishes',\n",
       " 'trees',\n",
       " 'walls',\n",
       " 'raspberries',\n",
       " 'fences',\n",
       " 'vines',\n",
       " 'woods',\n",
       " 'chops',\n",
       " 'forgotten',\n",
       " 'bats']"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tag2words['NNS'][:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'CD IN PRP$ NNS VBZ IN DT JJ NNS ,'"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "' '.join(dataset[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "NN2postag=defaultdict(list)\n",
    "for sent in dataset:\n",
    "    if sent.count('NN')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'NN']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['NN-NN'].append((sent, aux))\n",
    "    if sent.count('NN')==1 and sent.count('NNS')==1:\n",
    "        idxnn=sent.index('NN')\n",
    "        idxnns=sent.index('NNS')\n",
    "        NN2postag['NN-NNS'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('NNS')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'NNS']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['NNS-NNS'].append((sent, aux))\n",
    "    #####################################\n",
    "    if sent.count('VB')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'VB']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['VB-VB'].append((sent, aux))\n",
    "    if sent.count('VB')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'VB']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['VB-VB'].append((sent, aux))\n",
    "    if sent.count('NN')==1 and sent.count('VB')==1:\n",
    "        idxnn=sent.index('NN')\n",
    "        idxnns=sent.index('VB')\n",
    "        NN2postag['NN-VB'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('NNS')==1 and sent.count('VB')==1:\n",
    "        idxnn=sent.index('NNS')\n",
    "        idxnns=sent.index('VB')\n",
    "        NN2postag['NNS-VB'].append((sent,[idxnn, idxnns]))\n",
    "    ##################################################\n",
    "    if sent.count('RB')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'RB']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['RB-RB'].append((sent, aux))\n",
    "    if sent.count('NN')==1 and sent.count('RB')==1:\n",
    "        idxnn=sent.index('NN')\n",
    "        idxnns=sent.index('RB')\n",
    "        NN2postag['NN-RB'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('NNS')==1 and sent.count('RB')==1:\n",
    "        idxnn=sent.index('NNS')\n",
    "        idxnns=sent.index('RB')\n",
    "        NN2postag['NNS-RB'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('RB')==1 and sent.count('VB')==1:\n",
    "        idxnn=sent.index('RB')\n",
    "        idxnns=sent.index('VB')\n",
    "        NN2postag['RB-VB'].append((sent,[idxnn, idxnns]))\n",
    "    #####################################################\n",
    "    if sent.count('JJ')>1:\n",
    "        aux=[i for i,x in enumerate(sent) if x == 'JJ']\n",
    "        aux=random.sample(aux, 2)\n",
    "        NN2postag['JJ-JJ'].append((sent, aux))\n",
    "    if sent.count('NN')==1 and sent.count('JJ')==1:\n",
    "        idxnn=sent.index('JJ')\n",
    "        idxnns=sent.index('NN')\n",
    "        NN2postag['JJ-NN'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('NNS')==1 and sent.count('JJ')==1:\n",
    "        idxnn=sent.index('JJ')\n",
    "        idxnns=sent.index('NNS')\n",
    "        NN2postag['JJ-NNS'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('JJ')==1 and sent.count('VB')==1:\n",
    "        idxnn=sent.index('JJ')\n",
    "        idxnns=sent.index('VB')\n",
    "        NN2postag['JJ-VB'].append((sent,[idxnn, idxnns]))\n",
    "    if sent.count('JJ')==1 and sent.count('RB')==1:\n",
    "        idxnn=sent.index('JJ')\n",
    "        idxnns=sent.index('RB')\n",
    "        NN2postag['JJ-RB'].append((sent,[idxnn, idxnns]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "tagTowords={}\n",
    "for key, value in tag2words.items():\n",
    "    tagTowords[key]=list(set(value))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "$: dollar\n",
      "    $ -$ --$ A$ C$ HK$ M$ NZ$ S$ U.S.$ US$\n",
      "'': closing quotation mark\n",
      "    ' ''\n",
      "(: opening parenthesis\n",
      "    ( [ {\n",
      "): closing parenthesis\n",
      "    ) ] }\n",
      ",: comma\n",
      "    ,\n",
      "--: dash\n",
      "    --\n",
      ".: sentence terminator\n",
      "    . ! ?\n",
      ":: colon or ellipsis\n",
      "    : ; ...\n",
      "CC: conjunction, coordinating\n",
      "    & 'n and both but either et for less minus neither nor or plus so\n",
      "    therefore times v. versus vs. whether yet\n",
      "CD: numeral, cardinal\n",
      "    mid-1890 nine-thirty forty-two one-tenth ten million 0.5 one forty-\n",
      "    seven 1987 twenty '79 zero two 78-degrees eighty-four IX '60s .025\n",
      "    fifteen 271,124 dozen quintillion DM2,000 ...\n",
      "DT: determiner\n",
      "    all an another any both del each either every half la many much nary\n",
      "    neither no some such that the them these this those\n",
      "EX: existential there\n",
      "    there\n",
      "FW: foreign word\n",
      "    gemeinschaft hund ich jeux habeas Haementeria Herr K'ang-si vous\n",
      "    lutihaw alai je jour objets salutaris fille quibusdam pas trop Monte\n",
      "    terram fiche oui corporis ...\n",
      "IN: preposition or conjunction, subordinating\n",
      "    astride among uppon whether out inside pro despite on by throughout\n",
      "    below within for towards near behind atop around if like until below\n",
      "    next into if beside ...\n",
      "JJ: adjective or numeral, ordinal\n",
      "    third ill-mannered pre-war regrettable oiled calamitous first separable\n",
      "    ectoplasmic battery-powered participatory fourth still-to-be-named\n",
      "    multilingual multi-disciplinary ...\n",
      "JJR: adjective, comparative\n",
      "    bleaker braver breezier briefer brighter brisker broader bumper busier\n",
      "    calmer cheaper choosier cleaner clearer closer colder commoner costlier\n",
      "    cozier creamier crunchier cuter ...\n",
      "JJS: adjective, superlative\n",
      "    calmest cheapest choicest classiest cleanest clearest closest commonest\n",
      "    corniest costliest crassest creepiest crudest cutest darkest deadliest\n",
      "    dearest deepest densest dinkiest ...\n",
      "LS: list item marker\n",
      "    A A. B B. C C. D E F First G H I J K One SP-44001 SP-44002 SP-44005\n",
      "    SP-44007 Second Third Three Two * a b c d first five four one six three\n",
      "    two\n",
      "MD: modal auxiliary\n",
      "    can cannot could couldn't dare may might must need ought shall should\n",
      "    shouldn't will would\n",
      "NN: noun, common, singular or mass\n",
      "    common-carrier cabbage knuckle-duster Casino afghan shed thermostat\n",
      "    investment slide humour falloff slick wind hyena override subhumanity\n",
      "    machinist ...\n",
      "NNP: noun, proper, singular\n",
      "    Motown Venneboerger Czestochwa Ranzer Conchita Trumplane Christos\n",
      "    Oceanside Escobar Kreisler Sawyer Cougar Yvette Ervin ODI Darryl CTCA\n",
      "    Shannon A.K.C. Meltex Liverpool ...\n",
      "NNPS: noun, proper, plural\n",
      "    Americans Americas Amharas Amityvilles Amusements Anarcho-Syndicalists\n",
      "    Andalusians Andes Andruses Angels Animals Anthony Antilles Antiques\n",
      "    Apache Apaches Apocrypha ...\n",
      "NNS: noun, common, plural\n",
      "    undergraduates scotches bric-a-brac products bodyguards facets coasts\n",
      "    divestitures storehouses designs clubs fragrances averages\n",
      "    subjectivists apprehensions muses factory-jobs ...\n",
      "PDT: pre-determiner\n",
      "    all both half many quite such sure this\n",
      "POS: genitive marker\n",
      "    ' 's\n",
      "PRP: pronoun, personal\n",
      "    hers herself him himself hisself it itself me myself one oneself ours\n",
      "    ourselves ownself self she thee theirs them themselves they thou thy us\n",
      "PRP$: pronoun, possessive\n",
      "    her his mine my our ours their thy your\n",
      "RB: adverb\n",
      "    occasionally unabatingly maddeningly adventurously professedly\n",
      "    stirringly prominently technologically magisterially predominately\n",
      "    swiftly fiscally pitilessly ...\n",
      "RBR: adverb, comparative\n",
      "    further gloomier grander graver greater grimmer harder harsher\n",
      "    healthier heavier higher however larger later leaner lengthier less-\n",
      "    perfectly lesser lonelier longer louder lower more ...\n",
      "RBS: adverb, superlative\n",
      "    best biggest bluntest earliest farthest first furthest hardest\n",
      "    heartiest highest largest least less most nearest second tightest worst\n",
      "RP: particle\n",
      "    aboard about across along apart around aside at away back before behind\n",
      "    by crop down ever fast for forth from go high i.e. in into just later\n",
      "    low more off on open out over per pie raising start teeth that through\n",
      "    under unto up up-pp upon whole with you\n",
      "SYM: symbol\n",
      "    % & ' '' ''. ) ). * + ,. < = > @ A[fj] U.S U.S.S.R * ** ***\n",
      "TO: \"to\" as preposition or infinitive marker\n",
      "    to\n",
      "UH: interjection\n",
      "    Goodbye Goody Gosh Wow Jeepers Jee-sus Hubba Hey Kee-reist Oops amen\n",
      "    huh howdy uh dammit whammo shucks heck anyways whodunnit honey golly\n",
      "    man baby diddle hush sonuvabitch ...\n",
      "VB: verb, base form\n",
      "    ask assemble assess assign assume atone attention avoid bake balkanize\n",
      "    bank begin behold believe bend benefit bevel beware bless boil bomb\n",
      "    boost brace break bring broil brush build ...\n",
      "VBD: verb, past tense\n",
      "    dipped pleaded swiped regummed soaked tidied convened halted registered\n",
      "    cushioned exacted snubbed strode aimed adopted belied figgered\n",
      "    speculated wore appreciated contemplated ...\n",
      "VBG: verb, present participle or gerund\n",
      "    telegraphing stirring focusing angering judging stalling lactating\n",
      "    hankerin' alleging veering capping approaching traveling besieging\n",
      "    encrypting interrupting erasing wincing ...\n",
      "VBN: verb, past participle\n",
      "    multihulled dilapidated aerosolized chaired languished panelized used\n",
      "    experimented flourished imitated reunifed factored condensed sheared\n",
      "    unsettled primed dubbed desired ...\n",
      "VBP: verb, present tense, not 3rd person singular\n",
      "    predominate wrap resort sue twist spill cure lengthen brush terminate\n",
      "    appear tend stray glisten obtain comprise detest tease attract\n",
      "    emphasize mold postpone sever return wag ...\n",
      "VBZ: verb, present tense, 3rd person singular\n",
      "    bases reconstructs marks mixes displeases seals carps weaves snatches\n",
      "    slumps stretches authorizes smolders pictures emerges stockpiles\n",
      "    seduces fizzes uses bolsters slaps speaks pleads ...\n",
      "WDT: WH-determiner\n",
      "    that what whatever which whichever\n",
      "WP: WH-pronoun\n",
      "    that what whatever whatsoever which who whom whosoever\n",
      "WP$: WH-pronoun, possessive\n",
      "    whose\n",
      "WRB: Wh-adverb\n",
      "    how however whence whenever where whereby whereever wherein whereof why\n",
      "``: opening quotation mark\n",
      "    ` ``\n"
     ]
    }
   ],
   "source": [
    "nltk.help.upenn_tagset()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "#save results\n",
    "with open('postag_dict.p', 'wb') as f:\n",
    "    pickle.dump([NN2postag, tagTowords,word2tags],f, protocol=2 )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "184"
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(NN2postag['JJ-VB'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(['CC', 'VBD', 'DT', 'NN', 'CC', 'DT', 'JJ', 'NNS', ','], [3, 7])"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "NN2postag['NN-NNS'][0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "714"
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(NN2postag['NN-NNS'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3721"
      ]
     },
     "execution_count": 91,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(dataset)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}