notebooks/afinn_hisia_comparison.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "jupyter": {
     "outputs_hidden": true
    }
   },
   "source": [
    "# How is Hisia compared to Afinn scoring?\n",
    "\n",
    "### Comparing Afinn (Lexicon) and Hisia (Logistic Regression) scoring models \n",
    "TLDR: Afinn's three weaknesses, namely scoring negation, e.g. 'ikke godt', zero balance due to equally positive and negative words, and a limited lexicon, do not affect Hisia as much as it does in Afinn. From the examples below, both models performed well. Hisia got more right than Afinn, though! :) purely biased.\n",
    "\n",
    "### How comparison dataset was collected\n",
    "Since Hisia has been trained on TrustPilot reviews dataset, it would be unfair to use TrustPilot reviews as a source of comparison data. I turned to Twitter. Gathered tweets with happy|sad face emoji { :)|:( }, and tags [#dumt #lort #hurra] and words like \"ikke dårligt\", \"ikke godt\" (yes!, not fair to afinn. I said I was biased :) ).\n",
    "\n",
    "#### [ Corrections, more examples, and positive criticism are welcome :) ]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "jupyter": {
     "outputs_hidden": true
    }
   },
   "source": [
    "### Install afinn and hisia from PyPI\n",
    "Both models can be installed via `pip install`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import sys\n",
    "\n",
    "!{sys.executable} -m pip install --user -U afinn hisia --quite"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "from afinn import Afinn\n",
    "from hisia import Hisia"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Hisia and Afinn\n",
    "Hisia captures the progression of sentiment. Since Afinn does not have `ikke` and `slet` in its lexicon, it remains the same."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Sentiment(sentiment=positive, positive_probability=0.855, negative_probability=0.145)"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(\"jeg elsker det\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Sentiment(sentiment=positive, positive_probability=0.716, negative_probability=0.284)"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(\"jeg elsker det ikke\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Sentiment(sentiment=negative, positive_probability=0.31, negative_probability=0.69)"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(\"jeg elsker det slet ikke\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'decision': -0.8022944520617156,\n",
       " 'intercept': 0.809727254639209,\n",
       " 'features': {('elsker', 0.9680694667216431),\n",
       "  ('ikke', -3.273671001915033),\n",
       "  ('slet', -2.5845314973083933),\n",
       "  ('slet ikke', -0.9411077377047381)}}"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(\"jeg elsker det slet ikke\").explain"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.0"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "afinn = Afinn(language=\"da\", emoticons=True)\n",
    "afinn.score(\"jeg elsker det\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.0"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "afinn.score(\"jeg elsker det ikke\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.0"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "afinn.score(\"jeg elsker det slet ikke\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[2]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "afinn.scores(\"jeg elsker det slet ikke\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Challenging Twitter: \n",
    "\n",
    "### Tweet context:\n",
    "@HenrikOslo tweets \n",
    "> \"I Norge vises utenlandske filmer og tv-programmer på originalspråket med norsk tekst på skjermen. Det har gjort oss bedre i engelsk, som i sin tur har ført til at Norge har mer handel med utlandet og dermed bedre økonomi. \n",
    "@teksterne @sprakradet @Trinesg\"\n",
    "\n",
    "@kirstenmarie replies \n",
    "> \"Lur mig, om præcis det samme ikke også gælder for Danmark. Med andre ord: Det er min skyld, at I er så gode til engelsk, folkens. #glorie #hurra #undertekster #undertekstning #sprogdk'\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[2, -2]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# remove #hurra. Kirsten comment is positive (:) I think)\n",
    "kirsten = (\n",
    "    \"Lur mig, om præcis det samme ikke også gælder for Danmark. \"\n",
    "    \"Med andre ord: Det er min skyld, at I er så gode til engelsk, folkens\"\n",
    ")\n",
    "afinn.scores(kirsten)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.0"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "afinn.score(kirsten)  # præcis=2, skuld=-2 => 0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Sentiment(sentiment=positive, positive_probability=0.611, negative_probability=0.389)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(kirsten)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'decision': 0.4494347083287573,\n",
       " 'intercept': 0.809727254639209,\n",
       " 'features': {('d:', -0.8454439088709509),\n",
       "  ('danmark', 0.07322370921141824),\n",
       "  ('engelsk', -0.7185225073799087),\n",
       "  ('god', 7.912194182197119),\n",
       "  ('gælde', 0.267493695655813),\n",
       "  ('ikke', -3.273671001915033),\n",
       "  ('ikke gælde', -0.9088410083131598),\n",
       "  ('lure', -1.1732875929657545),\n",
       "  ('ord', -0.25192714420377044),\n",
       "  ('præcis', 2.9469656884580764),\n",
       "  ('præcis samme', -1.4529229373795491),\n",
       "  ('samme', 0.0060464474133157245),\n",
       "  ('samme ikke', -0.34818307531912246),\n",
       "  ('skylde', 0.9491399702954455)}}"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Hisia(kirsten).explain  # debatable but this is what the model learnt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Comparing Afinn and Hisia"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Note: Afinn returns 0 if there is no word found, or the words cancel each other\n",
    "\n",
    "# Data Sources\n",
    "# Manual Tripadvisor dansk\n",
    "# twitter search lang:da #lort\n",
    "#                lang:da \":)\", \":(\",  \"ikke dårligt\", \"ikke godt\"\n",
    "# - * remove the :)|:( and place sentiment 1 for :) and -1 for :( in twitter\n",
    "#     remove #hurra replace # and add # sentiment 1\n",
    "\n",
    "# - ** Dig og mig ved daggry af Sanne Mink Jensen, Glenn Rintved\n",
    "\n",
    "columns = [\"text\", \"sentiment\"]\n",
    "data_set = [\n",
    "    (\n",
    "        \"Lur mig, om præcis det samme ikke også gælder for Danmark. Med andre ord: Det er min skyld, \"\n",
    "        \"at I er så gode til engelsk, folkens. # [...]\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"Så er jeg klar til min halvårlige ‘gløgg’, hvor jeg inviterer alle mine fb-venner ud af ekkokammeret \"\n",
    "        \"og hjem til mig. Vi plejer at være 100 og jeg elsker hvert et øjeblik\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"I går havde bloggen 10 års jubilæum! Tak til alle jer, der kommer med indspark og søde kommentarer: [...] #\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"Vedvarende energi billigere end fossile brændsler inden for ti år, spår FN-rapport #\",\n",
    "        1,\n",
    "    ),\n",
    "    (\"Hvad i alverden skal det gøre godt for? Pouting face #dumt #dyrt\", -1),\n",
    "    (\n",
    "        \"Fantastisk flot billede af DK`s suverænt pæneste “benzinstation”. Ærgerligt vi ikke har flere af dem *\",\n",
    "        1,\n",
    "    ),\n",
    "    (\"Herligt👍🏼 De gode timer, der trods alt er, kommer ikke dårligt tilbage\", 1),\n",
    "    (\"Lad dem bare. Det er tragisk at de ikke har noget bedre at tage sig til *\", 1),\n",
    "    (\n",
    "        \"Nej, nej, nej...brutal politivold er ikke slut i USA. Det bliver ved...og \"\n",
    "        \"ved...og ved, så længe ansvarlige politikere både nationalt og lokalt lader den her slags sadisme foregå *\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Det er der når en eller anden hacker ens computer så man ingen kontrol har, så bliver man nødt til at nulstille *\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Så gerne der blev lagt “bannere” hen over de tomme pladser. En form for tifo etc. Så man i tv ikke ser alle \"\n",
    "        \"de tomme pladser. Har set det brugt i USA på store stadions og det hjælper på den tomhed man oplever. \"\n",
    "        \"Allerhelst tilskuere tilbage men går jo nok noget tid *\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Endnu et vildt lavpunkt fra Trump, som fuldkommen grundløst bliver ved med at påstå, at kritisk tv-vært \"\n",
    "        \"og tidligere republikansk kongresmedlem er morder * Prøv et sekund at forestille dig, at Mette F påstod, \"\n",
    "        \"at Hans Engell var morder. Det er så langt ude. Suk.\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"De fleste jeg kender og møder har ikke tillid til politiet. Og de har det til fælles, at de engang havde tillid til \"\n",
    "        \"politiet, men da de skulle bruge politiet blev de svigtet og dermed opstod mistilliden så.\",\n",
    "        0,\n",
    "    ),\n",
    "    (\n",
    "        \"Jeg nikkede, og han kyssede mig i panden og strøg mig over håret. Det var okay. Det var helt okay, det hele\"\n",
    "        \"Det var ham, der ikke havde passet godt nok pår mig, det var slet ikke min skyld. **\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Shit, Torben! Det ser ikke godt ud, det ser slet ikke godt ud! Er det her en løsning?\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Udemærket hotel. Små værelser men det ved man jo.. Damen der var var utrolig sød og hjælpsom.\"\n",
    "        \" Havde ikke morgenmad med,da jeg syntes det er for dyrt når man ikke spiser så meget.\"\n",
    "        \" Kommer gerne igen\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"En skøn rundtur i den gamle landsby fra 1800 tallet. Fine gamle huse, og nogle steder med arbejdende frivillige. \"\n",
    "        \"Skønne udskårne dyr i træ i naturlig størrelse og mange levende dyr af gamle racer. Bestemt et besøg værd, også \"\n",
    "        \"for børnefamilier.\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"Vi tog en tur til landsbyen men det var en kedelig besøg der var ingen aktivitet og det er ret kedeligt at se \"\n",
    "        \"gamle huse uden at der er historien med anden en en kort tekst\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Have store forventninger til stedet, hvis mad - desværre - ikke levede op til mine forventninger. Det drejede sig \"\n",
    "        \"om konsistens og tørhed samt mængden af fyld, hvortil personalet (desværre) opførte sig meget uprofessionelt\"\n",
    "        \"grænsende til arrogant.\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\" Fatter ikke at man kan gå så højt op i dyr mad.\", -1),\n",
    "    (\n",
    "        \"Befriende bog, der stiller sig kritisk mod alle de gængse selvhjælpsbøger, og tager fat i det det virkelig handler om; \"\n",
    "        \"at være fucking ligeglad med alt det der ikke er i overensstemmelse med vores livs værdier.\",\n",
    "        0,\n",
    "    ),\n",
    "    (\n",
    "        \"Det her er nyt for mig. Det er stærkt bekymrende, at København slår sig op på at være grøn, men smider \"\n",
    "        \"kloakvand i Øresund. Det er uansvarligt og ulækkert. Og naturligvis findes der andre løsninger, selvom \"\n",
    "        \"forvaltningen siger de ikke findes.\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\"Nogen der ved hvorfor #netto spammer mig?\", -1),\n",
    "    (\n",
    "        \"hvordan fanden har de overhoved fået penge for at lave kino.dk ?! det er jo håbløst at finde noget som helst!\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\"Det er ikke dårligt tænkt! Det lyder ihvertfald meget nemmere\", 1),\n",
    "    (\n",
    "        \"Et sted på twitter samles voksne mennesker i forsøg på at overgå hinanden i morsomheder på bekostning af en \"\n",
    "        \"navngiven, kendt person. Jeg forstår det ikke. Og nej, jeg deler det ikke. Det er ikke godt for nogen og \"\n",
    "        \"vidner om en betændt kultur i en vis branche.\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Jeg afblæser streamen i aften fordi jeg føler mig virkelig dårlig.. er svimmel og har det generelt skidt med\"\n",
    "        \"ingen appetit. Det har været et par gode dage med streamen, men må sgu stå over i dag *\",\n",
    "        -1,\n",
    "    ),\n",
    "    (\n",
    "        \"Uha, det lyder skræmmende at skulle undvære de mange daglige fix, men måske skal jeg bare kaste mig ud i det *\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"Lidt skuffende men jeg tror bare at i skal spille lidt flere kampe sammen så i får en form for flow. Jeg tror på jer drenge *\",\n",
    "        1,\n",
    "    ),\n",
    "    (\n",
    "        \"Læs dog hvad der står før du bliver fornærmet. Og vis du er bedre end dem. Det er vel holdet du elsker, ikke fansene?\",\n",
    "        0,\n",
    "    ),\n",
    "]\n",
    "\n",
    "df = pd.DataFrame(data_set, columns=columns)\n",
    "df[\"sentiment\"] = df[\"sentiment\"].map({1: \"positive\", 0: \"neutral\", -1: \"negative\"})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>sentiment</th>\n",
       "      <th>afinn_score</th>\n",
       "      <th>hisia_score</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Lur mig, om præcis det samme ikke også gælder for Danmark. Med andre ord: Det er min skyld, at I er så gode til engelsk, folkens. # [...]</td>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>(positive, 0.611, 0.389)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Så er jeg klar til min halvårlige ‘gløgg’, hvor jeg inviterer alle mine fb-venner ud af ekkokammeret og hjem til mig. Vi plejer at være ...</td>\n",
       "      <td>positive</td>\n",
       "      <td>3</td>\n",
       "      <td>(positive, 0.832, 0.168)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>I går havde bloggen 10 års jubilæum! Tak til alle jer, der kommer med indspark og søde kommentarer: [...] #</td>\n",
       "      <td>positive</td>\n",
       "      <td>4</td>\n",
       "      <td>(positive, 0.752, 0.248)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Vedvarende energi billigere end fossile brændsler inden for ti år, spår FN-rapport #</td>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>(positive, 0.638, 0.362)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Hvad i alverden skal det gøre godt for? Pouting face #dumt #dyrt</td>\n",
       "      <td>negative</td>\n",
       "      <td>4</td>\n",
       "      <td>(negative, 0.264, 0.736)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Fantastisk flot billede af DK`s suverænt pæneste “benzinstation”. Ærgerligt vi ikke har flere af dem *</td>\n",
       "      <td>positive</td>\n",
       "      <td>5</td>\n",
       "      <td>(positive, 0.894, 0.106)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>Herligt👍🏼 De gode timer, der trods alt er, kommer ikke dårligt tilbage</td>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>(positive, 0.972, 0.028)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>Lad dem bare. Det er tragisk at de ikke har noget bedre at tage sig til *</td>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>(positive, 0.988, 0.012)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>Nej, nej, nej...brutal politivold er ikke slut i USA. Det bliver ved...og ved...og ved, så længe ansvarlige politikere både nationalt og...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-3</td>\n",
       "      <td>(negative, 0.17, 0.83)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>Det er der når en eller anden hacker ens computer så man ingen kontrol har, så bliver man nødt til at nulstille *</td>\n",
       "      <td>negative</td>\n",
       "      <td>1</td>\n",
       "      <td>(negative, 0.261, 0.739)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>Så gerne der blev lagt “bannere” hen over de tomme pladser. En form for tifo etc. Så man i tv ikke ser alle de tomme pladser. Har set de...</td>\n",
       "      <td>negative</td>\n",
       "      <td>1</td>\n",
       "      <td>(negative, 0.072, 0.928)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>Endnu et vildt lavpunkt fra Trump, som fuldkommen grundløst bliver ved med at påstå, at kritisk tv-vært og tidligere republikansk kongre...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-8</td>\n",
       "      <td>(negative, 0.032, 0.968)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>De fleste jeg kender og møder har ikke tillid til politiet. Og de har det til fælles, at de engang havde tillid til politiet, men da de ...</td>\n",
       "      <td>neutral</td>\n",
       "      <td>2</td>\n",
       "      <td>(positive, 0.592, 0.408)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>Jeg nikkede, og han kyssede mig i panden og strøg mig over håret. Det var okay. Det var helt okay, det heleDet var ham, der ikke havde p...</td>\n",
       "      <td>negative</td>\n",
       "      <td>1</td>\n",
       "      <td>(negative, 0.105, 0.895)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>Shit, Torben! Det ser ikke godt ud, det ser slet ikke godt ud! Er det her en løsning?</td>\n",
       "      <td>negative</td>\n",
       "      <td>3</td>\n",
       "      <td>(negative, 0.064, 0.936)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>Udemærket hotel. Små værelser men det ved man jo.. Damen der var var utrolig sød og hjælpsom. Havde ikke morgenmad med,da jeg syntes det...</td>\n",
       "      <td>positive</td>\n",
       "      <td>8</td>\n",
       "      <td>(positive, 0.578, 0.422)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>En skøn rundtur i den gamle landsby fra 1800 tallet. Fine gamle huse, og nogle steder med arbejdende frivillige. Skønne udskårne dyr i t...</td>\n",
       "      <td>positive</td>\n",
       "      <td>9</td>\n",
       "      <td>(positive, 0.595, 0.405)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>Vi tog en tur til landsbyen men det var en kedelig besøg der var ingen aktivitet og det er ret kedeligt at se gamle huse uden at der er ...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-5</td>\n",
       "      <td>(negative, 0.111, 0.889)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>Have store forventninger til stedet, hvis mad - desværre - ikke levede op til mine forventninger. Det drejede sig om konsistens og tørhe...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-6</td>\n",
       "      <td>(negative, 0.211, 0.789)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>Fatter ikke at man kan gå så højt op i dyr mad.</td>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>(negative, 0.268, 0.732)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>Befriende bog, der stiller sig kritisk mod alle de gængse selvhjælpsbøger, og tager fat i det det virkelig handler om; at være fucking l...</td>\n",
       "      <td>neutral</td>\n",
       "      <td>0</td>\n",
       "      <td>(negative, 0.175, 0.825)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>Det her er nyt for mig. Det er stærkt bekymrende, at København slår sig op på at være grøn, men smider kloakvand i Øresund. Det er uansv...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-4</td>\n",
       "      <td>(negative, 0.034, 0.966)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>Nogen der ved hvorfor #netto spammer mig?</td>\n",
       "      <td>negative</td>\n",
       "      <td>-3</td>\n",
       "      <td>(negative, 0.084, 0.916)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>hvordan fanden har de overhoved fået penge for at lave kino.dk ?! det er jo håbløst at finde noget som helst!</td>\n",
       "      <td>negative</td>\n",
       "      <td>-4</td>\n",
       "      <td>(negative, 0.007, 0.993)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>Det er ikke dårligt tænkt! Det lyder ihvertfald meget nemmere</td>\n",
       "      <td>positive</td>\n",
       "      <td>-3</td>\n",
       "      <td>(positive, 0.567, 0.433)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>Et sted på twitter samles voksne mennesker i forsøg på at overgå hinanden i morsomheder på bekostning af en navngiven, kendt person. Jeg...</td>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>(negative, 0.02, 0.98)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>Jeg afblæser streamen i aften fordi jeg føler mig virkelig dårlig.. er svimmel og har det generelt skidt medingen appetit. Det har været...</td>\n",
       "      <td>negative</td>\n",
       "      <td>-7</td>\n",
       "      <td>(negative, 0.166, 0.834)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>Uha, det lyder skræmmende at skulle undvære de mange daglige fix, men måske skal jeg bare kaste mig ud i det *</td>\n",
       "      <td>positive</td>\n",
       "      <td>-2</td>\n",
       "      <td>(negative, 0.126, 0.874)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>Lidt skuffende men jeg tror bare at i skal spille lidt flere kampe sammen så i får en form for flow. Jeg tror på jer drenge *</td>\n",
       "      <td>positive</td>\n",
       "      <td>-3</td>\n",
       "      <td>(negative, 0.088, 0.912)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>Læs dog hvad der står før du bliver fornærmet. Og vis du er bedre end dem. Det er vel holdet du elsker, ikke fansene?</td>\n",
       "      <td>neutral</td>\n",
       "      <td>2</td>\n",
       "      <td>(negative, 0.194, 0.806)</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                           text  \\\n",
       "0     Lur mig, om præcis det samme ikke også gælder for Danmark. Med andre ord: Det er min skyld, at I er så gode til engelsk, folkens. # [...]   \n",
       "1   Så er jeg klar til min halvårlige ‘gløgg’, hvor jeg inviterer alle mine fb-venner ud af ekkokammeret og hjem til mig. Vi plejer at være ...   \n",
       "2                                   I går havde bloggen 10 års jubilæum! Tak til alle jer, der kommer med indspark og søde kommentarer: [...] #   \n",
       "3                                                          Vedvarende energi billigere end fossile brændsler inden for ti år, spår FN-rapport #   \n",
       "4                                                                              Hvad i alverden skal det gøre godt for? Pouting face #dumt #dyrt   \n",
       "5                                        Fantastisk flot billede af DK`s suverænt pæneste “benzinstation”. Ærgerligt vi ikke har flere af dem *   \n",
       "6                                                                        Herligt👍🏼 De gode timer, der trods alt er, kommer ikke dårligt tilbage   \n",
       "7                                                                     Lad dem bare. Det er tragisk at de ikke har noget bedre at tage sig til *   \n",
       "8   Nej, nej, nej...brutal politivold er ikke slut i USA. Det bliver ved...og ved...og ved, så længe ansvarlige politikere både nationalt og...   \n",
       "9                             Det er der når en eller anden hacker ens computer så man ingen kontrol har, så bliver man nødt til at nulstille *   \n",
       "10  Så gerne der blev lagt “bannere” hen over de tomme pladser. En form for tifo etc. Så man i tv ikke ser alle de tomme pladser. Har set de...   \n",
       "11  Endnu et vildt lavpunkt fra Trump, som fuldkommen grundløst bliver ved med at påstå, at kritisk tv-vært og tidligere republikansk kongre...   \n",
       "12  De fleste jeg kender og møder har ikke tillid til politiet. Og de har det til fælles, at de engang havde tillid til politiet, men da de ...   \n",
       "13  Jeg nikkede, og han kyssede mig i panden og strøg mig over håret. Det var okay. Det var helt okay, det heleDet var ham, der ikke havde p...   \n",
       "14                                                        Shit, Torben! Det ser ikke godt ud, det ser slet ikke godt ud! Er det her en løsning?   \n",
       "15  Udemærket hotel. Små værelser men det ved man jo.. Damen der var var utrolig sød og hjælpsom. Havde ikke morgenmad med,da jeg syntes det...   \n",
       "16  En skøn rundtur i den gamle landsby fra 1800 tallet. Fine gamle huse, og nogle steder med arbejdende frivillige. Skønne udskårne dyr i t...   \n",
       "17  Vi tog en tur til landsbyen men det var en kedelig besøg der var ingen aktivitet og det er ret kedeligt at se gamle huse uden at der er ...   \n",
       "18  Have store forventninger til stedet, hvis mad - desværre - ikke levede op til mine forventninger. Det drejede sig om konsistens og tørhe...   \n",
       "19                                                                                              Fatter ikke at man kan gå så højt op i dyr mad.   \n",
       "20  Befriende bog, der stiller sig kritisk mod alle de gængse selvhjælpsbøger, og tager fat i det det virkelig handler om; at være fucking l...   \n",
       "21  Det her er nyt for mig. Det er stærkt bekymrende, at København slår sig op på at være grøn, men smider kloakvand i Øresund. Det er uansv...   \n",
       "22                                                                                                    Nogen der ved hvorfor #netto spammer mig?   \n",
       "23                                hvordan fanden har de overhoved fået penge for at lave kino.dk ?! det er jo håbløst at finde noget som helst!   \n",
       "24                                                                                Det er ikke dårligt tænkt! Det lyder ihvertfald meget nemmere   \n",
       "25  Et sted på twitter samles voksne mennesker i forsøg på at overgå hinanden i morsomheder på bekostning af en navngiven, kendt person. Jeg...   \n",
       "26  Jeg afblæser streamen i aften fordi jeg føler mig virkelig dårlig.. er svimmel og har det generelt skidt medingen appetit. Det har været...   \n",
       "27                               Uha, det lyder skræmmende at skulle undvære de mange daglige fix, men måske skal jeg bare kaste mig ud i det *   \n",
       "28                Lidt skuffende men jeg tror bare at i skal spille lidt flere kampe sammen så i får en form for flow. Jeg tror på jer drenge *   \n",
       "29                        Læs dog hvad der står før du bliver fornærmet. Og vis du er bedre end dem. Det er vel holdet du elsker, ikke fansene?   \n",
       "\n",
       "   sentiment  afinn_score               hisia_score  \n",
       "0   positive            0  (positive, 0.611, 0.389)  \n",
       "1   positive            3  (positive, 0.832, 0.168)  \n",
       "2   positive            4  (positive, 0.752, 0.248)  \n",
       "3   positive            0  (positive, 0.638, 0.362)  \n",
       "4   negative            4  (negative, 0.264, 0.736)  \n",
       "5   positive            5  (positive, 0.894, 0.106)  \n",
       "6   positive            0  (positive, 0.972, 0.028)  \n",
       "7   positive            0  (positive, 0.988, 0.012)  \n",
       "8   negative           -3    (negative, 0.17, 0.83)  \n",
       "9   negative            1  (negative, 0.261, 0.739)  \n",
       "10  negative            1  (negative, 0.072, 0.928)  \n",
       "11  negative           -8  (negative, 0.032, 0.968)  \n",
       "12   neutral            2  (positive, 0.592, 0.408)  \n",
       "13  negative            1  (negative, 0.105, 0.895)  \n",
       "14  negative            3  (negative, 0.064, 0.936)  \n",
       "15  positive            8  (positive, 0.578, 0.422)  \n",
       "16  positive            9  (positive, 0.595, 0.405)  \n",
       "17  negative           -5  (negative, 0.111, 0.889)  \n",
       "18  negative           -6  (negative, 0.211, 0.789)  \n",
       "19  negative            0  (negative, 0.268, 0.732)  \n",
       "20   neutral            0  (negative, 0.175, 0.825)  \n",
       "21  negative           -4  (negative, 0.034, 0.966)  \n",
       "22  negative           -3  (negative, 0.084, 0.916)  \n",
       "23  negative           -4  (negative, 0.007, 0.993)  \n",
       "24  positive           -3  (positive, 0.567, 0.433)  \n",
       "25  negative            0    (negative, 0.02, 0.98)  \n",
       "26  negative           -7  (negative, 0.166, 0.834)  \n",
       "27  positive           -2  (negative, 0.126, 0.874)  \n",
       "28  positive           -3  (negative, 0.088, 0.912)  \n",
       "29   neutral            2  (negative, 0.194, 0.806)  "
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[\"afinn_score\"] = df[\"text\"].transform(afinn.score).astype(int)\n",
    "df[\"hisia_score\"] = df[\"text\"].transform(lambda x: Hisia(x).sentiment)\n",
    "pd.set_option(\"display.max_colwidth\", 140)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentiment</th>\n",
       "      <th>afinn</th>\n",
       "      <th>hisia</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>positive</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>positive</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>positive</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>neutral</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>positive</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>positive</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>neutral</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>negative</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>positive</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>neutral</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   sentiment  afinn  hisia\n",
       "0   positive      0      1\n",
       "1   positive      1      1\n",
       "2   positive      1      1\n",
       "3   positive      0      1\n",
       "4   negative      0      1\n",
       "5   positive      1      1\n",
       "6   positive      0      1\n",
       "7   positive      0      1\n",
       "8   negative      0      1\n",
       "9   negative      0      1\n",
       "10  negative      0      1\n",
       "11  negative      0      1\n",
       "12   neutral      0      0\n",
       "13  negative      0      1\n",
       "14  negative      0      1\n",
       "15  positive      1      1\n",
       "16  positive      1      1\n",
       "17  negative      0      1\n",
       "18  negative      0      1\n",
       "19  negative      0      1\n",
       "20   neutral      0      0\n",
       "21  negative      0      1\n",
       "22  negative      0      1\n",
       "23  negative      0      1\n",
       "24  positive      0      1\n",
       "25  negative      0      1\n",
       "26  negative      0      1\n",
       "27  positive      0      0\n",
       "28  positive      0      0\n",
       "29   neutral      0      0"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "(\n",
    "    df.assign(\n",
    "        afinn=(\n",
    "            lambda d: np.select(\n",
    "                [d[\"afinn_score\"].gt(0), d[\"afinn_score\"].lt(0)],\n",
    "                [\"positive\", \"negatie\"],\n",
    "                \"neural\",\n",
    "            )\n",
    "            == d[\"sentiment\"]\n",
    "        ),\n",
    "        hisia=lambda d: d[\"hisia_score\"].transform(lambda x: x[0]) == d[\"sentiment\"],\n",
    "    )\n",
    "    .astype({\"afinn\": int, \"hisia\": int})\n",
    "    .loc[:, [\"sentiment\", \"afinn\", \"hisia\"]]\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "afinn     5\n",
       "hisia    25\n",
       "dtype: int64"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "(\n",
    "    df.assign(\n",
    "        afinn=(\n",
    "            lambda d: np.select(\n",
    "                [d[\"afinn_score\"].gt(0), d[\"afinn_score\"].lt(0)],\n",
    "                [\"positive\", \"negatie\"],\n",
    "                \"neural\",\n",
    "            )\n",
    "            == d[\"sentiment\"]\n",
    "        ),\n",
    "        hisia=lambda d: d[\"hisia_score\"].transform(lambda x: x[0]) == d[\"sentiment\"],\n",
    "    )\n",
    "    .loc[:, [\"afinn\", \"hisia\"]]\n",
    "    .astype(int)\n",
    "    .sum()\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "afinn    0.166667\n",
       "hisia    0.833333\n",
       "dtype: float64"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "(\n",
    "    df.assign(\n",
    "        afinn=(\n",
    "            lambda d: np.select(\n",
    "                [d[\"afinn_score\"].gt(0), d[\"afinn_score\"].lt(0)],\n",
    "                [\"positive\", \"negatie\"],\n",
    "                \"neural\",\n",
    "            )\n",
    "            == d[\"sentiment\"]\n",
    "        ),\n",
    "        hisia=lambda d: d[\"hisia_score\"].transform(lambda x: x[0]) == d[\"sentiment\"],\n",
    "    )\n",
    "    .loc[:, [\"afinn\", \"hisia\"]]\n",
    "    .astype(int)\n",
    "    .sum()\n",
    ") / df.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "hisia",
   "language": "python",
   "name": "hisia"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}