Analise Classificacoes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>Análise das classificações</h2>\n",
    "\n",
    "<i>Após a aquisição das classificações feitas pelos usuários, este código possui o intuito de analisá-las estatisticamente.</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import BaseDados\n",
    "import collections\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import itertools\n",
    "import jsonify\n",
    "from sklearn.metrics import f1_score,confusion_matrix\n",
    "from matplotlib.colors import ListedColormap\n",
    "\n",
    "#https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html\n",
    "def plot_confusion_matrix(cm, classes, title='Matriz Confusão', cmap=None):\n",
    "    cm = cm.astype('float') / cm.sum(axis=0)[np.newaxis, :]\n",
    "        \n",
    "    N = 256\n",
    "    vals = np.ones((N, 4))\n",
    "    newcmp = ListedColormap(vals)\n",
    "    \n",
    "    plt.imshow(cm, interpolation='nearest', cmap=newcmp)\n",
    "    plt.title(title)\n",
    "    tick_marks = np.arange(len(classes))\n",
    "    plt.xticks(tick_marks, classes, rotation=45)\n",
    "    plt.yticks(tick_marks, classes)\n",
    "\n",
    "    fmt = '.2f' if normalize else '.0f'\n",
    "    thresh = cm.max() / 2.\n",
    "    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):\n",
    "        plt.text(j, i, format(cm[i, j], fmt),\n",
    "                 horizontalalignment=\"center\",\n",
    "                 color=\"black\", weight='bold' if i==j else \"normal\")\n",
    "\n",
    "    plt.ylabel('Ground-Truth')\n",
    "    plt.xlabel('Predicted')\n",
    "    plt.tight_layout()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>O código abaixo é utilizado para analisar o score de cada usuário quando o mais votado for considerado como ground-truth, excluindo as classificações com empate</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#if c.Identificador not in [1541786078,1165676880,1331336016]\n",
    "cls = [c for c in BaseDados.GetLetraClassificacoes() if c.Identificador not in [1] ];\n",
    "#Cada Identificador\n",
    "#Cada Musica Classificada por ele\n",
    "#Pega todas as avaliações da música(valencia / assunto) tirando a dele e pega qual teve a maior votacao\n",
    "#Se nao teve maior votada alertar que nao foi possivel definir\n",
    "f1s_val = []; # F1 Score por usuário (Valência)\n",
    "f1s_ass = []; # F1 Score por usuário (Assunto)\n",
    "ids = []; #Identificadores dos usuários\n",
    "qtds = []; #Quantidade classificada por usuário\n",
    "cfns_val = []; #Matriz de confusão por usuário (Valência)\n",
    "cfns_ass = []; #Matriz de confusão por usuário (Assunto)\n",
    "indes_val = []; #Letras que tiveram empate na classificação (Valência)\n",
    "indes_ass = []; #Letras que tiveram empate na classificação (Assunto)\n",
    "for id in set([l.Identificador for l in cls]):\n",
    "    ids.append(id);\n",
    "    vals_mc = []; #Opções mais votadas (valência) para cada letra classificada pelo usuário\n",
    "    vals_id = []; #Opção do usuário (valência)\n",
    "    asss_mc = []; #Opções mais votadas (Assunto) para cada letra classificada pelo usuário\n",
    "    asss_id = [];#Opção do usuário (Assunto)\n",
    "    qtds.append(len([l.Cod_Letra for l in cls if l.Identificador == id]));\n",
    "    for codL in set([l.Cod_Letra for l in cls if l.Identificador == id]):\n",
    "        avals_val = [l.Valencia for l in cls if l.Cod_Letra == codL];\n",
    "        avals_ass = [l.Assunto for l in cls if l.Cod_Letra == codL];\n",
    "        mcs_val = [[c[0],c[1]] for c in collections.Counter(avals_val).most_common()];\n",
    "        mcs_ass = [[c[0],c[1]] for c in collections.Counter(avals_ass).most_common()];\n",
    "        if (len(mcs_val)>1 and mcs_val[0][1] == mcs_val[1][1]):\n",
    "            indes_val.append(codL);\n",
    "        if (len(mcs_ass)>1 and mcs_ass[0][1] == mcs_ass[1][1]):\n",
    "            indes_ass.append(codL);\n",
    "        if not (len(mcs_val)>1 and mcs_val[0][1] == mcs_val[1][1]) :\n",
    "            vals_mc.append(mcs_val[0][0]);\n",
    "            vals_id.append([l.Valencia for l in cls if l.Identificador == id and l.Cod_Letra == codL][0]);\n",
    "        if  not(len(mcs_ass)>1 and mcs_ass[0][1] == mcs_ass[1][1]) :\n",
    "            asss_mc.append(mcs_ass[0][0]);\n",
    "            asss_id.append([l.Assunto for l in cls if l.Identificador == id and l.Cod_Letra == codL][0]);\n",
    "    print(id,\",\",vals_mc,\",\",vals_id,\",\",len([l.Cod_Letra for l in cls if l.Identificador == id]));\n",
    "        \n",
    "    if (len(vals_mc) > 0): \n",
    "        f1s_val.append(f1_score(vals_mc, vals_id, average='macro'));\n",
    "        cfn_vals = confusion_matrix(vals_mc, vals_id);\n",
    "        if cfn_vals.size==4:\n",
    "            cfn_vals = np.resize(cfn_vals,(3,3));\n",
    "        cfns_val.append(cfn_vals);\n",
    "        \n",
    "    if (len(asss_mc) > 0): \n",
    "        f1s_ass.append(f1_score(asss_mc, asss_id, average='macro'));\n",
    "        cfn_asss = confusion_matrix(asss_mc, asss_id);\n",
    "        if cfn_asss.size==4:\n",
    "            cfn_asss = np.resize(cfn_asss,(3,3));\n",
    "        cfns_ass.append(cfn_asss);\n",
    "        \n",
    "print(set(indes_val))\n",
    "print(set(indes_ass))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>O código abaixo apresenta os resultados (F1 de cada usuário) em valência, assunto e quantas letras o mesmo classificou</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(0,len(f1s_val)):\n",
    "    print(ids[i],\"\\t\",f1s_val[i],\"\\t\",f1s_ass[i],\"\\t\",qtds[i])\n",
    "    \n",
    "plt.plot(range(0,len(qtds)),qtds)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>Media de F1 (Assunto)</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(np.array(f1s_ass).mean())\n",
    "print(np.array(f1s_ass).std())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>Media de F1 (Valência)</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(np.array(f1s_val).mean())\n",
    "print(np.array(f1s_val).std())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i></i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sum = 0\n",
    "for i in range(0,len(qtds)):\n",
    "    sum += qtds[i]\n",
    "    \n",
    "print(len(qtds))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>Matriz de confusão(Valência)</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.figure(figsize=(3,3))\n",
    "cfnt = [[0,0,0],[0,0,0],[0,0,0]]\n",
    "for c in cfns_val:\n",
    "    cfnt+= c;\n",
    "plot_confusion_matrix(cfnt,['Pos.','Neu.','Neg.'],1,'');"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>Matriz de confusão(Assunto)</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.figure(figsize=(3,3))\n",
    "cfnt = [[0,0,0],[0,0,0],[0,0,0]]\n",
    "for c in cfns_ass:\n",
    "    cfnt+= c;\n",
    "plot_confusion_matrix(cfnt,['Relat.','Reflec.','Others'],1,'')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<i>Conversão para JSON</i>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "base = BaseDados.SQLiteConn();\n",
    "res = base.execute('''select l.Artista,l.Nome,REPLACE(l.Letra,'\"','') Letra,group_concat(REPLACE(REPLACE(REPLACE(lc.Assunto,'3','Others'),'2','Emotions/Reflections'),'1','Relationship')) Assunto,group_concat(REPLACE(REPLACE(REPLACE(lc.Assunto,'3','Negative'),'2','Neutral'),'1','Positive')) Valencia  from Letras l ,Letra_Classificacoes lc\n",
    "where l.Cod_Letra = lc.Cod_Letra\n",
    "group by l.Cod_Letra''').fetchall();\n",
    "json.dumps([dict(row) for row in res]);"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}