Cálculo medida-F.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"Cálculo medida-F.ipynb","provenance":[],"collapsed_sections":[],"mount_file_id":"16sCQH8szoCTd_rX-JdgQEgTg2Dlww3ve","authorship_tag":"ABX9TyPP9tYmhiLSQ5JgF0dfPLkv"},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"markdown","metadata":{"id":"SUOhumwNGuaf"},"source":["## Instalando pacotes"]},{"cell_type":"code","metadata":{"id":"JX02dWzUGiDK"},"source":["!pip install googletrans"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"SyQEVbZeGs8P"},"source":["!python -m textblob.download_corpora"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"po9p03G1G0Hn"},"source":["## Importando pacotes"]},{"cell_type":"code","metadata":{"id":"tkHLYeqXsqvb","executionInfo":{"status":"ok","timestamp":1606501221837,"user_tz":240,"elapsed":5355,"user":{"displayName":"Klemerson Castro Da Silva","photoUrl":"","userId":"17587398541156172186"}}},"source":["import pandas as pd\n","import numpy as np\n","import time\n","import googletrans as Translator\n","from textblob import TextBlob"],"execution_count":3,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"t35hoo1bHCqv"},"source":["## Lendo o gabarito"]},{"cell_type":"code","metadata":{"id":"YitcXLc-sv5A","executionInfo":{"status":"ok","timestamp":1606501230150,"user_tz":240,"elapsed":4637,"user":{"displayName":"Klemerson Castro Da Silva","photoUrl":"","userId":"17587398541156172186"}}},"source":["df_gabarito = pd.read_csv('/content/drive/MyDrive/UEA - Pós Ciência de Dados/2. Programação para Ciência de Dados/ds-proc-dados-uea/artefatos/dados/gabarito.csv', index_col=0)"],"execution_count":4,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"Ov7M28w6HEy-"},"source":["## Traduzindo os comentários"]},{"cell_type":"code","metadata":{"id":"nnmyqpxHMx0N","executionInfo":{"status":"ok","timestamp":1606501232463,"user_tz":240,"elapsed":1104,"user":{"displayName":"Klemerson Castro Da Silva","photoUrl":"","userId":"17587398541156172186"}}},"source":["translator = Translator.Translator()\n","\n","def traduzir_googletrans(comentario) :\n","  try :\n","    comentario_traduzido = translator.translate(comentario, dest='en').text\n","  except : \n","    comentario_traduzido = comentario\n","  finally :\n","    print(comentario_traduzido) # Apenas para acompanhamento da tradução\n","    time.sleep(1)\n","    return comentario_traduzido"],"execution_count":5,"outputs":[]},{"cell_type":"code","metadata":{"id":"nRf-TbAqHLm4","executionInfo":{"status":"ok","timestamp":1606501235484,"user_tz":240,"elapsed":1035,"user":{"displayName":"Klemerson Castro Da Silva","photoUrl":"","userId":"17587398541156172186"}}},"source":["def traduzir_textblob(comentario) :\n","    try :\n","        comentario_traduzido = TextBlob(comentario).translate(to='us')\n","    except:\n","        comentario_traduzido = comentario\n","    finally:\n","        print(comentario_traduzido) # Apenas para acompanhamento da tradução\n","        time.sleep(1)\n","        return comentario_traduzido"],"execution_count":6,"outputs":[]},{"cell_type":"code","metadata":{"id":"ptl0cZq6LQrb"},"source":["sr_sentences_textblob = df_gabarito['sentence'].apply(traduzir_textblob)"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"kpGGja4wOPi9"},"source":["sr_sentences_googletrans = df_gabarito['sentence'].apply(traduzir_googletrans)"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"2MemtEH6Pczh"},"source":["# Salvando as traduções em arquivo csv por segurança\n","#sr_sentences_textblob.to_csv('/content/drive/MyDrive/UEA - Pós Ciência de Dados/2. Programação para Ciência de Dados/ds-proc-dados-uea/artefatos/dados/200sentencas-textblob.csv')\n","#sr_sentences_googletrans.to_csv('/content/drive/MyDrive/UEA - Pós Ciência de Dados/2. Programação para Ciência de Dados/ds-proc-dados-uea/artefatos/dados/200sentencas-googletrans.csv')"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"xYi0yCHiXgER"},"source":["# Lendo os arquivos traduzidos caso necessários\n","#df_sentences_textblob = pd.read_csv('/content/drive/MyDrive/UEA - Pós Ciência de Dados/2. Programação para Ciência de Dados/ds-proc-dados-uea/artefatos/dados/200sentencas-textblob.csv', index_col=0)\n","#df_sentences_googletrans = pd.read_csv('/content/drive/MyDrive/UEA - Pós Ciência de Dados/2. Programação para Ciência de Dados/ds-proc-dados-uea/artefatos/dados/200sentencas-googletrans.csv', index_col=0)"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"cgaLtShoRnY0"},"source":["## Calculando Subjetividade de ambas as traduções"]},{"cell_type":"code","metadata":{"id":"do1aOW7mR1mq"},"source":["#Função para calcular a subjetividade de um comentário\n","def calcular_subjetividade(comentario) :\n","  try :\n","    comentario_blob = TextBlob(comentario)\n","    return comentario_blob.sentiment.subjectivity\n","  except:\n","    return np.nan"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"YPIXPZquvSNK"},"source":["# Transformando as Series em DataFrames\n","df_sentences_textblob = sr_sentences_textblob.to_frame()\n","df_sentences_googletrans = sr_sentences_googletrans.to_frame()"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"RaSg4IuUSvel"},"source":["# Calculando a subjetividade de ambas as traduções\n","df_sentences_textblob['subjetividade'] = df_sentences_textblob['sentence'].apply(calcular_subjetividade)\n","df_sentences_googletrans['subjetividade'] = df_sentences_googletrans['sentence'].apply(calcular_subjetividade)"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"IKs8UJGrZ9JF"},"source":["## Definindo se a sentença é subjetiva ou objetiva"]},{"cell_type":"code","metadata":{"id":"RKbUFLbGaDUa"},"source":["SUBJETIVIDADE = 0.28  # Objetivo < SUBJETIVIDADE | Opinativo >= SUBJETIVIDADE\n","POLARIDADE_N = 0.15   # Negativo < POLARIDADE_N \n","POLARIDADE_P = 0.2    # Positivo >= POLARIDADE_P\n","                      # [(Neutro >= POLARIDADE_N) e (Neutro < POLARIDADE_P)]"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"mF2z5SV1aHfF"},"source":["def definir_subjetividade(subjetividade) :\n","  if subjetividade < SUBJETIVIDADE :\n","    return 0\n","  else :\n","    return 1"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"_ewtCqPMajcW"},"source":["df_sentences_textblob['subjetividade'] = df_sentences_textblob['subjetividade'].apply(definir_subjetividade)\n","df_sentences_googletrans['subjetividade'] = df_sentences_googletrans['subjetividade'].apply(definir_subjetividade)"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"8LL8XCa7YwHu"},"source":["## Calculando Medida-F de ambas as análises"]},{"cell_type":"code","metadata":{"id":"6HFaCBUXYpRY"},"source":["def precisao(analise, gabarito) :\n","  qtd_acerto = 0\n","  qtd_total = 0\n","  if (len(analise) == len(gabarito)) :\n","    for i in range(len(analise)) :\n","      if (analise[i]==1) :\n","        qtd_total = qtd_total + 1 # Conta a quantidade de sentenças subjetivas indicadas pelo textblob\n","        if (analise[i]==gabarito[i]) : \n","          qtd_acerto = qtd_acerto + 1 # Conta o total de acertos que o textblob realizou referente as sentenças subjetivas do gabarito\n","    return qtd_acerto / qtd_total"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"zGUPYjKAflmp"},"source":["def revocacao(analise, gabarito) :\n","  qtd_acerto = 0\n","  qtd_total = 0\n","  if (len(analise) == len(gabarito)) :\n","    for i in range(len(analise)) :\n","      if (gabarito[i]==1) :\n","        qtd_total = qtd_total = qtd_total + 1 # Conta a quantidade de sentenças subjetivas indicadas pelo gabarito\n","        if (analise[i]==1) :\n","          qtd_acerto = qtd_acerto + 1 # Conta o total de acerto que o textblob realizou referente as sentenças subjetivas do gabarito \n","      return qtd_acerto / qtd_total\n"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"hViu42NAlVk2"},"source":["def medidaf(precisao, revocacao) :\n","  return (2 * precisao * revocacao) / (precisao + revocacao)"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"eBOHN_4aZYFn"},"source":["precisao_googletrans = precisao(list(df_sentences_googletrans['subjetividade']), list(df_gabarito['subjetividade']))\n","revocacao_googletrans = revocacao(list(df_sentences_googletrans['subjetividade']), list(df_gabarito['subjetividade']))\n","medidaf_googletrans = medidaf(precisao_googletrans, revocacao_googletrans)\n","\n","precisao_textblob = precisao(list(df_sentences_textblob['subjetividade']), list(df_gabarito['subjetividade']))\n","revocacao_textblob = revocacao(list(df_sentences_textblob['subjetividade']), list(df_gabarito['subjetividade']))\n","medidaf_textblob = medidaf(precisao_textblob, revocacao_textblob)"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"pXQiBLQ7bf1S","executionInfo":{"status":"ok","timestamp":1606466945419,"user_tz":240,"elapsed":879,"user":{"displayName":"Klemerson Castro Da Silva","photoUrl":"","userId":"17587398541156172186"}},"outputId":"840be167-4002-403b-d11c-ba79d3e665b9"},"source":["print(\"\\n\\nMedidadeF referente à subjetividade das sentenças traduzidas pelo GOOGLETRANS\\n\")\n","print(\"Precisão: {0} \\nRevocação: {1} \\nMedida-F: {2}\".format(precisao_googletrans, revocacao_googletrans, medidaf_googletrans))\n","\n","print(\"\\n\\nMedidaF referente à subjetividade das senteças traduzidas pelo TEXTBLOB\\n\")\n","print(\"Precisão: {0} \\nRevocação: {1} \\nMedida-F: {2}\".format(precisao_googletrans, revocacao_googletrans, medidaf_googletrans))"],"execution_count":null,"outputs":[{"output_type":"stream","text":["\n","\n","MedidadeF referente à subjetividade das sentenças traduzidas pelo GOOGLETRANS\n","\n","Precisão: 0.8551724137931035 \n","Revocação: 1.0 \n","Medida-F: 0.9219330855018588\n","\n","\n","MedidaF referente à subjetividade das senteças traduzidas pelo TEXTBLOB\n","\n","Precisão: 0.8551724137931035 \n","Revocação: 1.0 \n","Medida-F: 0.9219330855018588\n"],"name":"stdout"}]}]}