4th_year/Slides/7_Sentiment.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Извлечение мнений и оценка тональности: введение.\n",
    "\n",
    "### Екатерина Владимировна Еникеева\n",
    "\n",
    "### 2023"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Основные темы\n",
    "\n",
    "### 1. Sentiment analysis\n",
    "выявление / классификация оценочных суждений об объекте\n",
    "\n",
    "### 2. Opinion mining\n",
    "*примерно* взаимозаменяемы с 1.\n",
    "- более широкий контекст\n",
    "- изначально - выявление суждений об определённой характеристике (аспекте) объекта мнения\n",
    "- может включать собственно майнинг данных\n",
    "\n",
    "### 3. Subjectivity detection\n",
    "выявление субъективной информации: факты vs. мнения/эмоции, ср.:\n",
    "\n",
    "<span style=\"color:red\">По мнению журнала</span>, американский флот имеет наибольшее число кораблей и самую большую зону ответственности.  \n",
    "\n",
    "Королевский военно-морской флот Великобритании, насчитывающий 19 фрегатов и эсминцев \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Единицы анализа\n",
    "\n",
    "1. Субъект оценки (opinion holder)\n",
    "2. Объект оценки (opinion target)\n",
    "3. Аспект (attribute, feature)\n",
    "4. Ориентация (полярность) оценки\n",
    "\n",
    "<img src=\"7_Sentiment/holder_1.png\" align=center/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Мотивация\n",
    "\n",
    "> Почему выделяем в отдельную задачу, а не включаем в классификацию текстов?\n",
    "\n",
    "- тональность - многоуровневое явление\n",
    "- много разнородных данных - применимо в разных направлениях индустрии\n",
    "- разные темы (объекты мнения) - разные факторы\n",
    "- несколько явлений:\n",
    "  - opinions, sentiments, evaluations, appraisals, attitudes, emotions\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Уровни анализа\n",
    "\n",
    "### Document-level\n",
    "документ = мнение об одном объекте $\\rightarrow$ оценка\n",
    "\n",
    "### Sentence-level\n",
    "документ > предложения $\\rightarrow$ оценка $+/-/0$\n",
    "\n",
    "### Entity and aspect level\n",
    "(feature-based analysis)\n",
    "\n",
    "оценка относительно объекта / аспекта\n",
    "\n",
    "оценка: абсолютная / сравнительная (*Coke tastes better than Pepsi*)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Уровни анализа\n",
    "\n",
    "Мне <span style=\"color:blue\">все</span> <span style=\"color:red\">очень понравилось</span>. <span style=\"color:blue\">Официантка</span> <span style=\"color:red\">приветливая</span>. <span style=\"color:blue\">Еда</span> <span style=\"color:red\">вкусная</span>.\n",
    "\n",
    "Общая оценка:  positive\n",
    "\n",
    "------------\n",
    "\n",
    "<span style=\"color:blue\">Все</span> было <span style=\"color:red\">ужасно</span>. <span style=\"color:blue\">Официанты</span> подавали все <span style=\"color:red\">крайне медленно</span>. <span style=\"color:blue\">Еда</span> была <span style=\"color:red\">холодная</red>.\n",
    "\n",
    "Общая оценка: negative"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Уровни анализа\n",
    "\n",
    "<img width=600 src=\"7_Sentiment/sentiru.png\"/>\n",
    "\n",
    "Источник: http://www.dialog-21.ru/evaluation/2015/sentiment/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Что включается в мнение/opinion?\n",
    "\n",
    "`Posted by: John Smith    Date: September 10, 2011\n",
    "“(1) I bought a Canon G12 camera six months ago. (2) I simply love it. \n",
    "(3) The picture quality is amazing. (4) The battery life is also long.\n",
    "(5) However, my wife thinks it is too heavy for her.” `\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Один отзыв - несколько мнений \n",
    "- обо всём объекте (2)\n",
    "- об отдельных аспектах (3-4)\n",
    "- несколько субъектов (opinion holders) (5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# ABSA - Aspect-based Sentiment Analysis\n",
    "\n",
    "1. **entity extraction and categorization** - извлечение всех упоминаний объекта (entity) $e$\n",
    "2. **aspect extraction and categorization** - извлечение всех упоминаний аспектов $a_{e}$ и их кластеризация - к какой категории относится упоминание\n",
    "3. **opinion holder extraction and categorization** - выделение субъектов мнений $h$\n",
    "4. **time extraction and standardization** - время $t$\n",
    "5. **aspect sentiment classification** - приписываем каждому аспекту $a_{e}$ тональность $s$ по заданной шкале\n",
    "6. **opinion quintuple generation** - для каждого документа получаем пятёрку: \n",
    "$$(e, a_{e}, s, h, t)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Итоговая цель SA\n",
    "\n",
    "Извлекаем __мнения__ из __коллекции__ текстов об одном объекте\n",
    "- в отличие от _извлечения фактов (NER, fact extraction)_\n",
    "- мнения субъективны, нужно извлечь обобщённую картину"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Резюме: задачи\n",
    "\n",
    "- разграничение эмоционально окрашенных (несущих субъективную оценку) и нейтральных текстов (фрагментов текстов);\n",
    "- определение общей положительной vs. отрицательной оценки, содержащейся в тексте; \n",
    "- определение оценки относительно некоторого оцениваемого объекта / аспекта оцениваемого объекта и, соответственно, объекта или аспект оценки;\n",
    "- создание специальных словарей экспрессивной и оценочной лексики"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Приложения SA\n",
    "\n",
    "<img width=200 src=\"7_Sentiment/yamarket.png\"/>\n",
    "\n",
    "Источник: https://m.market.yandex.ru/product--fotoapparat-canon-eos-600d-kit/6988659/reviews?track=ftr_desktop_to_touch&pda-redir=1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Приложения SA\n",
    "\n",
    "экономика, социология - корреляция настроения пользователей и состояния рынка ценных бумаг\n",
    "\n",
    "<img width=600 src=\"7_Sentiment/dowjones.png\"/>\n",
    "\n",
    "Источник: Johan Bollen, Huina Mao, Xiaojun Zeng. 2011. Twitter mood predicts the stock market,\n",
    "Journal of Computational Science 2:1, 1-8. doi:10.1016/j.jocs.2010.12.007\n",
    "https://arxiv.org/pdf/1010.3003.pdf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Приложения SA\n",
    "маркетинг — анализируем соцсети на предмет оценки бренда / продукта\n",
    "\n",
    "\n",
    "<img src=\"7_Sentiment/social-searcher.png\">\n",
    "\n",
    "Источник: https://www.social-searcher.com/social-buzz/?q5=google+"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Приложения SA\n",
    "политология — собираем данные из блогов о политических взглядах населения\n",
    "\n",
    "<img width=700 src=\"7_Sentiment/polls.png\"/>\n",
    "\n",
    "Источник: Brendan O'Connor, Ramnath Balasubramanyan, Bryan R. Routledge, and Noah A. Smith. 2010. From Tweets to Polls: Linking Text Sentiment to Public Opinion Time Series. In ICWSM-2010"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Приложения SA\n",
    "медицина и психология — определяем депрессию / отслеживаем настроение пользователей во время пандемии и т.д.\n",
    "\n",
    "<img width=900 src=\"7_Sentiment/covid.png\"/>\n",
    "\n",
    "Источник: https://arxiv.org/pdf/2007.13169.pdf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Применение subjectivity detection\n",
    "\n",
    "1. Фильтрация субъективных фрагментов при:\n",
    "- извлечении фактов\n",
    "- автоматическом реферировании\n",
    "\n",
    "2. Собственно opinion mining\n",
    "\n",
    "3. Связанные задачи:\n",
    "- irony detection\n",
    "- humor detection"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "Twitter Sentiment Analysis https://alt.qcri.org/semeval2016/task4/\n",
    "\n",
    "Irony Detection (SemEval'18) https://aclanthology.org/S18-1005.pdf\n",
    "\n",
    "Humor Assessment https://competitions.codalab.org/competitions/20970"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Данные для SA\n",
    "\n",
    "1. Text-level sentiment\n",
    "\n",
    "- [IMDB dataset](https://ai.stanford.edu/~amaas/data/sentiment/)\n",
    "- [Yelp reviews](https://www.yelp.com/dataset)\n",
    "- [SemEval Twitter dataset](https://alt.qcri.org/semeval2016/task4/)\n",
    "- ...\n",
    "\n",
    "2. Aspect-based sentiment\n",
    "- [SemEval-2016 ABSA dataset](https://alt.qcri.org/semeval2016/task5/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "А также https://alt.qcri.org/semeval2014/task4/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Представление данных для SA\n",
    "\n",
    "### Text-level\n",
    "текст + оценка ($-/0/+$, 1...5, 1...10 etc.)\n",
    "\n",
    "### Aspect-level\n",
    "(пример из SemEval-2016)\n",
    "\n",
    "```\n",
    "Review id:RST1 (Restaurant)\n",
    "S1:I was very disappointed with this restaurant. →\n",
    "{RESTAURANT#GENERAL, “restaurant”, negative, from=\"34\" to=\"44\"}\n",
    "S2:I’ve asked a cart attendant for a lotus leaf wrapped rice and she replied back rice and just walked away. →{SERVICE#GENERAL, “cart attendant”, negative, from=\"12\" to=\"26\"}\n",
    "S3:I had to ask her three times before she finally came back with the dish I’ve requested. →\n",
    "{SERVICE#GENERAL, “NULL”, negative}\n",
    "S4:Food was okay, nothing great. →\n",
    "{FOOD#QUALITY, “Food”, neutral, from=\"0\" to=\"4\"}\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Данные для SA (русскоязычные)\n",
    "\n",
    "- [Imhonet-films](http://romip.ru/ru/collections/imhonet-films.html)\n",
    "\n",
    "\\-\\- набор отзывов пользователей рекомендательного портала Imhonet.ru на фильмы различных жанров - **оценка 1...10**\n",
    "- [Camera reviews](http://romip.ru/ru/collections/ya-market-camera.html)\n",
    "\n",
    "\\-\\- набор отзывов пользователей на цифровые фотокамеры с Яндекс.Маркета - **оценка 1...5**\n",
    "- [SentiRuEval](http://www.dialog-21.ru/evaluation/2015/sentiment/)\n",
    "\n",
    "\\-\\- отзывы о ресторанах / автомобилях - **оценка 1...5** + **поаспектная разметка**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Baseline: Naive Bayes\n",
    "\n",
    "### Признаки\n",
    "- мешок слов (bag of words)\n",
    "- взвешивание (частота / tf\\*idf ...)\n",
    "- фильтрация (только прилагательные / именные группы / ...)\n",
    "- униграммы + биграммы ...\n",
    "- дополнения: эмодзи, отрицательные частицы ...\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Baseline: Naive Bayes\n",
    "\n",
    "### Идея\n",
    "- независимость признаков (naive assumption)\n",
    "- учитываем априорную вероятность класса / оценки\n",
    "\n",
    "Для текста $t$, представленного признаками $x_1...x_n$, и класса $c_j$:\n",
    "\n",
    "$$P(c_i|t)=P(c_j)*\\prod_{i=1}^{n}{P(x_i|c_j)}$$\n",
    "\n",
    "Вероятности для признаков через частоты:\n",
    "$$P(x_i|c_j)=\\frac{count(x_i,c_j)}{\\sum_{x_k\\in X}{count(x_k,c_j)}}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Тональный словарь/лексикон: зачем?\n",
    "\n",
    "### Интерпретируемость\n",
    "- как основа для SA текстов: поаспектный анализ, выделение в тексте ...\n",
    "- как результат анализа текстов: какие лексические единицы используются для выражения оценки\n",
    "\n",
    "### Ограниченный домен  (тема)\n",
    "- тональные выражения повторяются\n",
    "- можно собрать в unsupervised режиме на неограниченном домене - применять к конкретному топику\n",
    "\n",
    "### Более сложные штуки\n",
    "- выделение эмоций, настроения, черт характера"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Эмоциональные состояния\n",
    "\n",
    "Источник: (Scherer 1984)\n",
    "\n",
    "- **Emotion**: brief organically synchronized … evaluation of a major event \n",
    "\n",
    "*angry, sad, joyful, fearful, ashamed, proud, elated*\n",
    "- **Mood**: diffuse non-caused low-intensity long-duration change in subjective feeling\n",
    "\n",
    "*cheerful, gloomy, irritable, listless, depressed, buoyant*\n",
    "- **Interpersonal stances**: affective stance toward another person in a specific interaction\n",
    "\n",
    "*friendly, flirtatious, distant, cold, warm, supportive, contemptuous*\n",
    "> - **Attitudes**: enduring, affectively colored beliefs, dispositions towards objects or persons\n",
    "\n",
    ">*liking, loving, hating, valuing, desiring*\n",
    "- **Personality traits**: stable personality dispositions and typical behavior tendencies: \n",
    "\n",
    "*nervous, anxious, reckless, morose, hostile, jealous*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Примеры лексиконов\n",
    "\n",
    "### [The General Inquirer](http://www.wjh.harvard.edu/~inquirer)\n",
    "\n",
    "### [LIWC (Linguistic Inquiry and Word Count)](http://www.liwc.net/)\n",
    "\n",
    "### [MPQA Subjectivity Cues Lexicon](http://www.cs.pitt.edu/mpqa/subj_lexicon.html) / [MPQA Effect Lexicon](http://mpqa.cs.pitt.edu/lexicons/effect_lexicon/)\n",
    "\n",
    "###  [SentiWordNet](http://sentiwordnet.isti.cnr.it/)\n",
    "\n",
    "### [NRC Lexicon / EmoLex](https://www.saifmohammad.com/WebPages/NRC-Emotion-Lexicon.htm)\n",
    "\n",
    "- позитивные vs. негативные леммы (обычно несколько тысяч)\n",
    "- модификаторы (no, not ...)\n",
    "- когнитивные процессы (think, feel ...)\n",
    "- степень оценки (strong vs. weak)\n",
    "- ..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Effect WordNet\n",
    "\n",
    "Yoonjung Choi and Janyce Wiebe (2014) +/-EffectWordNet: Sense-level Lexicon Acquisition for Opinion Inference, Proc. of EMNLP 2014.\n",
    "\n",
    "<img src=\"7_Sentiment/effect_wordnet.png\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "# Статьи:\n",
    "Stone, P. J., Dunphy, D. C., & Smith, M. S. (1966). The general inquirer: A computer approach to content analysis.\n",
    "    \n",
    "Pennebaker, J. W., Francis, M. E., & Booth, R. J. (2001). Linguistic inquiry and word count: LIWC 2001. Mahway: Lawrence Erlbaum Associates, 71(2001), 2001.\n",
    "\n",
    "Wilson, T., Wiebe, J., & Hoffmann, P. (2005, October). Recognizing contextual polarity in phrase-level sentiment analysis. In Proceedings of human language technology conference and conference on empirical methods in natural language processing (pp. 347-354).\n",
    "\n",
    "Baccianella, S., Esuli, A., & Sebastiani, F. (2010, May). Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Lrec (Vol. 10, No. 2010, pp. 2200-2204).\n",
    "\n",
    "Mohammad, S. M., & Turney, P. D. (2013). Crowdsourcing a word–emotion association lexicon. Computational Intelligence, 29(3), 436-465."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "# Для русского\n",
    "[RuSentiLex](https://www.labinform.ru/pub/rusentilex/index.htm)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Построение тонального лексикона\n",
    "\n",
    "> базовое множество лексем (seed): good, bad\n",
    "\n",
    "как построить seed?\n",
    "- проблема – слова могут иметь разную полярность в разных доменах / жанрах / в разные исторические периоды\n",
    "- согласно экспериментам, лучше начинать с большого современного списка, а не с маленького списка, который стабилен исторически\n",
    "- можно исходить из «общего» списка, а потом тьюнить под область\n",
    "- можно иметь разные списки для разных областей: твиттер, финансы, etc.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Построение тонального лексикона\n",
    "\n",
    "> поиск новых слов на основе seed'а\n",
    "\n",
    "- два полярных множества - эмбеддинги $E_+$ и $E_-$\n",
    "- найдем центроиды:\n",
    "$$V^+=1/n\\sum_{i=1}^{n}{E(w_i^+)}$$\n",
    "$$V^-=1/n\\sum_{i=1}^{n}{E(w_i^-)}$$\n",
    "- тогда для новых кандидатов $w$:\n",
    "$$score(w)=\\cos(E(w),V_{axis})$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Построение тонального лексикона\n",
    "> label propagation - распространение метки\n",
    "\n",
    "- выделим простые паттерны:\n",
    "\n",
    "adj + *and* + adj - одна оценка : *Fair and legitimate, corrupt and brutal*\n",
    "\n",
    "adj +  *but* + adj - противоположные оценки : *fair but brutal*\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Label propagation\n",
    "\n",
    "<img width=900 src=\"7_Sentiment/label_prop.png\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Построение тонального лексикона\n",
    "\n",
    "> Алгоритм Turney (Turney 2002)\n",
    "\n",
    "- seed: *poor, excellent*\n",
    "- выделяем фразы с прилагательным: *ADJ + X*\n",
    "  - положительно-ориентированное словосочетание чаще встречается с *excellent*\n",
    "  - отрицательное – с *poor*\n",
    "- сравниваем коллокации: \n",
    "\n",
    "$$Polarity(phrase) = PMI(phrase,\"excellent\")-PMI(phrase,\"poor\")=...$$\n",
    "\n",
    "$$...=log_2{\\frac{count(phrase,\"excellent\")*count(\"poor\")}{count(phrase,\"poor\")*count(\"excellent\")}}$$\n",
    "\n",
    "- предлагает так же оценивать тональность отзывов в целом"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Построение тонального лексикона\n",
    "\n",
    "> supervised mode: учитываем оценки текстов\n",
    "\n",
    "- частоты слов в положительных/отрицательных отзывах\n",
    "- нормализованные частоты\n",
    "- log likelihood:\n",
    "\n",
    "$$\\frac{P(w|c)}{P(w)} = \\frac{count(w,c)*count(w)}{\\sum_{w\\in c}{count(w,c)}*N}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Potts' diagrams\n",
    "\n",
    "\n",
    "<img width=900 src=\"7_Sentiment/potts.png\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "# Ссылки\n",
    "\n",
    "Vasileios Hatzivassiloglou and Kathleen R. McKeown. 1997. Predicting the Semantic Orientation of Adjectives. ACL, 174–181\n",
    "\n",
    "Turney, P. D. (2002). Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews. arXiv preprint cs/0212032.\n",
    "\n",
    "Potts, Christopher. 2011. On the negativity of negation. SALT 20, 636-659.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Классы лексики\n",
    "\n",
    "- отдельные оценочные слова и выражения с однозначной ориентацией\n",
    "\n",
    "*позитивный, успешный, неплохой, высоким качеством, проигрывает, огромное преимущество, блестящие результаты, слабый, улучшение*\n",
    "\n",
    "- оценочные слова, ориентация которых вычисляется только по отношению того аспекта, относительно которого производится оценка \n",
    "\n",
    "*маленький, не доступно, обгоняет, вырасти *(ср. маленький фотоаппарат - позитив, но маленький экран – негатив, обгоняет по преступности, обгоняет по урожайности, выросла прибыль, выросла преступность и т.п.)\n",
    "\n",
    "- слова, одновременно выражающие и сам процесс оценки, и ее ориентацию\n",
    "\n",
    "*интересен, очень понравилась* – с одной стороны, указывает, что автор приводит личную субъективную оценку, с другой стороны, то, что эта оценка положительна\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Классы лексики\n",
    "\n",
    "- интенсификаторы:  слова усиливающие или ослабляющие степень при оценке\n",
    "\n",
    "*лишь, в большинстве случаев, очень*\n",
    "\n",
    "- инверторы: отрицание и другие слова и выражения, меняющие полярность\n",
    "\n",
    "*не имеет преимуществ, лишь в незначительном числе сюжетов*\n",
    "\n",
    "- нейтрализаторы: слова, языковые выражение и конструкции «нейтрализующие» оценку\n",
    "\n",
    "*был бы неудачным* – модальные слова, будущее время, условное наклонение \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "Sentiment Word Vectors https://ai.stanford.edu/~amaas/papers/wvSent_acl2011.pdf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "## Дополнительная литература по SA в целом:\n",
    "\n",
    "[SA список статей](https://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html)\n",
    "\n",
    "[Sentiment Analysis and Opinion Mining - book](https://www.cs.uic.edu/~liub/FBS/SentimentAnalysis-and-OpinionMining.pdf)\n",
    "\n",
    "[Affect Lexicons - Jurafsky+Martin](https://web.stanford.edu/~jurafsky/slp3/21.pdf)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Connotation frames\n",
    "\n",
    "некоторые глаголы влияют на полярность своих актантов:\n",
    "\n",
    "Например: $США_{[holder]}$ критикует $ИГИЛ_{[target]}*$\n",
    "\n",
    "* список основных участников ситуации, \n",
    "* основные грамматические формы, которыми эти участники могут выражаться по отношению к исходному слову предикату \n",
    "* отношения между участниками и отношение автора к каждому из участников (Polarity), \n",
    "* позитивные или негативные последствия, которые возникают для каждого участника ситуации (Effect), \n",
    "* состояние, в котором находится каждый из участников (State)\n",
    "\n",
    "Источник: https://arxiv.org/pdf/2006.10973.pdf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "# Connotation frames\n",
    "\n",
    "Топ негативных отношений по корпусу СМИ за  2017 год:\n",
    "\n",
    "<img width=600 src=\"7_Sentiment/neg_connotation.png\"/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}