DP_autoFAQ_ru.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "\n",
    "<img src=\"https://static.tildacdn.com/tild3762-6664-4936-a364-663135373331/_1.png\" align=\"center\"/>\n",
    " \n",
    "<h1><center>Frequently asked question answering with DeepPavlov</center></h1>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "B7fbDvssiBrV",
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "Лаборатория нейронных сетей и глубокого обучения МФТИ работает над библиотекой [DeepPavlov](https://github.com/deepmipt/DeepPavlov) — библиотека для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса.\n",
    "\n",
    "Одна из важных задач для бизнеса это организация ответов на часто задаваемые вопросы клиентов. Сделать это возможно через колл-центр, или виджет на сайте, наняв сотрудников специально для этого.\n",
    "\n",
    "В этом ноутбуке я хочу показать как использовать модели, которые отвечают на часто задаваемые вопросы клиентов. В рамках **DeepPavlov** эти модели называются autoF.A.Q. В качеcтве датасета, я буду использовать датасет вопросов и ответов лицеистов МФТИ."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "x_hoGWCfhxLh",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Установка\n",
    "\n",
    "Для работы с библиотекой установите **Python 3.6**, активируйте среду разработки. Затем установите **DeepPavlov**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 683
    },
    "colab_type": "code",
    "id": "qhvF6Petcd0r",
    "outputId": "ec2f36c8-adc2-415d-cc1f-24031bc8d9ed",
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "!pip install -q deeppavlov"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Датасет\n",
    "\n",
    "В качестве датасета выступает файл формата **csv**, с заголовками **Question** и **Answer**. Пример вопросов и ответов ниже."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                                             Question                                             Answer\n",
      "12                        Как войти в личный кабинет?  Подробно про личный кабинет вы можете прочитат...\n",
      "8   Я ошиблась в имени ребенка. Где можно его изме...  Некоторые данные можно поменять через личный к...\n",
      "40  Как проходит первый этап вступительных испытан...  Вступительные испытания на первом этапе предст...\n",
      "42       Какие экзамены надо сдавать в девятый класс?  Вступительные испытания на первом этапе предст...\n",
      "13                      Как попасть в личный кабинет?  Подробно про личный кабинет вы можете прочитат...\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "df = pd.read_csv(\"http://files.deeppavlov.ai/faq/school/faq_school.csv\")\n",
    "print(df.sample(frac=1)[:5].to_string())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "EVWji-oNOl2I"
   },
   "source": [
    "## Описание моделей\n",
    "\n",
    "На вход модели подается вопрос, далее модель определяет наиболее близкий нашему вопрос из датасета, и возвращает соответствующий ответ. **DeepPavlov** содержит несколько моделей, которые решают проблему поиска ответов на популярные вопросы. Подробную информацию по деталям реализации моделей вы можно найти в нашей [справке](http://docs.deeppavlov.ai/en/master/skills/faq.html). Следующая команда показывает нам список моделей autoF.A.Q."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "frozenset({'fasttext_avg_autofaq',\n",
       "           'fasttext_tfidf_autofaq',\n",
       "           'tfidf_autofaq',\n",
       "           'tfidf_logreg_autofaq',\n",
       "           'tfidf_logreg_en_faq'})"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from IPython.display import display\n",
    "from deeppavlov import configs\n",
    "display(configs.faq.keys())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с моделями через **командную строку**\n",
    "\n",
    "Режим работы через командую строку позволяет установить зависимости модели (с помощью команды **install**), натренировать модель на основе датасета (**train**), и взаимодействовать с моделью (**interact**). Ниже приведены примеры всех этих команд."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# установка пакетов и файлов, требуемых для работы модели\n",
    "!python -m deeppavlov install tfidf_autofaq\n",
    "# тренировка модели\n",
    "!python -m deeppavlov train tfidf_autofaq\n",
    "# взаимодействие с моделью\n",
    "!python -m deeppavlov interact tfidf_autofaq"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с моделями через **Python**\n",
    "\n",
    "Для того чтобы работать с моделями через **Python** необходимо импортировать файл конфигурации и метод **build_model**. Далее построить модель с помощью метода **build_model**. На вход модель принимает массив с текстовыми запросами, в качестве выхода модель возвращает соответствующие ответы с оценкой уверенности."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['Вы можете написать нам письмо на почту приемной кампании, с адреса, который указали при регистрации или обратиться к нашим сотрудниками через Telegram и предоставить информацию, которая позволит идентифицировать вашего ребенка (ФИО, дата рождения и адрес электронной почты, указанный при регистрации).'],\n",
       " [0.3]]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from deeppavlov import configs, build_model\n",
    "faq = build_model(configs.faq.tfidf_autofaq, download = True)\n",
    "faq(['мне нужен код регистрации'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Скилл **SimilarityMatchingSkill**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Кроме того библиотека **DeepPavlov** содержит в себе класс **SimilarityMatchingSkill** - упрощенный интерфейс работы с моделями autoF.A.Q. Чтобы продемонстрировать его работу, создайте объект класса **SimilarityMatchingSkill**, определив следующие параметры.\n",
    "\n",
    "* **data_path** - путь к csv файлу с данными\n",
    "* **x_col_name** - имя колонки с вопросами в csv файле (Question, по умолчанию)\n",
    "* **y_col_name** - имя колонки с ответами в csv файле (Answer, по умолчанию)\n",
    "* **edit_dict** - dict с параметрами конфигурации для перезаписи\n",
    "* **save_load_path** - путь куда сохранить натренированную модель\n",
    "* **train** - тренировать ли модель?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "from deeppavlov.contrib.skills.similarity_matching_skill import SimilarityMatchingSkill\n",
    "\n",
    "faq_skill = SimilarityMatchingSkill(data_path = 'http://files.deeppavlov.ai/faq/school/faq_school.csv',\n",
    "                              x_col_name = 'Question', \n",
    "                              y_col_name = 'Answer',\n",
    "                              save_load_path = './model',\n",
    "                              config_type = 'tfidf_autofaq',\n",
    "                              train = False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание, что навыки (skills) в **DeepPavlov** в отличие от компонент имеют унифицированный вход, где первый параметр это массив текстовых обращений, второй параметр массив истории общений, третий параметр массив состояний. В навыке нашего класса обязательным является лишь первый параметр - массив текстовых обращений. Убедитесь в то, что навык корректо отвечает на запросы."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(['Вступительные испытания на первом этапе представляют собой выполнение письменных работ по профильным предметам.'],\n",
       " [0.2])"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "faq_skill(['что такое вступительные экзамены'], [], [])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Интеграция моделей в Яндекс.Алиса"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для того чтобы интегрировать нашу модель в навык Яндекс.Алиса. Создадим объект класса **DefaultAgent**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from deeppavlov.agents.default_agent.default_agent import DefaultAgent\n",
    "from deeppavlov.agents.processors.highest_confidence_selector import HighestConfidenceSelector\n",
    "\n",
    "agent = DefaultAgent([faq_skill], skills_selector=HighestConfidenceSelector())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Далее запустим сервер с указанием пути для запросов **endpoint='faq'** и порта подключения **port=5000**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " * Serving Flask app \"deeppavlov.utils.alice.alice\" (lazy loading)\n",
      " * Environment: production\n",
      "   WARNING: Do not use the development server in a production environment.\n",
      "   Use a production WSGI server instead.\n",
      " * Debug mode: off\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      " * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)\n"
     ]
    }
   ],
   "source": [
    "from deeppavlov.utils.alice import start_agent_server\n",
    "\n",
    "start_agent_server(agent, host='0.0.0.0', port=5000, endpoint='/faq')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание, что Яндекс.Диалоги в качестве **Webhook URL** требует указывать сервер с внешним IP адресом и доступом по протоколу https. Для быстрого прототипирования вы можете использовать [ngrok](https://ngrok.com/). Ngrok позволит вам создавать туннель для доступа к вашему серверу с **DeepPavlov** в локальной сети, для этого запустите **ngrok http 5000** на вашем сервере с **DeepPavlov**. В ответ на это будет создано два туннеля, по одному на протоколы **http** и **https**. Скопируйте адрес туннеля для **https**, добавьте к линку эндпоинт **/faq**, итоговый линк будет **Webhook URL** для нашего Яндекс.Диалога. Далее заполните поля необходимые для сохранения черновика диалога. Сохраните черновик и перейдите на вкладку Тестирование."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "yom6JD53QcXk"
   },
   "source": [
    "## Ссылки\n",
    "\n",
    "### [DeepPavlov documentation](http://docs.deeppavlov.ai/en/master/skills/faq.html)\n",
    "\n",
    "### [DeepPavlov Blog](https://medium.com/deeppavlov)\n",
    "\n",
    "### [Forum](https://forum.ipavlov.ai)\n",
    "\n",
    "### [GitHub Repository](https://github.com/deepmipt/DeepPavlov)\n",
    "\n",
    "### [DeepPavlov demo page](https://demo.ipavlov.ai)"
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "DP:autoFAQ.ipynb",
   "provenance": [],
   "version": "0.3.2"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}