05-vk-practice-solutions.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Анализ данных на Python\n",
    "\n",
    "*Алла Тамбовцева, НИУ ВШЭ*\n",
    "\n",
    "## Примеры работы с API ВКонтакте\n",
    "\n",
    "## Подготовка к работе\n",
    "\n",
    "### Знакомимся с документацией API\n",
    "\n",
    "Для начала давайте посмотрим на [документацию](https://dev.vk.com/ru/api/api-requests) API ВКонтакте и посмотрим, как формировать запросы для получения информации. \n",
    "\n",
    "Общий вид запроса следующий:\n",
    "\n",
    "    https://api.vk.com/method/<METHOD>?<PARAMS>\n",
    "    \n",
    "Вместо `<METHOD>` указывается название метода, вместо `<PARAMS>` – параметры этого метода в виде пар `<параметр>=<значение>`, объединённых через `&`. Какие-то параметры являются необязательными, какие-то – обязательными. Обязательными для сбора данных являются два параметра:\n",
    "\n",
    "* токен доступа `access_token`;\n",
    "* версия API `v`.\n",
    "\n",
    "Примеры методов и параметров (вместо токена доступа число 1):\n",
    "\n",
    "<table>\n",
    "    <tr>\n",
    "        <th>Запрос</th><th>Ссылка</th>\n",
    "    </tr>\n",
    "    <tr>\n",
    "        <td>базовая информация по пользователю с id=743784474</td>\n",
    "        <td>https://api.vk.com/method/users.get?user_ids=743784474&access_token=1&v=5.199</td>\n",
    "    </tr>\n",
    "    <tr>\n",
    "        <td>дата рождения пользователя с id=743784474</th>\n",
    "        <td>https://api.vk.com/method/users.get?user_ids=743784474&fields=bdate&access_token=1&v=5.199</td>\n",
    "    </tr>\n",
    "    <tr>\n",
    "        <td>базовая информация по пользователям с id=743784474 и id=20473269</td>\n",
    "        <td>https://api.vk.com/method/users.get?user_ids=743784474,20473269&fields=bdate&access_token=1&v=5.199</td>\n",
    "    </tr>\n",
    "    <tr>\n",
    "        <td>100 последних постов со стены сообщества с названием hse</td>\n",
    "        <td>https://api.vk.com/method/wall.get?domain=hse&count=100&access_token=1&v=5.199</td>\n",
    "        </tr>\n",
    "</table>\n",
    "\n",
    "Итак, глобальная задача – получить токен доступа, сформировать ссылку для нужного запроса, отправить запрос к серверу и обработать полученный результат. Посмотрим, как отправляются запросы к серверу в Python.\n",
    "\n",
    "### Модуль `requests` для отправки запросов\n",
    "\n",
    "Базовый модуль `requests` в Python служит для отправки запросов типа `GET` или `POST`. В нашем случае достаточно запроса `GET` для получения информации, так как отправлять информацию на сервер нам не нужно (мы не пишем бота и не планируем удалённо управлять своим аккаунтом). Импортируем модуль, вызовем оттуда функцию `get()` и отправим какой-нибудь запрос из примеров выше:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<Response [200]>\n"
     ]
    }
   ],
   "source": [
    "req = requests.get(\"https://api.vk.com/method/users.get?user_ids=743784474&access_token=1&v=5.199\")\n",
    "print(req)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В переменной `req` хранится объект типа `Response`, он скрыт, временно хранится в некоторой ячейке памяти. Код 200 означает, что запрос отправлен и ответ от сервера получен, это стандартный код [состояния HTTP](https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA_%D0%BA%D0%BE%D0%B4%D0%BE%D0%B2_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D1%8F_HTTP). Этот код можно извлечь отдельно, вызвав атрибут `status_code`, это может пригодится для последующей работы (если код равен 200, продолжаем работу, если нет, реализуем программу по поиску ошибки и её причины):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "200 <class 'int'>\n"
     ]
    }
   ],
   "source": [
    "# код типа integer\n",
    "print(req.status_code, type(req.status_code))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Из `req` можем извлечь ссылку, ту, что в адресной строке (сейчас не так интересно, потому что мы ссылку сами отправили, но может пригодится):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "https://api.vk.com/method/users.get?user_ids=743784474&access_token=1&v=5.199\n"
     ]
    }
   ],
   "source": [
    "print(req.url)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А можем сам результат в виде строки, в данном случае это текст, который мы видим на странице при переходе по ссылке выше в браузере:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\"error\":{\"error_code\":5,\"error_msg\":\"User authorization failed: invalid access_token (4).\",\"request_params\":[{\"key\":\"user_ids\",\"value\":\"743784474\"},{\"key\":\"v\",\"value\":\"5.199\"},{\"key\":\"method\",\"value\":\"users.get\"},{\"key\":\"oauth\",\"value\":\"1\"}]}} <class 'str'>\n"
     ]
    }
   ],
   "source": [
    "# строка, тип str\n",
    "print(req.text, type(req.text))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Готового результата с информацией по пользователю с указанным id мы не получили, поскольку токен доступа был указан некорректный. Однако видно, что, в любом случае, результат извлекается, он непустой и представлен в виде JSON-строки. Такую строку можно обработать с помощью модуля `json`, в нём есть функция `loads()` для десериализации JSON-строки и превращения её в питоновский словарь. Но мы поступим проще – применим метод `.json()`, который определён на объектах класса `Response`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'error': {'error_code': 5, 'error_msg': 'User authorization failed: invalid access_token (4).', 'request_params': [{'key': 'user_ids', 'value': '743784474'}, {'key': 'v', 'value': '5.199'}, {'key': 'method', 'value': 'users.get'}, {'key': 'oauth', 'value': '1'}]}} <class 'dict'>\n"
     ]
    }
   ],
   "source": [
    "# словарь, тип dict\n",
    "print(req.json(), type(req.json()))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В результате мы получили готовый словарь, из которого можно извлекать необходимую информацию по ключам! Однако для того, чтобы информация в словаре была, нужно получить токен доступа для работы."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Получаем токен доступа\n",
    "\n",
    "Итак, алгоритм получения токена доступа:\n",
    "\n",
    "1. Создаём новое приложение в разделе *Мои приложения* (https://vk.com/apps?act=manage) типа *Standalone-приложение* (поле *Платформа*).\n",
    "\n",
    "2. Переходим в предлагаемый сервис для авторизации, при первой работе с сервисом вписываем свои данные (относительно новая политика безопасности vk), выбираем *Add app*, вписываем название приложения, в качестве платформы выбираем *Web*, в качестве домена и ссылки можно вписать предлагаемые для примера `mysite.com` и `https://mysite.com`, так как само приложение, связанное с каким-то своим сервером нам не нужно, нужен только ключ для последующего сбора данных.\n",
    "\n",
    "3. Когда приложение создано, копируем его числовой ID (*App ID* из *App information*) и сохраняем. \n",
    "\n",
    "4. Для получения токена доступа формируем ссылку вида:\n",
    "\n",
    "        https://oauth.vk.com/authorize?client_id=i&display=page&redirect_uri=http://oauth.vk.com/blank.html&scope=all&response_type=token\n",
    "\n",
    "и вместо `i` в `client_id` подставляем туда ID приложения. Переходим по ссылке, из адресной строки копируем токен доступа – набор символов после `access_token` и до `&expires_in`. Никому не показываем токен, так как он даёт доступ к вашему аккаунту. Токен действителен в течение суток при работе с того же IP адреса.\n",
    "\n",
    "Для более удобного автоматизированного получения токена написан код ниже:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from getpass import getpass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Enter your client id: ········\n",
      "https://oauth.vk.com/authorize?client_id=51660535&display=page&redirect_uri=http://oauth.vk.com/blank.html&scope=all&response_type=token\n"
     ]
    }
   ],
   "source": [
    "# getpass() – аналог input(), скрывает вводимый текст\n",
    "# подставляем id приложения и переходим по ссылке\n",
    "\n",
    "app_id = getpass(\"Enter your client id: \")\n",
    "url = f\"https://oauth.vk.com/authorize?client_id={app_id}&display=page&redirect_uri=http://oauth.vk.com/blank.html&scope=all&response_type=token\"\n",
    "print(url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "········\n"
     ]
    }
   ],
   "source": [
    "# копируем ссылку из адресной строки (длинная с access_token)\n",
    "# разбиваем ссылку на части и извлекаем токен -> token\n",
    "\n",
    "full_link = getpass()\n",
    "token = full_link.split(\"access_token=\")[1].split(\"&\")[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь приступаем к работе!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Выгружаем посты со стены сообщества"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На этом практическом занятии мы будем выгружать посты из сообщества скалодрома [Rock Zona](https://vk.com/rzclimbing). Сохраним в переменные версию API, ссылку для метода работы со стеной сообщества и короткое название сообщества:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "v = \"5.199\"\n",
    "main_wall = \"https://api.vk.com/method/wall.get\"\n",
    "domain = \"rzclimbing\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Чтобы подставить необходимые параметры метода `wall.get`, а также токен доступа, можно воспользоваться обычным форматированием строк или f-строками, однако есть ещё более удобный способ. Функция `get()` из `requests` умеет подставлять в запрос необходимые параметры и объединять их с помощью `?` и `&`. Сохраним необходимые параметры в виде словаря:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 100 – максимальное число постов за раз\n",
    "\n",
    "params_wall = {\"access_token\" : token, \n",
    "              \"domain\" : domain, \n",
    "              \"count\" : 100,\n",
    "              \"v\" : v}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь сформируем запрос:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "req_wall = requests.get(main_wall, params = params_wall)\n",
    "#print(req_wall.url)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Извлечём результаты и преобразуем JSON-строку в словарь:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "json_wall = req_wall.json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#json_wall"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 1\n",
    "\n",
    "Извлеките из `json_wall` общее число постов на стене и сохраните его в переменную `nposts`. Извлеките из `json_wall` список словарей с информацией о каждом извлечённом после и сохраните его в переменную `items_wall`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "nposts = json_wall['response']['count']\n",
    "items_wall = json_wall['response']['items']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 2\n",
    "\n",
    "Выберите первый элемент списка `items_wall`, назовите его `i`. Извлеките из элемента `i` следующие компоненты:\n",
    "\n",
    "* id поста;\n",
    "* дата поста;\n",
    "* текст поста;\n",
    "* число лайков;\n",
    "* число просмотров;\n",
    "* число комментариев."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "4549 1715255770 Для простоты понимания и планирования тренировки можно разбить на 3 типа: \n",
      "\n",
      "1️⃣ Развивающие тренировки \n",
      "\n",
      "Цель этих тренировок - использовать принцип перегрузки, то есть применить нагрузку, величина которой превышает привычный для организма уровень. Можно лазить более тяжелые трассы или выполнять более тяжелые упражнения, то есть повысить интенсивность. Или же повысить объем - выполнить большее число подходов, увеличить длительность тренировки или количество трасс. Повышать и интенсивность и объем, как правило, не имеет смысла, так как может превысить наши адаптационные возможности. \n",
      "\n",
      "Без развивающих тренировок прогресс не возможен, но нужно понимать, что их количество не должно быть слишком большим. \n",
      "\n",
      "2️⃣ Закрепляющие тренировки \n",
      "\n",
      "Это тренировки со средней нагрузкой, которые не заставляют вас слишком сильно напрягаться. Вы не лазаете предельные трассы, вы не выполняете слишком тяжелые упражнения. Вместо того, чтобы добить «тот последний боулдеринг» вы берете себя в руки и заканчиваете тренировку, чтобы сохранять уровень усталости на комфортном среднем значении. Во время таких занятий вы закрепляете результаты развивающих тренировок.  \n",
      "\n",
      "3️⃣ Восстановительные тренировки \n",
      "\n",
      "Легкое лазание, круговые тренировки с малыми весами, кардио, хайкинг, легкое плавание - такие тренировки поддерживают ваш уровень активности, но помогают телу восстановиться между более тяжелыми тренировками. \n",
      "\n",
      "Спортсменам стоит проводить хотя бы две восстановительные тренировки в неделю. Самое простое - запланировать две 30-минутные прогулки. Они могут проводиться даже в тот же день, что и укрепляющие или развивающие занятия.   \n",
      "\n",
      "📌 Восстановительные занятия выводят из мышц отработанные продукты, снимают болезненность и улучшают обмен веществ. При правильном подходе они могут сократить время восстановления между развивающими тренировками.\n",
      "\n",
      "На каждую развивающую тренировку должна приходиться одна восстановительная. Как правило, если тренировка действительно развивающая, достаточно проводить ее 1 раз в 1-2 недели. \n",
      "\n",
      "  Эта простая модель построения тренировок поможет вам лучше договариваться со своим организмом и избегать травм накопительного характера.\n",
      "16 833 0\n"
     ]
    }
   ],
   "source": [
    "i = items_wall[0]\n",
    "print(i[\"id\"], i[\"date\"], i[\"text\"])\n",
    "print(i[\"likes\"][\"count\"], i[\"views\"][\"count\"], i[\"comments\"][\"count\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 3\n",
    "\n",
    "Изучить один пост и понять, что нам от него нужно, это хорошо, но, конечно, мы захотим выгрузить все посты сразу, а уже потом разобраться, какую информацию о них нам оставить. Ограничения данного API таковы, что за один раз мы можем выгрузить только 100 постов. Хорошие новости: каждый раз при выгрузке мы можем начинать с того поста, на котором закончили, то есть сначала выгрузить первые 100 постов, потом – следующие 100 постов, и так до тех пор, пока не заполучим все.\n",
    "\n",
    "Общее число постов сохранено в `nposts`. Посчитайте, сколько раз нужно будет выполнить выгрузку по 100 постов, чтобы собрать все тексты, и сохраните его в переменную `iterate`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "iterate = nposts // 100 + 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 4\n",
    "\n",
    "Прочитайте в документации к API ВКонтакте про аргумент `offset` в методе `wall.get`. Используя полученную информацию и блоки кода ниже, выгрузите и сохраните в список `items_all` данные по всем постам на стене сообщества.\n",
    "\n",
    "**Подсказка:** чтобы расширять список правильным образом, используйте метод `.extend()`, а не `.append()`, он добавляет не один элемент, а сразу несколько."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "params_wall_long = {\"access_token\" : token, \n",
    "                    \"domain\" : domain, \n",
    "                    \"count\" : 100,\n",
    "                    \"v\" : v,\n",
    "                    \"offset\" : 0}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "import time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0\n",
      "1\n",
      "2\n",
      "3\n",
      "4\n",
      "5\n",
      "6\n",
      "7\n",
      "8\n",
      "9\n",
      "10\n",
      "11\n",
      "12\n",
      "13\n",
      "14\n",
      "15\n",
      "16\n",
      "17\n",
      "18\n"
     ]
    }
   ],
   "source": [
    "# функция sleep() из time выставляет задержку запуска кода\n",
    "# здесь задержка в 1.2 секунды\n",
    "\n",
    "items_all = []\n",
    "\n",
    "for i in range(iterate):\n",
    "    req_wall_long = requests.get(main_wall, params = params_wall_long)\n",
    "    json_wall_long = req_wall_long.json()\n",
    "    items_wall_long = json_wall_long['response']['items']\n",
    "    \n",
    "    items_all.extend(items_wall_long)\n",
    "    params_wall_long[\"offset\"] += 100\n",
    "    \n",
    "    time.sleep(1.2)\n",
    "    print(i)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверьте длину списка `items_all` – все ли посты собраны. Преобразуйте полученный результат – список словарей – в датафрейм Pandas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1811\n"
     ]
    }
   ],
   "source": [
    "print(len(items_all))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>inner_type</th>\n",
       "      <th>donut</th>\n",
       "      <th>comments</th>\n",
       "      <th>marked_as_ads</th>\n",
       "      <th>short_text_rate</th>\n",
       "      <th>hash</th>\n",
       "      <th>has_translation</th>\n",
       "      <th>type</th>\n",
       "      <th>attachments</th>\n",
       "      <th>date</th>\n",
       "      <th>...</th>\n",
       "      <th>post_type</th>\n",
       "      <th>reposts</th>\n",
       "      <th>text</th>\n",
       "      <th>views</th>\n",
       "      <th>carousel_offset</th>\n",
       "      <th>edited</th>\n",
       "      <th>copy_history</th>\n",
       "      <th>geo</th>\n",
       "      <th>signer_id</th>\n",
       "      <th>zoom_text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>wall_wallpost</td>\n",
       "      <td>{'is_donut': False}</td>\n",
       "      <td>{'can_post': 1, 'can_view': 1, 'count': 0, 'gr...</td>\n",
       "      <td>0</td>\n",
       "      <td>0.8</td>\n",
       "      <td>g8vMeRCfINQYZ3gtFdoVX4lUkOg</td>\n",
       "      <td>False</td>\n",
       "      <td>post</td>\n",
       "      <td>[{'type': 'photo', 'photo': {'album_id': -7, '...</td>\n",
       "      <td>1715255770</td>\n",
       "      <td>...</td>\n",
       "      <td>post</td>\n",
       "      <td>{'count': 5, 'user_reposted': 0}</td>\n",
       "      <td>Для простоты понимания и планирования трениров...</td>\n",
       "      <td>{'count': 833}</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>wall_wallpost</td>\n",
       "      <td>{'is_donut': False}</td>\n",
       "      <td>{'can_post': 1, 'can_view': 1, 'count': 0, 'gr...</td>\n",
       "      <td>0</td>\n",
       "      <td>0.8</td>\n",
       "      <td>OQLYU4cM2mRMq-_af4HqAvp6Q9Q</td>\n",
       "      <td>False</td>\n",
       "      <td>post</td>\n",
       "      <td>[{'type': 'photo', 'photo': {'album_id': -7, '...</td>\n",
       "      <td>1715169113</td>\n",
       "      <td>...</td>\n",
       "      <td>post</td>\n",
       "      <td>{'count': 0, 'user_reposted': 0}</td>\n",
       "      <td>У нас на скалодроме всегда хорошая погода! \\n\\...</td>\n",
       "      <td>{'count': 591}</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>wall_wallpost</td>\n",
       "      <td>{'is_donut': False}</td>\n",
       "      <td>{'can_post': 1, 'can_view': 1, 'count': 0, 'gr...</td>\n",
       "      <td>0</td>\n",
       "      <td>0.8</td>\n",
       "      <td>jVhAZfrfvchnQqZJahxY3lfpY_Q</td>\n",
       "      <td>False</td>\n",
       "      <td>post</td>\n",
       "      <td>[{'type': 'video', 'video': {'response_type': ...</td>\n",
       "      <td>1715093829</td>\n",
       "      <td>...</td>\n",
       "      <td>post</td>\n",
       "      <td>{'count': 0, 'user_reposted': 0}</td>\n",
       "      <td></td>\n",
       "      <td>{'count': 505}</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>wall_wallpost</td>\n",
       "      <td>{'is_donut': False}</td>\n",
       "      <td>{'can_post': 1, 'can_view': 1, 'count': 0, 'gr...</td>\n",
       "      <td>0</td>\n",
       "      <td>0.8</td>\n",
       "      <td>y0v5AZFMzFQYjGsQUybx1hlgbYk</td>\n",
       "      <td>False</td>\n",
       "      <td>post</td>\n",
       "      <td>[{'type': 'video', 'video': {'response_type': ...</td>\n",
       "      <td>1714912279</td>\n",
       "      <td>...</td>\n",
       "      <td>post</td>\n",
       "      <td>{'count': 0, 'user_reposted': 0}</td>\n",
       "      <td></td>\n",
       "      <td>{'count': 463}</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>wall_wallpost</td>\n",
       "      <td>{'is_donut': False}</td>\n",
       "      <td>{'can_post': 1, 'can_view': 1, 'count': 1, 'gr...</td>\n",
       "      <td>0</td>\n",
       "      <td>0.8</td>\n",
       "      <td>jZDiPQ7nJobsottgn1aa5NR1DVA</td>\n",
       "      <td>False</td>\n",
       "      <td>post</td>\n",
       "      <td>[{'type': 'photo', 'photo': {'album_id': -7, '...</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>...</td>\n",
       "      <td>post</td>\n",
       "      <td>{'count': 4, 'user_reposted': 0}</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>{'count': 958}</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 28 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      inner_type                donut  \\\n",
       "0  wall_wallpost  {'is_donut': False}   \n",
       "1  wall_wallpost  {'is_donut': False}   \n",
       "2  wall_wallpost  {'is_donut': False}   \n",
       "3  wall_wallpost  {'is_donut': False}   \n",
       "4  wall_wallpost  {'is_donut': False}   \n",
       "\n",
       "                                            comments  marked_as_ads  \\\n",
       "0  {'can_post': 1, 'can_view': 1, 'count': 0, 'gr...              0   \n",
       "1  {'can_post': 1, 'can_view': 1, 'count': 0, 'gr...              0   \n",
       "2  {'can_post': 1, 'can_view': 1, 'count': 0, 'gr...              0   \n",
       "3  {'can_post': 1, 'can_view': 1, 'count': 0, 'gr...              0   \n",
       "4  {'can_post': 1, 'can_view': 1, 'count': 1, 'gr...              0   \n",
       "\n",
       "   short_text_rate                         hash  has_translation  type  \\\n",
       "0              0.8  g8vMeRCfINQYZ3gtFdoVX4lUkOg            False  post   \n",
       "1              0.8  OQLYU4cM2mRMq-_af4HqAvp6Q9Q            False  post   \n",
       "2              0.8  jVhAZfrfvchnQqZJahxY3lfpY_Q            False  post   \n",
       "3              0.8  y0v5AZFMzFQYjGsQUybx1hlgbYk            False  post   \n",
       "4              0.8  jZDiPQ7nJobsottgn1aa5NR1DVA            False  post   \n",
       "\n",
       "                                         attachments        date  ...  \\\n",
       "0  [{'type': 'photo', 'photo': {'album_id': -7, '...  1715255770  ...   \n",
       "1  [{'type': 'photo', 'photo': {'album_id': -7, '...  1715169113  ...   \n",
       "2  [{'type': 'video', 'video': {'response_type': ...  1715093829  ...   \n",
       "3  [{'type': 'video', 'video': {'response_type': ...  1714912279  ...   \n",
       "4  [{'type': 'photo', 'photo': {'album_id': -7, '...  1714901561  ...   \n",
       "\n",
       "   post_type                           reposts  \\\n",
       "0       post  {'count': 5, 'user_reposted': 0}   \n",
       "1       post  {'count': 0, 'user_reposted': 0}   \n",
       "2       post  {'count': 0, 'user_reposted': 0}   \n",
       "3       post  {'count': 0, 'user_reposted': 0}   \n",
       "4       post  {'count': 4, 'user_reposted': 0}   \n",
       "\n",
       "                                                text           views  \\\n",
       "0  Для простоты понимания и планирования трениров...  {'count': 833}   \n",
       "1  У нас на скалодроме всегда хорошая погода! \\n\\...  {'count': 591}   \n",
       "2                                                     {'count': 505}   \n",
       "3                                                     {'count': 463}   \n",
       "4  Воспитание психологической стойкости помогает ...  {'count': 958}   \n",
       "\n",
       "  carousel_offset edited  copy_history  geo signer_id zoom_text  \n",
       "0             NaN    NaN           NaN  NaN       NaN       NaN  \n",
       "1             0.0    NaN           NaN  NaN       NaN       NaN  \n",
       "2             NaN    NaN           NaN  NaN       NaN       NaN  \n",
       "3             NaN    NaN           NaN  NaN       NaN       NaN  \n",
       "4             NaN    NaN           NaN  NaN       NaN       NaN  \n",
       "\n",
       "[5 rows x 28 columns]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(items_all)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 5\n",
    "\n",
    "Создайте на основе полученного датафрейма новый датафрейм `small` со следующими столбцами:\n",
    "\n",
    "* id поста (`id`);\n",
    "* дата поста (`date`);\n",
    "* текст поста (`text`);\n",
    "* число лайков (`nlikes`);\n",
    "* число просмотров (`nviews`);\n",
    "* число комментариев (`ncomments`).\n",
    "\n",
    "**Подсказка:** отберите сначала все столбцы с нужной информацией, проверьте, есть ли в датафрейме пропущенные значения, напишите функцию для извлечения только числа лайков/просмотров/комментариев и примените её, удалите лишние столбцы. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "small = df[[\"id\", \"date\", \"text\", \"likes\", \"views\", \"comments\"]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "id            0\n",
       "date          0\n",
       "text          0\n",
       "likes         0\n",
       "views       870\n",
       "comments      0\n",
       "dtype: int64"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# считаем число пропусков по всем столбцам\n",
    "# views – раньше просмотры не фиксировались\n",
    "\n",
    "small.isna().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "# выключаем предупреждение SettingWithCopyWarning от pandas\n",
    "# код ниже корректный, но pandas предупреждает о работе с копиями\n",
    "\n",
    "pd.set_option('chained_assignment', None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "small[\"nlikes\"] = small[\"likes\"].apply(lambda x: x[\"count\"])\n",
    "small[\"ncomments\"] = small[\"comments\"].apply(lambda x: x[\"count\"])\n",
    "\n",
    "# так как есть пропуски, извлекаем count только в словарях\n",
    "small[\"nviews\"] = small[\"views\"].apply(lambda x: x[\"count\"] if type(x) is dict else x)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "# более умный вариант кода, чтобы не писать одинаковые lambda-функции\n",
    "\n",
    "def get_count(x):\n",
    "    if type(x) is dict:\n",
    "        return x[\"count\"]\n",
    "    else:\n",
    "        return x\n",
    "    \n",
    "small[\"nlikes\"] = small[\"likes\"].apply(get_count)\n",
    "small[\"ncomments\"] = small[\"comments\"].apply(get_count)\n",
    "small[\"nviews\"] = small[\"views\"].apply(get_count)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "# заполняем пропуски нулями и меняем тип столбца на integer\n",
    "# из-за наличия пропусков всегда тип float\n",
    "\n",
    "small[\"nviews\"] = small[\"nviews\"].fillna(0).astype(int)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 1811 entries, 0 to 1810\n",
      "Data columns (total 6 columns):\n",
      " #   Column     Non-Null Count  Dtype \n",
      "---  ------     --------------  ----- \n",
      " 0   id         1811 non-null   int64 \n",
      " 1   date       1811 non-null   int64 \n",
      " 2   text       1811 non-null   object\n",
      " 3   nlikes     1811 non-null   int64 \n",
      " 4   ncomments  1811 non-null   int64 \n",
      " 5   nviews     1811 non-null   int64 \n",
      "dtypes: int64(5), object(1)\n",
      "memory usage: 85.0+ KB\n"
     ]
    }
   ],
   "source": [
    "# удаляем старые столбцы\n",
    "\n",
    "small.drop(columns = [\"likes\", \"views\", \"comments\"], inplace = True)\n",
    "small.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 6\n",
    "\n",
    "Добавьте в `small` столбец `date_time` с датой-временем поста в формате `datetime`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "# unit = 's': переводим из метки, которая является числом секунд с 1 января 1970\n",
    "\n",
    "small[\"date_time\"] = pd.to_datetime(small['date'], unit = 's')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задача 7\n",
    "\n",
    "Выберите только те строки в полученном датафрейме, которые соответствуют постам с числом комментариев больше 0, и сохраните их в датафрейм `with_comm`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "with_comm = small[small[\"ncomments\"] > 0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(601, 7)\n"
     ]
    }
   ],
   "source": [
    "# число постов для оценки времени работы кода в бонусной части\n",
    "print(with_comm.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Выгружаем комментарии к постам (бонус)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так как бонусная часть – время не экономим, возьмём не первые 10 постов, а все посты из `with_comm` и заберём id постов в виде списка:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[4544, 4540, 4536, 4526, 4518, 4509, 4505, 4500, 4495, 4492]\n"
     ]
    }
   ],
   "source": [
    "ids = list(with_comm[\"id\"])\n",
    "print(ids[0:10]) # первые 10 id для примера"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Воспользуемся методом `wall.getComments`, который выгружает комментарии к посту по его id:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "main_comm = \"https://api.vk.com/method/wall.getComments\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так как метод `wall.getComments` принимает на вход только один id за раз, нам нужно запустить цикл по списку `ids` (примерно 10 минут на код ниже, чуть большее 600 постов с задержкой в одну секунду):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "# owner_id: id сообщества\n",
    "# post_id: id поста\n",
    "# v: версия API\n",
    "# access_token: токен доступа\n",
    "# count: число комментариев, 100, max возможное за раз\n",
    "# thread_items_count: число ответов на комментарий, 10\n",
    "\n",
    "comments_all = []\n",
    "\n",
    "for i in ids:\n",
    "    params_comm = {\"owner_id\" : -38936316,\n",
    "              \"post_id\" : i,\n",
    "              \"v\" : v,\n",
    "              \"access_token\" : token,\n",
    "              \"count\" : 100, \n",
    "              \"thread_items_count\" : 10}\n",
    "    req = requests.get(main_comm, params = params_comm)\n",
    "    comm_json = req.json() \n",
    "    comm_list = comm_json[\"response\"][\"items\"]\n",
    "    comments_all.extend(comm_list)\n",
    "    time.sleep(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'id': 4537, 'from_id': 2210113, 'date': 1714247528, 'text': 'Снимите, пожалуйста, пролаз круга по пассивам с фиолетовыми метками 🙏', 'post_id': 4536, 'owner_id': -38936316, 'parents_stack': [], 'thread': {'count': 1, 'items': [{'id': 4539, 'from_id': 2847724, 'date': 1714325174, 'text': '[id2210113|Владимир], хорошо, постараемся в ближайшее время)', 'post_id': 4536, 'owner_id': -38936316, 'parents_stack': [4537], 'reply_to_user': 2210113, 'reply_to_comment': 4537}], 'can_post': True, 'show_reply_button': True, 'groups_can_post': True}}\n"
     ]
    }
   ],
   "source": [
    "# пример комментария с ответами на них\n",
    "print(comments_all[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(1601, 13)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>from_id</th>\n",
       "      <th>date</th>\n",
       "      <th>text</th>\n",
       "      <th>post_id</th>\n",
       "      <th>owner_id</th>\n",
       "      <th>parents_stack</th>\n",
       "      <th>thread</th>\n",
       "      <th>attachments</th>\n",
       "      <th>is_from_post_author</th>\n",
       "      <th>deleted</th>\n",
       "      <th>reply_to_user</th>\n",
       "      <th>reply_to_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4546</td>\n",
       "      <td>45847070</td>\n",
       "      <td>1714983363</td>\n",
       "      <td>Кто автор?</td>\n",
       "      <td>4544.0</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4541</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714430910</td>\n",
       "      <td>\"Всё страньше и страньше!\" ©Л. Кэрролл</td>\n",
       "      <td>4540.0</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4537</td>\n",
       "      <td>2210113</td>\n",
       "      <td>1714247528</td>\n",
       "      <td>Снимите, пожалуйста, пролаз круга по пассивам ...</td>\n",
       "      <td>4536.0</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4539, 'from_id':...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     id    from_id        date  \\\n",
       "0  4546   45847070  1714983363   \n",
       "1  4541  260091507  1714430910   \n",
       "2  4537    2210113  1714247528   \n",
       "\n",
       "                                                text  post_id    owner_id  \\\n",
       "0                                         Кто автор?   4544.0 -38936316.0   \n",
       "1             \"Всё страньше и страньше!\" ©Л. Кэрролл   4540.0 -38936316.0   \n",
       "2  Снимите, пожалуйста, пролаз круга по пассивам ...   4536.0 -38936316.0   \n",
       "\n",
       "  parents_stack                                             thread  \\\n",
       "0            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "1            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "2            []  {'count': 1, 'items': [{'id': 4539, 'from_id':...   \n",
       "\n",
       "  attachments is_from_post_author deleted  reply_to_user  reply_to_comment  \n",
       "0         NaN                 NaN     NaN            NaN               NaN  \n",
       "1         NaN                 NaN     NaN            NaN               NaN  \n",
       "2         NaN                 NaN     NaN            NaN               NaN  "
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_comm = pd.DataFrame(comments_all)\n",
    "print(df_comm.shape)\n",
    "df_comm.head(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание: здесь id – это id комментария, не id поста, как раньше. Чтобы можно было совместить результаты, переименуем в `with_comm10` столбец `id` в `post_id`, чтобы не запутаться и понятным образом объединить датафреймы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>post_id</th>\n",
       "      <th>date</th>\n",
       "      <th>text</th>\n",
       "      <th>nlikes</th>\n",
       "      <th>ncomments</th>\n",
       "      <th>nviews</th>\n",
       "      <th>date_time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4544</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>15</td>\n",
       "      <td>1</td>\n",
       "      <td>958</td>\n",
       "      <td>2024-05-05 09:32:41</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>4540</td>\n",
       "      <td>1714401519</td>\n",
       "      <td></td>\n",
       "      <td>23</td>\n",
       "      <td>1</td>\n",
       "      <td>610</td>\n",
       "      <td>2024-04-29 14:38:39</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   post_id        date                                               text  \\\n",
       "4     4544  1714901561  Воспитание психологической стойкости помогает ...   \n",
       "6     4540  1714401519                                                      \n",
       "7     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "\n",
       "   nlikes  ncomments  nviews           date_time  \n",
       "4      15          1     958 2024-05-05 09:32:41  \n",
       "6      23          1     610 2024-04-29 14:38:39  \n",
       "7      16          3     882 2024-04-27 16:22:59  "
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "with_comm.rename(columns = {\"id\" : \"post_id\"}, inplace = True)\n",
    "with_comm.head(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Объединим `with_comm10` и `df_comm` по столбцу `post_id` методом *LEFT JOIN*, к левому датафрейму `with_comm10` «подтянем» \n",
    "данные из правого `df_comm`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>post_id</th>\n",
       "      <th>date_x</th>\n",
       "      <th>text_x</th>\n",
       "      <th>nlikes</th>\n",
       "      <th>ncomments</th>\n",
       "      <th>nviews</th>\n",
       "      <th>date_time</th>\n",
       "      <th>id</th>\n",
       "      <th>from_id</th>\n",
       "      <th>date_y</th>\n",
       "      <th>text_y</th>\n",
       "      <th>owner_id</th>\n",
       "      <th>parents_stack</th>\n",
       "      <th>thread</th>\n",
       "      <th>attachments</th>\n",
       "      <th>is_from_post_author</th>\n",
       "      <th>deleted</th>\n",
       "      <th>reply_to_user</th>\n",
       "      <th>reply_to_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4544</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>15</td>\n",
       "      <td>1</td>\n",
       "      <td>958</td>\n",
       "      <td>2024-05-05 09:32:41</td>\n",
       "      <td>4546</td>\n",
       "      <td>45847070</td>\n",
       "      <td>1714983363</td>\n",
       "      <td>Кто автор?</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4540</td>\n",
       "      <td>1714401519</td>\n",
       "      <td></td>\n",
       "      <td>23</td>\n",
       "      <td>1</td>\n",
       "      <td>610</td>\n",
       "      <td>2024-04-29 14:38:39</td>\n",
       "      <td>4541</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714430910</td>\n",
       "      <td>\"Всё страньше и страньше!\" ©Л. Кэрролл</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4537</td>\n",
       "      <td>2210113</td>\n",
       "      <td>1714247528</td>\n",
       "      <td>Снимите, пожалуйста, пролаз круга по пассивам ...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4539, 'from_id':...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4538</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714263780</td>\n",
       "      <td>Тем, кому интересно более глубоко и многоаспек...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4527</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1713775295</td>\n",
       "      <td>Это он ещё легко отделался! А то вот так доста...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>[]</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   post_id      date_x                                             text_x  \\\n",
       "0     4544  1714901561  Воспитание психологической стойкости помогает ...   \n",
       "1     4540  1714401519                                                      \n",
       "2     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "3     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "4     4526  1713722295                                                      \n",
       "\n",
       "   nlikes  ncomments  nviews           date_time    id    from_id      date_y  \\\n",
       "0      15          1     958 2024-05-05 09:32:41  4546   45847070  1714983363   \n",
       "1      23          1     610 2024-04-29 14:38:39  4541  260091507  1714430910   \n",
       "2      16          3     882 2024-04-27 16:22:59  4537    2210113  1714247528   \n",
       "3      16          3     882 2024-04-27 16:22:59  4538  260091507  1714263780   \n",
       "4      51          3     843 2024-04-21 17:58:15  4527  260091507  1713775295   \n",
       "\n",
       "                                              text_y    owner_id  \\\n",
       "0                                         Кто автор? -38936316.0   \n",
       "1             \"Всё страньше и страньше!\" ©Л. Кэрролл -38936316.0   \n",
       "2  Снимите, пожалуйста, пролаз круга по пассивам ... -38936316.0   \n",
       "3  Тем, кому интересно более глубоко и многоаспек... -38936316.0   \n",
       "4  Это он ещё легко отделался! А то вот так доста... -38936316.0   \n",
       "\n",
       "  parents_stack                                             thread  \\\n",
       "0            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "1            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "2            []  {'count': 1, 'items': [{'id': 4539, 'from_id':...   \n",
       "3            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "4            []  {'count': 0, 'items': [], 'can_post': True, 's...   \n",
       "\n",
       "  attachments is_from_post_author deleted  reply_to_user  reply_to_comment  \n",
       "0         NaN                 NaN     NaN            NaN               NaN  \n",
       "1         NaN                 NaN     NaN            NaN               NaN  \n",
       "2         NaN                 NaN     NaN            NaN               NaN  \n",
       "3         NaN                 NaN     NaN            NaN               NaN  \n",
       "4         NaN                 NaN     NaN            NaN               NaN  "
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final = with_comm.merge(df_comm, on = \"post_id\", how = \"left\")\n",
    "final.head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Метод `.merge()` в случае одинаково названных столбцов с обоих датафреймах дописывает к названию из первого датафрейма `_x`, а к названию из второго – `_y`. Здесь `text_x` – это текст поста из первого датафрейма, а `text_y` – текст комментария из второго датафрейма, то же самое произошло с датами. Переименуем столбцы для ясности:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "final.rename(columns = {\"text_x\" : \"post_text\", \"text_y\": \"comment_text\", \n",
    "                       \"date_x\" : \"post_date\", \"date_y\" : \"comment_date\",\n",
    "                       \"date_time\" : \"post_date_time\"}, inplace = True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Удалим лишние столбцы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>post_id</th>\n",
       "      <th>post_date</th>\n",
       "      <th>post_text</th>\n",
       "      <th>nlikes</th>\n",
       "      <th>ncomments</th>\n",
       "      <th>nviews</th>\n",
       "      <th>post_date_time</th>\n",
       "      <th>id</th>\n",
       "      <th>from_id</th>\n",
       "      <th>comment_date</th>\n",
       "      <th>comment_text</th>\n",
       "      <th>owner_id</th>\n",
       "      <th>thread</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4544</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>15</td>\n",
       "      <td>1</td>\n",
       "      <td>958</td>\n",
       "      <td>2024-05-05 09:32:41</td>\n",
       "      <td>4546</td>\n",
       "      <td>45847070</td>\n",
       "      <td>1714983363</td>\n",
       "      <td>Кто автор?</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4540</td>\n",
       "      <td>1714401519</td>\n",
       "      <td></td>\n",
       "      <td>23</td>\n",
       "      <td>1</td>\n",
       "      <td>610</td>\n",
       "      <td>2024-04-29 14:38:39</td>\n",
       "      <td>4541</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714430910</td>\n",
       "      <td>\"Всё страньше и страньше!\" ©Л. Кэрролл</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4537</td>\n",
       "      <td>2210113</td>\n",
       "      <td>1714247528</td>\n",
       "      <td>Снимите, пожалуйста, пролаз круга по пассивам ...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4539, 'from_id':...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4538</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714263780</td>\n",
       "      <td>Тем, кому интересно более глубоко и многоаспек...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4527</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1713775295</td>\n",
       "      <td>Это он ещё легко отделался! А то вот так доста...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   post_id   post_date                                          post_text  \\\n",
       "0     4544  1714901561  Воспитание психологической стойкости помогает ...   \n",
       "1     4540  1714401519                                                      \n",
       "2     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "3     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "4     4526  1713722295                                                      \n",
       "\n",
       "   nlikes  ncomments  nviews      post_date_time    id    from_id  \\\n",
       "0      15          1     958 2024-05-05 09:32:41  4546   45847070   \n",
       "1      23          1     610 2024-04-29 14:38:39  4541  260091507   \n",
       "2      16          3     882 2024-04-27 16:22:59  4537    2210113   \n",
       "3      16          3     882 2024-04-27 16:22:59  4538  260091507   \n",
       "4      51          3     843 2024-04-21 17:58:15  4527  260091507   \n",
       "\n",
       "   comment_date                                       comment_text  \\\n",
       "0    1714983363                                         Кто автор?   \n",
       "1    1714430910             \"Всё страньше и страньше!\" ©Л. Кэрролл   \n",
       "2    1714247528  Снимите, пожалуйста, пролаз круга по пассивам ...   \n",
       "3    1714263780  Тем, кому интересно более глубоко и многоаспек...   \n",
       "4    1713775295  Это он ещё легко отделался! А то вот так доста...   \n",
       "\n",
       "     owner_id                                             thread  \n",
       "0 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "1 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "2 -38936316.0  {'count': 1, 'items': [{'id': 4539, 'from_id':...  \n",
       "3 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "4 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  "
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final.drop(columns = [\"parents_stack\", \"attachments\", \"is_from_post_author\", \n",
    "                      \"deleted\", \"reply_to_user\", \"reply_to_comment\"], inplace = True)\n",
    "final.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для полной ясности переименуем `id` в `comment_id` и `from_id` в `user_id`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>post_id</th>\n",
       "      <th>post_date</th>\n",
       "      <th>post_text</th>\n",
       "      <th>nlikes</th>\n",
       "      <th>ncomments</th>\n",
       "      <th>nviews</th>\n",
       "      <th>post_date_time</th>\n",
       "      <th>comment_id</th>\n",
       "      <th>user_id</th>\n",
       "      <th>comment_date</th>\n",
       "      <th>comment_text</th>\n",
       "      <th>owner_id</th>\n",
       "      <th>thread</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4544</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>15</td>\n",
       "      <td>1</td>\n",
       "      <td>958</td>\n",
       "      <td>2024-05-05 09:32:41</td>\n",
       "      <td>4546</td>\n",
       "      <td>45847070</td>\n",
       "      <td>1714983363</td>\n",
       "      <td>Кто автор?</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4540</td>\n",
       "      <td>1714401519</td>\n",
       "      <td></td>\n",
       "      <td>23</td>\n",
       "      <td>1</td>\n",
       "      <td>610</td>\n",
       "      <td>2024-04-29 14:38:39</td>\n",
       "      <td>4541</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714430910</td>\n",
       "      <td>\"Всё страньше и страньше!\" ©Л. Кэрролл</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4537</td>\n",
       "      <td>2210113</td>\n",
       "      <td>1714247528</td>\n",
       "      <td>Снимите, пожалуйста, пролаз круга по пассивам ...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4539, 'from_id':...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4538</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714263780</td>\n",
       "      <td>Тем, кому интересно более глубоко и многоаспек...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4527</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1713775295</td>\n",
       "      <td>Это он ещё легко отделался! А то вот так доста...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   post_id   post_date                                          post_text  \\\n",
       "0     4544  1714901561  Воспитание психологической стойкости помогает ...   \n",
       "1     4540  1714401519                                                      \n",
       "2     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "3     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "4     4526  1713722295                                                      \n",
       "\n",
       "   nlikes  ncomments  nviews      post_date_time  comment_id    user_id  \\\n",
       "0      15          1     958 2024-05-05 09:32:41        4546   45847070   \n",
       "1      23          1     610 2024-04-29 14:38:39        4541  260091507   \n",
       "2      16          3     882 2024-04-27 16:22:59        4537    2210113   \n",
       "3      16          3     882 2024-04-27 16:22:59        4538  260091507   \n",
       "4      51          3     843 2024-04-21 17:58:15        4527  260091507   \n",
       "\n",
       "   comment_date                                       comment_text  \\\n",
       "0    1714983363                                         Кто автор?   \n",
       "1    1714430910             \"Всё страньше и страньше!\" ©Л. Кэрролл   \n",
       "2    1714247528  Снимите, пожалуйста, пролаз круга по пассивам ...   \n",
       "3    1714263780  Тем, кому интересно более глубоко и многоаспек...   \n",
       "4    1713775295  Это он ещё легко отделался! А то вот так доста...   \n",
       "\n",
       "     owner_id                                             thread  \n",
       "0 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "1 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "2 -38936316.0  {'count': 1, 'items': [{'id': 4539, 'from_id':...  \n",
       "3 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  \n",
       "4 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  "
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final.rename(columns = {\"id\" : \"comment_id\", \"from_id\" : \"user_id\"}, inplace = True)\n",
    "final.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выгрузим датафрейм в файл Excel на всякий случай, а сами перейдём к ещё одной бонусной части и выгрузим информацию о пользователях, оставивших комментарий. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "final.to_excel(\"rz_posts.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Выгружаем информацию по пользователям (бонус)\n",
    "\n",
    "Предположим, мы хотим получить информацию о пользователях, которые оставили комментарии к постам. Так как одни и те люди могут оставлять комментарии к разным постам, выберем из столбца `user_id` только уникальные значения:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "534\n"
     ]
    }
   ],
   "source": [
    "# id_uniq – массив numpy array\n",
    "\n",
    "id_uniq = final[\"user_id\"].unique()\n",
    "print(len(id_uniq))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Метод `users.get` позволяет принимать на вход не один id пользователя, а сразу несколько, разделёнными запятыми. Объединим элементы в `id_uniq` в массивы одинаковой длины не более 10 (в последних массивах – сколько останется):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "# array_split() разобьет массив на n массивов одинакового размера\n",
    "# если число элементов не кратно n, ошибки не будет \n",
    "# 534 // 10 + 1 – необходимое число массивов, чтобы было не больше 10 элементов\n",
    "\n",
    "chunks = np.array_split(id_uniq, 534 // 10 + 1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим на первый и последним массивы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 45847070 260091507   2210113 784213526  17426424   8437598 510158360\n",
      "  41414377  19182024   4307965]\n",
      "[137607337 174389709    162291   1942878   1037222   3058978  34410432\n",
      "   4203900  57556726]\n"
     ]
    }
   ],
   "source": [
    "print(chunks[0])\n",
    "print(chunks[-1])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверим длину массивов:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "54 [10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 9, 9, 9, 9, 9, 9]\n"
     ]
    }
   ],
   "source": [
    "# всего 6 массивов с одинаковым числом элементов\n",
    "\n",
    "print(len(chunks), list(map(len, chunks)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Склеиваем элементы внутри каждого массива в строку (перед этим превращаем массивы в массивы строк):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "id_joined = [\",\".join(ch.astype(str)) for ch in chunks]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверяем:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['45847070,260091507,2210113,784213526,17426424,8437598,510158360,41414377,19182024,4307965', '95826274,240112961,840496946,13143639,196636514,1191246,724224,624671,146913425,113333128']\n"
     ]
    }
   ],
   "source": [
    "print(id_joined[0:2])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пробуем подавать такие строки на вход методу `users.get` с некоторой задержкой:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "main_users = \"https://api.vk.com/method/users.get\"\n",
    "\n",
    "# немного другой подход: чтобы не создавать новый словарь каждый раз,\n",
    "# будем добавлять в него только новую запись про id\n",
    "\n",
    "params_users = {\"access_token\" : token, \"v\" : v}\n",
    "\n",
    "users_all = []\n",
    "\n",
    "for i_str in id_joined:\n",
    "    params_users[\"user_ids\"] = i_str \n",
    "    req = requests.get(main_users, params = params_users)\n",
    "    users_json = req.json()\n",
    "    users_list = users_json[\"response\"]\n",
    "    users_all.extend(users_list)\n",
    "    time.sleep(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_users = pd.DataFrame(users_all)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>first_name</th>\n",
       "      <th>last_name</th>\n",
       "      <th>can_access_closed</th>\n",
       "      <th>is_closed</th>\n",
       "      <th>deactivated</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>45847070</td>\n",
       "      <td>Анастасия</td>\n",
       "      <td>Артюхова</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>260091507</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Цепаев</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2210113</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Хабров</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>784213526</td>\n",
       "      <td>Лиза</td>\n",
       "      <td>Винокурова</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>17426424</td>\n",
       "      <td>Елена</td>\n",
       "      <td>Петрова</td>\n",
       "      <td>True</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id first_name   last_name  can_access_closed  is_closed deactivated\n",
       "0   45847070  Анастасия    Артюхова               True      False         NaN\n",
       "1  260091507   Владимир      Цепаев               True      False         NaN\n",
       "2    2210113   Владимир      Хабров               True      False         NaN\n",
       "3  784213526       Лиза  Винокурова               True      False         NaN\n",
       "4   17426424      Елена     Петрова               True      False         NaN"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_users.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Оставим в `df_users` только id, имя и фамилию:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_users = df_users.loc[:, \"id\" : \"last_name\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Объединим `final` и `df_users` по id пользователя, сообщив, что `user_id` в первом датафрейме – это то же самое, что `id` во втором:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [],
   "source": [
    "finfin = final.merge(df_users, left_on = \"user_id\", right_on = \"id\", how = \"left\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>post_id</th>\n",
       "      <th>post_date</th>\n",
       "      <th>post_text</th>\n",
       "      <th>nlikes</th>\n",
       "      <th>ncomments</th>\n",
       "      <th>nviews</th>\n",
       "      <th>post_date_time</th>\n",
       "      <th>comment_id</th>\n",
       "      <th>user_id</th>\n",
       "      <th>comment_date</th>\n",
       "      <th>comment_text</th>\n",
       "      <th>owner_id</th>\n",
       "      <th>thread</th>\n",
       "      <th>id</th>\n",
       "      <th>first_name</th>\n",
       "      <th>last_name</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4544</td>\n",
       "      <td>1714901561</td>\n",
       "      <td>Воспитание психологической стойкости помогает ...</td>\n",
       "      <td>15</td>\n",
       "      <td>1</td>\n",
       "      <td>958</td>\n",
       "      <td>2024-05-05 09:32:41</td>\n",
       "      <td>4546</td>\n",
       "      <td>45847070</td>\n",
       "      <td>1714983363</td>\n",
       "      <td>Кто автор?</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>45847070.0</td>\n",
       "      <td>Анастасия</td>\n",
       "      <td>Артюхова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4540</td>\n",
       "      <td>1714401519</td>\n",
       "      <td></td>\n",
       "      <td>23</td>\n",
       "      <td>1</td>\n",
       "      <td>610</td>\n",
       "      <td>2024-04-29 14:38:39</td>\n",
       "      <td>4541</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714430910</td>\n",
       "      <td>\"Всё страньше и страньше!\" ©Л. Кэрролл</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>260091507.0</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Цепаев</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4537</td>\n",
       "      <td>2210113</td>\n",
       "      <td>1714247528</td>\n",
       "      <td>Снимите, пожалуйста, пролаз круга по пассивам ...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4539, 'from_id':...</td>\n",
       "      <td>2210113.0</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Хабров</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4536</td>\n",
       "      <td>1714234979</td>\n",
       "      <td>Тренировки на выносливость - это, пожалуй, оди...</td>\n",
       "      <td>16</td>\n",
       "      <td>3</td>\n",
       "      <td>882</td>\n",
       "      <td>2024-04-27 16:22:59</td>\n",
       "      <td>4538</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1714263780</td>\n",
       "      <td>Тем, кому интересно более глубоко и многоаспек...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>260091507.0</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Цепаев</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4527</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1713775295</td>\n",
       "      <td>Это он ещё легко отделался! А то вот так доста...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>260091507.0</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Цепаев</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4528</td>\n",
       "      <td>784213526</td>\n",
       "      <td>1713783031</td>\n",
       "      <td>Так и попали все на скалодром🙃</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>784213526.0</td>\n",
       "      <td>Лиза</td>\n",
       "      <td>Винокурова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>4526</td>\n",
       "      <td>1713722295</td>\n",
       "      <td></td>\n",
       "      <td>51</td>\n",
       "      <td>3</td>\n",
       "      <td>843</td>\n",
       "      <td>2024-04-21 17:58:15</td>\n",
       "      <td>4531</td>\n",
       "      <td>17426424</td>\n",
       "      <td>1713812684</td>\n",
       "      <td>Легко отделался, придя на скалодром) вот если ...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 0, 'items': [], 'can_post': True, 's...</td>\n",
       "      <td>17426424.0</td>\n",
       "      <td>Елена</td>\n",
       "      <td>Петрова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>4518</td>\n",
       "      <td>1713429306</td>\n",
       "      <td>17 апреля у нас проходил мастер-класс по лазан...</td>\n",
       "      <td>11</td>\n",
       "      <td>4</td>\n",
       "      <td>849</td>\n",
       "      <td>2024-04-18 08:35:06</td>\n",
       "      <td>4519</td>\n",
       "      <td>8437598</td>\n",
       "      <td>1713435932</td>\n",
       "      <td>Мастер-класс по скалолазанию провели великолеп...</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4520, 'from_id':...</td>\n",
       "      <td>8437598.0</td>\n",
       "      <td>Анастасия</td>\n",
       "      <td>Лова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>4518</td>\n",
       "      <td>1713429306</td>\n",
       "      <td>17 апреля у нас проходил мастер-класс по лазан...</td>\n",
       "      <td>11</td>\n",
       "      <td>4</td>\n",
       "      <td>849</td>\n",
       "      <td>2024-04-18 08:35:06</td>\n",
       "      <td>4522</td>\n",
       "      <td>260091507</td>\n",
       "      <td>1713454515</td>\n",
       "      <td>Ага, стало быть, были все, кроме меня... 😒</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 1, 'items': [{'id': 4524, 'from_id':...</td>\n",
       "      <td>260091507.0</td>\n",
       "      <td>Владимир</td>\n",
       "      <td>Цепаев</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>4509</td>\n",
       "      <td>1713199527</td>\n",
       "      <td>В субботу, 13 апреля на нашем скалодроме состо...</td>\n",
       "      <td>21</td>\n",
       "      <td>3</td>\n",
       "      <td>1144</td>\n",
       "      <td>2024-04-15 16:45:27</td>\n",
       "      <td>4510</td>\n",
       "      <td>510158360</td>\n",
       "      <td>1713208313</td>\n",
       "      <td>Не записывали?</td>\n",
       "      <td>-38936316.0</td>\n",
       "      <td>{'count': 2, 'items': [{'id': 4511, 'from_id':...</td>\n",
       "      <td>510158360.0</td>\n",
       "      <td>Григорий</td>\n",
       "      <td>Кулага</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   post_id   post_date                                          post_text  \\\n",
       "0     4544  1714901561  Воспитание психологической стойкости помогает ...   \n",
       "1     4540  1714401519                                                      \n",
       "2     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "3     4536  1714234979  Тренировки на выносливость - это, пожалуй, оди...   \n",
       "4     4526  1713722295                                                      \n",
       "5     4526  1713722295                                                      \n",
       "6     4526  1713722295                                                      \n",
       "7     4518  1713429306  17 апреля у нас проходил мастер-класс по лазан...   \n",
       "8     4518  1713429306  17 апреля у нас проходил мастер-класс по лазан...   \n",
       "9     4509  1713199527  В субботу, 13 апреля на нашем скалодроме состо...   \n",
       "\n",
       "   nlikes  ncomments  nviews      post_date_time  comment_id    user_id  \\\n",
       "0      15          1     958 2024-05-05 09:32:41        4546   45847070   \n",
       "1      23          1     610 2024-04-29 14:38:39        4541  260091507   \n",
       "2      16          3     882 2024-04-27 16:22:59        4537    2210113   \n",
       "3      16          3     882 2024-04-27 16:22:59        4538  260091507   \n",
       "4      51          3     843 2024-04-21 17:58:15        4527  260091507   \n",
       "5      51          3     843 2024-04-21 17:58:15        4528  784213526   \n",
       "6      51          3     843 2024-04-21 17:58:15        4531   17426424   \n",
       "7      11          4     849 2024-04-18 08:35:06        4519    8437598   \n",
       "8      11          4     849 2024-04-18 08:35:06        4522  260091507   \n",
       "9      21          3    1144 2024-04-15 16:45:27        4510  510158360   \n",
       "\n",
       "   comment_date                                       comment_text  \\\n",
       "0    1714983363                                         Кто автор?   \n",
       "1    1714430910             \"Всё страньше и страньше!\" ©Л. Кэрролл   \n",
       "2    1714247528  Снимите, пожалуйста, пролаз круга по пассивам ...   \n",
       "3    1714263780  Тем, кому интересно более глубоко и многоаспек...   \n",
       "4    1713775295  Это он ещё легко отделался! А то вот так доста...   \n",
       "5    1713783031                     Так и попали все на скалодром🙃   \n",
       "6    1713812684  Легко отделался, придя на скалодром) вот если ...   \n",
       "7    1713435932  Мастер-класс по скалолазанию провели великолеп...   \n",
       "8    1713454515         Ага, стало быть, были все, кроме меня... 😒   \n",
       "9    1713208313                                     Не записывали?   \n",
       "\n",
       "     owner_id                                             thread           id  \\\n",
       "0 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...   45847070.0   \n",
       "1 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  260091507.0   \n",
       "2 -38936316.0  {'count': 1, 'items': [{'id': 4539, 'from_id':...    2210113.0   \n",
       "3 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  260091507.0   \n",
       "4 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  260091507.0   \n",
       "5 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...  784213526.0   \n",
       "6 -38936316.0  {'count': 0, 'items': [], 'can_post': True, 's...   17426424.0   \n",
       "7 -38936316.0  {'count': 1, 'items': [{'id': 4520, 'from_id':...    8437598.0   \n",
       "8 -38936316.0  {'count': 1, 'items': [{'id': 4524, 'from_id':...  260091507.0   \n",
       "9 -38936316.0  {'count': 2, 'items': [{'id': 4511, 'from_id':...  510158360.0   \n",
       "\n",
       "  first_name   last_name  \n",
       "0  Анастасия    Артюхова  \n",
       "1   Владимир      Цепаев  \n",
       "2   Владимир      Хабров  \n",
       "3   Владимир      Цепаев  \n",
       "4   Владимир      Цепаев  \n",
       "5       Лиза  Винокурова  \n",
       "6      Елена     Петрова  \n",
       "7  Анастасия        Лова  \n",
       "8   Владимир      Цепаев  \n",
       "9   Григорий      Кулага  "
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "finfin.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ура! Выгружаем в файл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "finfin.to_excel(\"posts_with_users.xlsx\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}