Analysis_of_new_build_housing_data.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Analysis of new build housing data.ipynb",
      "provenance": [],
      "toc_visible": true,
      "authorship_tag": "ABX9TyPibstIczdxpyw/U4hQBUVW",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/VGODIE/ML_kaggle_competitions/blob/master/Analysis_of_new_build_housing_data.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dHPvxAMTLs3-",
        "colab_type": "text"
      },
      "source": [
        "# Результат работы"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iIj6GhqEL_xF",
        "colab_type": "text"
      },
      "source": [
        "Результатом работы является сводная таблица, имеющая id дома и его характеристики: Регион, Застройщик, Квартал сдачи, Год сдачи, Банк-кредитор, Общее количество квартир, общее количество квадратных метров, наличие кредита на стройку, наличие эксроу-счетов, общая стоимость квартир, средняя стоимость одной квартиры, количество проданных квартир, суммарная стоимость проданных квартир "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "0W1KSpDmXve_"
      },
      "source": [
        "# План работы и время на ее выполнение"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "QZWyzDAEXtYM"
      },
      "source": [
        "Эта задача сбора данных в моем понимании может быть разбита на 3 последующих крупных этапа работы:\n",
        "\n",
        "1. Создание базового корректного парсера и модели обработки данных\n",
        "\n",
        "Цель этого этапа: Создать исходную модель, которая будет корректно обрабатывать все данные, проходя все шаги решения - то есть выстроить каркас\n",
        "\n",
        "2. Оптимизация парсера\n",
        "\n",
        "Цель: Максимизация доли корректно спарсенных и обработанных данных за счет учета большего разнообразия случаев и специфики данных - то есть наполнение каркаса содержимым для усовершенствования качества собранных данных\n",
        "\n",
        "3. Оптимизация скорости работы парсера\n",
        "\n",
        "Цель: Видоизменить модель таким образом, чтобы время ее выполнения соответствовало установленным показателям. \n",
        "\n",
        "\n",
        "На каждый из этапов работы я бы выделил по **1 неделе**: итого спланировав весь проект сделать за 3 недели\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "udpF8D-p4iHs",
        "colab_type": "text"
      },
      "source": [
        "# Карта данных"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "e9P9rH2OMeSU",
        "colab_type": "text"
      },
      "source": [
        "Для того, чтобы получить эту информацию необходимо распарсить несколько ключевых источников:\n",
        "\n",
        "Основным ресурсом является сайт ЕИСЖС. А конкретно из него необходимы несколько видов страниц.\n",
        "\n",
        "Первым из них является каталог новостроек ![alt text](https://drive.google.com/uc?id=11-b7EOJsH_exE-Hw1_2mkm02Fv7eHABg)\n",
        "Переходя на отдельные страницы каждого дома, можно спарсить населенный пункт, застройщика, наличие эскроу, количество этажей и квартир, квартал и год сдачи, а также общую жилую площадь (выделено фиолетовым)\n",
        "![alt text](https://drive.google.com/uc?id=1AtbYYb9rPsVUqJ6ZFNabFDI5PkJwu412)\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UjdvdOabSx1J",
        "colab_type": "text"
      },
      "source": [
        "Вторым важным источником являются проектные декларации, на которые можно перейти со страницы, показанной выше\n",
        "\n",
        "Из этих деклараций можно спарсить банка-кредитора, если он есть, ,банк, в котором должны открываться счета эскроу\n",
        "\n",
        "А кроме этого, из деклараций можно спарсить суммарное количество договоров, суммарную площадь и суммарную стоимость проданных квартир для определения следующих величин:\n",
        "1. Примерное количество проданных квартир\n",
        "\n",
        "Такой информации напрямую нет, но ее можно оценить, сначала получив среднюю площадь одной квартиры: общая площадь / общее количество квартир\n",
        "\n",
        "А затем, чтобы оценить примерно количество проданных квартир нужно: площадь проданных квартир / среднюю площадь одной квартиры\n",
        "2. Средняя стоимость одной квартиры и как следствие суммарная стоимость всех существующих квартир\n",
        "\n",
        "Такой информации тоже напрямую нет, но ее можно оценить следующим образом:\n",
        "\n",
        "Средняя стоимость квартиры это суммарная стоимость проданных квартир / количество проданных квартир\n",
        "\n",
        "Тогда суммарная стоимость всех квартир это количество квартир * средняя стоимость одной квартиры\n",
        " ![alt text](https://drive.google.com/uc?id=1mo16JdVPl2jV1UPQRl3vTZkXPWVwsydf)\n",
        "\n",
        " ![alt text](https://drive.google.com/uc?id=1WgEn8DsunM048FBigAaO9q3-VgHxJ5NF)\n",
        "\n",
        " ![alt text](https://drive.google.com/uc?id=1TR-Z1itBoXkx7y6EWerR_7ouHHWobZvw)\n",
        "\n",
        " ![alt text](https://drive.google.com/uc?id=1hN2yULk7pwLqkGxanDZznJoXvLz4IQ92)\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dFNJzO3ugFEN",
        "colab_type": "text"
      },
      "source": [
        "# Алгоритм работы базового алгоритма"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "c16bPnSyo54Z",
        "colab_type": "text"
      },
      "source": [
        "\n",
        "0. Для разбиения по регионам я бы, в первую очередь, спарсил ссылки на списки новостроек по регионам, чтобы парсить их\n",
        "последовательно и когда объекты одного региона заканчиваются, то всем спарсенным присваивать этот регион\n",
        "\n",
        "1. После того как парсер перейдет на страницу конкретного региона в каталог новостроек, то парсим ссылки на страницы конкретных объектов\n",
        "и ссылку на следующую страницу. Затем интеративно обрабатываем каждую из ссылок объектов, закончив, переходим на следующую страницу\n",
        "объектов и так пока не закончатся объекты данного региона. А после перехода на новый регион итеративно потворяем те же операции.\n",
        "\n",
        "2. На каждой странице парсим те данные, о которых я писал в предыдущем разделе, а также парсим ссылку на проектную декларацию\n",
        "данного объекта и храним ее как отдельный признак объекта - обработаем ее позже, так как она представлена в pdf.\n",
        "Каждую характеристку складываем в отдельный список - эти списки сконкатенируем в матрицу после парсинга всего региона\n",
        "\n",
        "3. После парсинга всех объектов, достаем из полученного датасета ссылки на pdf файлы с проектными декларациями. Итерируясь по ним, парсим с них данные, описанные в предыдущем пункте и добавляем их в датасет.\n",
        "\n",
        "4. После получения всех спарсенных данных в виде таблицы необходимо получить признаки, которые являются производными от спарсенных,\n",
        "к примеру как общая стоимость квартир в доме или количество проданных квартир. А также в этом шаге необходимо сделать постобработку\n",
        "всех текстовых признаков - к примеру если рассматривать банк, где открываются эскроу, то тот же Сбербанк там может фигурировать как\n",
        "как филиал такого-то отделения - такие данные необходимо привести к единому виду. Подобную обработку нужно будет сделать для всех текстовых признаков, которые в исходном источнике данных могут быть записаны в несколько различных формах (Это можно делать и в процессе парсинга в процессе оптимизации скорости работы парсера, если это будет целесообразно)\n",
        "\n",
        "5. Моя оценка общей стоимости квартир имеет минусы - один из них заключается в том, что в домам, которые будут сданы более чем через 10 лет бывает, что нет еще купленных квартир, как следствие на основе моего подхода не получается оценить стоимость одной квартиры и как следствие суммарную стоимость всех квартир. Решением этой проблемы, которое я предлагаю, это обучить ML-модель для предсказания этих параметров на основе размеченных данных, которые удалось корректно спарсить."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "I_cAFuWKz-rR",
        "colab_type": "text"
      },
      "source": [
        "# Инструментарий"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "99xhRqb-0BuU",
        "colab_type": "text"
      },
      "source": [
        "Для выполнения цели потребуется использование следующих библиотек:\n",
        "\n",
        "1. BeautifulSoup (bs4), а также  scrapy, requests для парсинга веб-страниц\n",
        "2. Pandas для представления данных в виде датасета и преобразование их\n",
        "3. Numpy для эффективной работы с матрицами: а именно для преобразования численных признаков\n",
        "4. Re и NLTK для обработки конкрентных текстовых объектов\n",
        "5. Sklearn для создания ML-модели для восстановления данных, которые пропущены на основе размещенных данных"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cKPZpzZ7_8A2",
        "colab_type": "text"
      },
      "source": [
        "# Пример парсинга страницы объекта"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "p0KA_4DI39Sa",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import bs4 as bs\n",
        "import urllib.request\n",
        "import requests"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "c905p8MPDndi",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "r = requests.get('https://xn--80az8a.xn--d1aqf.xn--p1ai/%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3-%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BA/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82/34120')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WXZEJlzrI-_d",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "soup = bs.BeautifulSoup(r.content)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LqMKAy5OVQIb",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def parse_page(soup):\n",
        "  house_id = soup.find('p',{\"class\":\"styles__Id-eng632-2 liGaEP\"}).text\n",
        "  adress = soup.find('p',{\"class\":\"styles__Id-eng632-2 styles__Address-eng632-4 bVtIlE\"}).text\n",
        "  builder = soup.find('a',{\"class\":\"styles__LinkContainer-sc-1u7ca6h-0 gxEzAu\"}).text\n",
        "  x = soup.find('p',{\"class\":\"styles__StatusText-pg2ty1-1 gkUmPu\"}).text\n",
        "  n_floors = soup.findAll('div',{\"class\":\"styles__Value-sc-13pfgqd-2 eTcBsy\"})[2].text\n",
        "  n_appartments = soup.findAll('div',{\"class\":\"styles__Value-sc-13pfgqd-2 eTcBsy\"})[3].text\n",
        "  exp_start = soup.findAll('div',{\"class\":\"styles__Value-sc-13pfgqd-2 eTcBsy\"})[4].text\n",
        "  area = soup.findAll('p',{\"class\":\"styles__Value-sc-2i4wxn-3 jsrVhl\"})[-1].text\n",
        "  res = [house_id, adress, builder, x, n_floors, n_appartments, exp_start, area]\n",
        "  return res"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aiHzo9z9aS12",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 153
        },
        "outputId": "dbd0695b-80cc-4414-9c06-8d095a689416"
      },
      "source": [
        "parse_page(soup)"
      ],
      "execution_count": 85,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['ID дома: 34120',\n",
              " 'Адрес: Москва город, г Москва, район Южнопортовый, пр-кт Волгоградский, корпус Б, вл. 32/5',\n",
              " 'ООО СЗ  МЕТРОПОЛИЯ',\n",
              " 'Продажа квартир через счета эскроу',\n",
              " '32',\n",
              " '522',\n",
              " 'II кв. 2025',\n",
              " '27 032']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 85
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KR5eplFKabWz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}