contrib/elm.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "id": "6a060e0c",
      "metadata": {
        "id": "6a060e0c"
      },
      "source": [
        "## Машины экстремального обучения\n",
        "\n",
        "Горчаков А.В., кафедра корпоративных информационных систем, РТУ МИРЭА\n",
        "\n",
        "*Интеллектуальные алгоритмы* позволяют автоматизировать выявление скрытых нетривиальных закономерностей в данных, причём накопленные сведения автоматически обобщаются до информации, которая может быть охарактеризована как *знания*. Алгоритмы *машинного обучения* способны выполнять предсказания исходя из опыта, накопленного в результате анализа больших данных.\n",
        "\n",
        "*Машина экстремального обучения* (англ. Extreme Learning Machine, ELM) — архитектура искусственной нейронной сети, алгоритма машинного обучения с учителем, описанная Guang-Bin Huang в 2006 г. в работе [Extreme learning machine: Theory and applications](https://www.sciencedirect.com/science/article/abs/pii/S0925231206000385). По скорости обучения ELM значительно превосходит классические искусственные нейронные сети.\n",
        "\n",
        "Задача машинного обучения состоит в построении отображения $f: X \\rightarrow Y$, позволяющего по объекту из множества $X$ определить его характеристику $Y$. Например, в задаче распознавания рукописных цифр $X$ обозначает множество рукописных цифр, а $Y$ — метку класса, цифру из множества $\\{0, 1, 2, 3, \\cdots, 9\\}$. Задача распознавания рукописных цифр здесь — это задача классификации объектов на 10 классов.\n",
        "\n",
        "### 1. Подготовка данных\n",
        "\n",
        "Целью данного этапа является формирование обучающей и тестовой выборки.\n",
        "\n",
        "**Задача 1.1.** Загрузите набор данных с рукописными цифрами, используя функцию `load_digits()` из модуля `sklearn.datasets`. Рукописные цифры в наборе представлены в виде векторов, принадлежащих пространству $\\mathbb{R}^{64}$. Преобразуйте векторы к матрицам, принадлежащим пространству $\\mathbb{R}^{8\\times8}$, воспользуйтесь средствами `numpy`. Визуализируйте несколько рукописных цифр из загруженного набора данных $X$ средствами библиотеки `matplotlib`. Вместе с визуализацией цифры выведите на экран метку её класса."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "9bfc880a",
      "metadata": {
        "id": "9bfc880a"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "6e4a2ded",
      "metadata": {
        "id": "6e4a2ded"
      },
      "source": [
        "**Задача 1.2.** Примените минимаксное масштабирование к рукописным цифрам из множества $X$, представленным векторами, принадлежащими пространству $\\mathbb{R}^{64}$, воспользовавшись классом `MinMaxScaler` из библиотеки `sklearn`. Убедитесь, что компоненты каждого вектора $\\vec{x}_i\\in X$, кодирующего каждую $i$-ю цифру, принадлежат вещественному промежутку $[0, 1]$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "7d263f14",
      "metadata": {
        "id": "7d263f14"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "eb78d688",
      "metadata": {
        "id": "eb78d688"
      },
      "source": [
        "**Задача 1.3.** Преобразуйте метки классов рукописных цифр в векторы, принадлежащие пространству $\\mathbb {R}^{10}$, используя унитарный код (англ. one-hot encoding). Воспользуйтесь классом `OneHotEncoder` из библиотеки `sklearn`."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d0c641e9",
      "metadata": {
        "id": "d0c641e9"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "618ac8b4",
      "metadata": {
        "id": "618ac8b4"
      },
      "source": [
        "**Задача 1.4.** Разбейте набор данных, состоящий из множества масштабированных векторов $x_i \\in X$ и множества меток классов $y_i \\in Y$, на обучающую и тестовую выборки. Воспользуйтесь функцией `train_test_split` из библиотеки `sklearn`. Пусть обучающий набор содержит 70% от общего числа пар объект-ответ, а тестовый набор — 30% от общего числа. Убедитесь, что разделение произведено корректно, визуализировав несколько рукописных цифр из новых выборок вместе с их метками классов."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "8802725b",
      "metadata": {
        "id": "8802725b"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "bc613bba",
      "metadata": {
        "id": "bc613bba"
      },
      "source": [
        "### 2. Обучение Машины экстремального обучения\n",
        "\n",
        "Последовательность действий для обучения классификатора на основе Машины экстремального обучения имеет вид:\n",
        "\n",
        "<div style=\"margin-top:10px; display: block;width:100%\">\n",
        "<img src=\"https://user-images.githubusercontent.com/6759207/205480896-79304871-0905-4444-9a05-bf2592e5ef60.png\" width=\"600px\" align=\"left\" />\n",
        "</div>"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "e17e00bf",
      "metadata": {
        "id": "e17e00bf"
      },
      "source": [
        "Результатом обучения являются веса нейронной сети $\\mathbf{\\alpha}$, $\\beta$, вектор сдвигов $\\vec {b}$.\n",
        "\n",
        "Целью данного этапа является обучение алгоритма на размеченной обучающей выборке, подготовленной ранее.\n",
        "\n",
        "**Задача 2.1.** Реализуйте функцию `make_alpha(d, m)`, инициализирующую матрицу $\\mathbf{\\alpha} \\in \\mathbb{R}^{d \\times m}$ случайными числами из $[-1,1]$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d0c8be76",
      "metadata": {
        "id": "d0c8be76"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "8732844f",
      "metadata": {
        "id": "8732844f"
      },
      "source": [
        "**Задача 2.2.** Реализуйте функцию `make_b_vec(d)`, инициализирующую вектор $\\vec{b}\\in\\mathbb{R}^{d}$ случайными числами из $[-1,1]$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "ed7c9b8e",
      "metadata": {
        "id": "ed7c9b8e"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "f0bbeb2e",
      "metadata": {
        "id": "f0bbeb2e"
      },
      "source": [
        "**Задача 2.3.** Реализуйте функцию `compute_b(n, b_vec)`, вычисляющую $\\mathbf{b}\\in\\mathbb{R}^{n \\times d}$ клонированием вектора $\\vec{b}$ $n$ раз."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "868030a8",
      "metadata": {
        "id": "868030a8"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "d474f7b7",
      "metadata": {
        "id": "d474f7b7"
      },
      "source": [
        "**Задача 2.4.** Реализуйте функцию `compute_h(v, alpha, b)`, вычисляющую выходную матрицу скрытого слоя по формуле $\\mathbf{H}=\\sigma(\\mathbf{V}_L\\mathbf{\\alpha}^T + \\mathbf{b})$. $\\mathbf {V}_L$ обозначает матрицу, каждая $i$-я строка которой кодирует $i$-й объект из *обучающей выборки*. $\\alpha^T$ обозначает транспонирование матрицы весов $\\alpha$. Сигмоидальная функция активации $\\sigma$ определяется как $\\sigma(x)=(1 + e^{-x})^{-1}$ и применяется к каждому элементу матрицы. Убедитесь, что матрица $\\mathbf {H}$ принадлежит пространству $\\mathbb {R}^{n\\times d}$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "76482acc",
      "metadata": {
        "id": "76482acc"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "42e64f9d",
      "metadata": {
        "id": "42e64f9d"
      },
      "source": [
        "**Задача 2.5.** Реализуйте функцию `make_i(d)`, осуществляющую построение диагональной матрицы $\\mathbf {I} \\in \\mathbb {R}^{d\\times d}$. Элементы на главной диагонали матрицы $\\mathbf {I}$ должны быть равны 1, а элементы, не принадлежащие главной диагонали, должны быть равны 0. Убедитесь, что матрица $\\mathbf {I}$ принадлежит пространству $\\mathbb {R}^{d\\times d}$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "dc4a48a2",
      "metadata": {
        "id": "dc4a48a2"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "1ef62413",
      "metadata": {
        "id": "1ef62413"
      },
      "source": [
        "**Задача 2.6.** Реализуйте функцию `compute_hp(h, i, gamma=1e-6)`, вычисляющую псевдообратную матрицу с регуляризацией для матрицы $\\mathbf{H}$ по формуле $\\mathbf{H}^{†}=(\\mathbf{H}^T\\mathbf{H} + \\gamma\\mathbf{I})^{-1}\\mathbf{H}^T$. Операция $(\\cdots)^T$ обозначает транспорирование матрицы, операция $(\\cdots)^{-1}$ обозначает операцию нахождения обратной матрицы для значения в скобках. Убедитесь, что матрица $\\mathbf {H}$ принадлежит пространству $\\mathbb {R}^{d\\times n}$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d0fb9d98",
      "metadata": {
        "id": "d0fb9d98"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "9adc5ce9",
      "metadata": {
        "id": "9adc5ce9"
      },
      "source": [
        "**Задача 2.7.** Реализуйте функцию `compute_beta(hp, y)`, вычисляющую веса $\\mathbf {\\beta} \\in \\mathbb{R}^{d\\times m}$ по формуле $\\mathbf {\\beta} = \\mathbf {H}^{†} \\mathbf {Y}_L$, где $\\mathbf {Y}_L$ обозначает матрицу, каждая $i$-я строка которой кодирует $i$-й *ответ* из обучающей выборки. Каждый ответ представлен $m$-мерным вектором, используется унитарный код (англ. one-hot encoding). Убедитесь, что матрица $\\mathbf {Y}_L$ принадлежит пространству $\\mathbb {R}^{d\\times o}$, где $d$ - число нейронов на скрытом слое, $o$ - число меток классов."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "ddb53bb0",
      "metadata": {
        "id": "ddb53bb0"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "295497e2",
      "metadata": {
        "id": "295497e2"
      },
      "source": [
        "**Задача 2.8.** Объедините реализованные ранее функции в функцию `elm_train(v, y, gamma=1e-6, d=100)`, возвращающую кортеж из случайных весов $\\alpha\\in\\mathbb{R}^{d\\times m}$, вектора сдвигов $\\vec {b}\\in\\mathbb{R}^{d}$, обученных весов $\\beta\\in\\mathbb{R}^{d\\times o}$. Примените функцию к ранее подготовленной обучающей выборке."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "10377b72",
      "metadata": {
        "scrolled": false,
        "id": "10377b72"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "95529aa2",
      "metadata": {
        "id": "95529aa2"
      },
      "source": [
        "### 3. Выполнение предсказаний Машиной экстремального обучения\n",
        "\n",
        "Последовательность действий для выполнения предсказаний Машиной экстремального обучения имеет вид:\n",
        "\n",
        "<div style=\"margin-top:10px; display: block;width:100%\">\n",
        "<img src=\"https://user-images.githubusercontent.com/6759207/205480821-bf0fb3af-c9f6-4b8a-989e-d5420b9b5007.png\" width=\"600px\" align=\"left\" />\n",
        "</div>"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "a763d048",
      "metadata": {
        "id": "a763d048"
      },
      "source": [
        "Для выполнения предсказаний используются веса $\\mathbf{\\alpha}$, $\\beta$, вектор сдвигов $\\vec {b}$.\n",
        "\n",
        "Целью данного этапа является выполнение предсказаний алгоритмом на тестовой выборке, подготовленной ранее."
      ]
    },
    {
      "cell_type": "markdown",
      "id": "963ad21d",
      "metadata": {
        "id": "963ad21d"
      },
      "source": [
        "**Задача 3.1.** Согласно алгоритму выше реализуйте функцию `elm_predict(v, alpha, b_vec, beta)`, возвращающую матрицу $\\mathbf{Y}_T\\in\\mathbb{R}^{n\\times o}$, каждая $i$-я строка которой содержит $o$-мерную метку классов для каждого $i$-го объекта $\\vec{v}_i\\in \\mathbf{V}_T$, причём $\\mathbf{V}_T\\in\\mathbb{R}^{n\\times m}$."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "95e2e526",
      "metadata": {
        "id": "95e2e526"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "836a43a7",
      "metadata": {
        "id": "836a43a7"
      },
      "source": [
        "**Задача 3.2.** При помощи функции `elm_predict` выполните предсказания меток классов для рукописных цифр из тестовой выборки $\\mathbf {X}_T$. Преобразуйте предсказанные метки классов $\\mathbf{Y}_T\\in\\mathbb{R}^{n\\times o}$ из унитарного кода в целые числа. Преобразуйте истинные метки классов для выборки $\\mathbf{X}_T$ (см. задачу 1.4) из унитарного кода в целые числа. Сравните истинные метки классов с предсказанными. Насколько хорошо алгоритм распознаёт рукописные цифры? Оцените точность предсказаний в процентах (при $\\gamma=10^{-6}$ и $d=100$ должно получиться ~95%)."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "e974979d",
      "metadata": {
        "scrolled": false,
        "id": "e974979d"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "334f12f0",
      "metadata": {
        "id": "334f12f0"
      },
      "source": [
        "### 4. Переработка кода\n",
        "\n",
        "Функции, реализованные выше, может быть довольно сложно переиспользовать: каждая функция реализована в отдельной ячейке, а состояние Машины экстремального обучения, представленное весовыми матрицами $\\alpha$, $\\beta$ и вектором сдвигов, хранится в глобальных переменных. Не изменяя логики работы алгоритмов глобальное состояние может быть представлено как внутреннее состояние класса, а функции, ответственные за обучение и выполнение предсказаний, могут быть представлены как методы класса.\n",
        "\n",
        "**Задача 4.1.** Перепишите код так, чтобы Машина экстремального обучения была представлена в виде класса по шаблону ниже:\n",
        "\n",
        "```python\n",
        "class ELM:\n",
        "    def __init__(self, d=100, gamma=1e-6):\n",
        "        self.d = d\n",
        "        self.gamma = gamma\n",
        "\n",
        "    def fit(self, x, y):\n",
        "        # TODO: Обучение алгоритма (см. секцию 2).\n",
        "        pass\n",
        "\n",
        "    def predict(self, x):\n",
        "        # TODO: Выполнение предсказаний (см. секцию 3).\n",
        "        pass\n",
        "```\n",
        "\n",
        "Не используйте ранее реализованные функции, пользуйтесь только функциями Python и библиотеки `numpy`. Выполните обучение и предсказания при помощи класса `ELM`, реализующего Машину экстремального обучения. Добейтесь того же самого результата и той же самой точности, как и при помощи функций, реализованных ранее."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6dbd725f",
      "metadata": {
        "id": "6dbd725f"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "id": "f3886518",
      "metadata": {
        "id": "f3886518"
      },
      "source": [
        "**Задача 4.2.** Как зависит точность предсказаний Машины экстремального обучения от числа нейронов на скрытом слое $d$ и коэффициента регуляризации $\\gamma$? Автоматизируйте выбор параметров $d$ и $\\gamma$ поиском по сетке, постройте график зависимости точности от $d$ и $\\gamma$ в трёхмерном пространстве."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "ce14ca7e",
      "metadata": {
        "id": "ce14ca7e"
      },
      "outputs": [],
      "source": []
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.10.6"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}