02 - Vertex AI AutoML/02a - Vertex AI - AutoML in GCP Console (no code).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "57568ace",
   "metadata": {},
   "source": [
    "# 02a - Vertex AI - AutoML in GCP Console (no code)\n",
    "\n",
    "Використовуйте Vertex AI з GCP Console для створення власної моделі за допомогою AutoML без коду та розгортання її для прогнозування.\n",
    "\n",
    "### Ресурси:\n",
    "-  [AutoML Tabular Training Job With GCP Console](https://cloud.google.com/vertex-ai/docs/training/automl-console#tabular)\n",
    "-  [Tutorial for AutoML Tabular](https://cloud.google.com/vertex-ai/docs/tutorials/tabular-automl)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "66e431d5",
   "metadata": {},
   "source": [
    "---\n",
    "## Створення набору даних (посилання на таблицю BigQuery)\n",
    "\n",
    "З консолі:\n",
    "- Перейдіть до Vertex AI\n",
    "- Виберіть `Datasets` (Набори даних)\n",
    "- Виберіть `CREATE DATASET` (Створити набір даних)\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/ds_1.png\" width=\"50%\">\n",
    "\n",
    "- Назвіть набір даних `02a`.\n",
    "- Виберіть `Tabular` та `Regression/classification`.\n",
    "    - [Більше про типи моделей](https://cloud.google.com/vertex-ai/docs/start/automl-model-types)\n",
    "- Натисніть `Create`\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/ds_2.png\" width=\"50%\">\n",
    "\n",
    "- У розділі Вибір джерела даних виберіть `Select a table or view from BigQuery`\n",
    "- Введіть шлях до BigQuery (або перегляд) до підготовленої таблиці, створеної в зошиті 01\n",
    "- Натисніть `CONTINUE`.\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/ds_3.png\" width=\"50%\">\n",
    "\n",
    "- Для перегляду буде показано вкладку `ANALYZE` для набору даних:\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/ds_4.png\" width=\"50%\">\n",
    "\n",
    "- Повернувшись до інформаційної панелі \"Datasets\", ви побачите зареєстрований набір даних\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/ds_5.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "87433be1",
   "metadata": {},
   "source": [
    "---\n",
    "## Навчання моделі з AutoML\n",
    "\n",
    "У консолі Vertex AI виберіть `Training`:\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_1.png\" width=\"50%\">\n",
    "\n",
    "Поруч з пунктом `Training` (вгорі) виберіть `TRAIN NEW MODEL`\n",
    "- У полі Dataset введіть `02a`\n",
    "- Для Objective переконайтеся, що вибрано `Classification`\n",
    "- Використовуйте `AutoML` для методу\n",
    "- Натисніть `CONTINUE`\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_2.png\" width=\"50%\">\n",
    "\n",
    "Для `Model Details`:\n",
    "- Залиште/змініть значення `Name` за замовчуванням\n",
    "- Для `Target column` виберіть стовпець, для якого потрібно навчати прогнози\n",
    "- Розгорніть `ADVANCED OPTIONS`:\n",
    "    - Виберіть `Manual` для методу розбиття даних\n",
    "    - Виберіть змінну `splits`, яка була створена в Блокноті 01\n",
    "- Натисніть `CONTINUE`.\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_3.png\" width=\"50%\">\n",
    "\n",
    "Для `Join Featurestore` натисніть `CONTINUE`.\n",
    "\n",
    "Для `Training options`:\n",
    "- Клацніть символ `-` поруч з будь-якими рядками для змінних, які слід виключити з навчання, наприклад, `transaction_id`.\n",
    "- Детальніше про розширені опції:\n",
    "    - [Model Weights](https://cloud.google.com/vertex-ai/docs/datasets/prepare-tabular#weight)\n",
    "    - [Optimization Objectives](https://cloud.google.com/vertex-ai/docs/training/tabular-opt-obj)\n",
    "        - Виберіть `AUC PRC` (через дисбаланс у класі) у розширених налаштуваннях\n",
    "- Натисніть `CONTINUE`\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_4.png\" width=\"50%\">\n",
    "\n",
    "Для `Compute and pricing`:\n",
    "- Введіть `1` в поле `Budget` (години)\n",
    "    - Посібник з вибору потрібної кількості часу можна знайти [тут](https://cloud.google.com/vertex-ai/docs/training-overview#automl): \n",
    "- Переконайтеся, що `Enable early stopping` увімкнено\n",
    "- Натисніть `START TRAINING`.\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_5.png\" width=\"50%\">\n",
    "\n",
    "Поверніться до меню `Training` консолі Vertex AI:\n",
    "- Після того, як модель завершить навчання, до її назви буде додано зелену галочку (орієнтовний час навчання - до 2 годин)\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/train_6.png\" width=\"50%\">"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1a962bf5",
   "metadata": {},
   "source": [
    "---\n",
    "## Модель: Оцінка, вибір, розгортання\n",
    "\n",
    "В консолі Vertex AI виберіть `Training`.\n",
    "\n",
    "Виберіть модель, яку щойно було навчено - `02a`:\n",
    "- Відкриється `Model Registry`"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af28bd96",
   "metadata": {},
   "source": [
    "---\n",
    "## Endpoint\n",
    "\n",
    "Перебуваючи в розділі Vetex AI `Model Registry` з вибраною вкладкою `DEPLOY & TEST`:\n",
    "- виберіть `DEPLOY TO ENDPOINT`\n",
    "\n",
    "У меню `Deploy to endpoint` заповніть пункт `Define your endpoint`:\n",
    "- Для імені кінцевої точки використовуйте `02a`.\n",
    "- Збережіть значення за замовчуванням для розташування і доступу\n",
    "- Виберіть `CONTINUE`\n",
    "\n",
    "У розділі \"Model settings\":\n",
    "- Розподіл трафіку має бути 100\n",
    "- мінімальна кількість обчислювальних вузлів - 1\n",
    "- `Machine type` - `n1-standard-4`\n",
    "- залиште решту значень за замовчуванням\n",
    "- Виберіть `CONTINUE`\n",
    "\n",
    "У розділі `Model monitoring`:\n",
    "- Увімкніть `Enable model monitoring for this endpoint`\n",
    "    - для завдання моніторингу використовувати ім'я `02a`\n",
    "    - використовувати значення за замовчуванням для інших пунктів меню\n",
    "- Виберіть `CONTINUE`\n",
    "\n",
    "У розділі `Monitoring objectives`:\n",
    "- Оберіть `Prediction Drift Detection` під Monitoring objective\n",
    "- Виберіть `DEPLOY`\n",
    "\n",
    "Дочекайтесь розгортання моделі (~5-10 хвилин).\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4066f242",
   "metadata": {},
   "source": [
    "<!-- ---\n",
    "## Batch\n",
    "\n",
    "У консолі Verex AI виберіть розділ \"Batch predictions\":\n",
    "\n",
    "Виберіть `Create`:\n",
    "- Назва - `02a`\n",
    "- для назви моделі виберіть модель `02a`\n",
    "- у полі Select source виберіть `BigQuery table`\n",
    "- вказати розташування вихідної таблиці BigQuery\n",
    "- для вибору місця зберігання виберіть формат виводу BigQuery\n",
    "- виберіть `Feature attribution`\n",
    "- натисніть `CONTINUE`\n",
    "\n",
    "Once the batch prediction job completes it will be listed with a green checkmark under `Batch Predictions`\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/batch_3.png\" width=\"50%\">\n",
    "\n",
    "Selecting the batch prediction job that starts with `02a` bring up the details of the prediction job\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/batch_4.png\" width=\"50%\">\n",
    "\n",
    "Select the linked BigQuery output table next to `Export location`:\n",
    "\n",
    "<img src=\"../architectures/notebooks/02a_screenshots/batch_5.png\" width=\"50%\"> -->"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "33a23c17",
   "metadata": {},
   "source": [
    "---\n",
    "## Прогнозування"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a42e6c09",
   "metadata": {},
   "source": [
    "вхідні дані:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "baf1e84b-8051-4c36-a99a-77703ec42f67",
   "metadata": {},
   "outputs": [],
   "source": [
    "project = !gcloud config get-value project\n",
    "PROJECT_ID = project[0]\n",
    "PROJECT_ID"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "190ee41c",
   "metadata": {},
   "outputs": [],
   "source": [
    "REGION = 'us-central1'\n",
    "DATANAME = 'fraud'\n",
    "NOTEBOOK = '02a'\n",
    "\n",
    "# Model Training\n",
    "VAR_TARGET = 'Class'\n",
    "VAR_OMIT = 'transaction_id' # додайте більше змінних через пробіл"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "352e4abd",
   "metadata": {},
   "source": [
    "пакети:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b08e72b7",
   "metadata": {},
   "outputs": [],
   "source": [
    "from google.cloud import aiplatform\n",
    "\n",
    "from google.cloud import bigquery\n",
    "from google.protobuf import json_format\n",
    "from google.protobuf.struct_pb2 import Value\n",
    "import json\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b34f1cc",
   "metadata": {},
   "source": [
    "клієнти:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "11e140b6",
   "metadata": {},
   "outputs": [],
   "source": [
    "aiplatform.init(project=PROJECT_ID, location=REGION)\n",
    "bigquery = bigquery.Client()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "50990d52",
   "metadata": {},
   "source": [
    "параметри:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fb5ea95d",
   "metadata": {},
   "outputs": [],
   "source": [
    "DIR = f\"temp/{NOTEBOOK}\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "51d88337",
   "metadata": {},
   "source": [
    "середовище:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "71d83e04",
   "metadata": {},
   "outputs": [],
   "source": [
    "!rm -rf {DIR}\n",
    "!mkdir -p {DIR}"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e48165db",
   "metadata": {},
   "source": [
    "### Підготуйте спостереження для прогнозування"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4f3de847",
   "metadata": {},
   "outputs": [],
   "source": [
    "pred = bigquery.query(query = f\"SELECT * FROM {DATANAME}.{DATANAME}_prepped WHERE splits='TEST' LIMIT 10\").to_dataframe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "21148cfb",
   "metadata": {},
   "outputs": [],
   "source": [
    "pred.head(4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "15bb1d02",
   "metadata": {},
   "outputs": [],
   "source": [
    "#newob = pred[pred.columns[~pred.columns.isin(VAR_OMIT.split()+[VAR_TARGET, 'splits'])]].to_dict(orient='records')[0]\n",
    "newob = pred[pred.columns[~pred.columns.isin(VAR_OMIT.split()+[VAR_TARGET])]].to_dict(orient='records')[0]\n",
    "#newob"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5b438694",
   "metadata": {},
   "source": [
    "Потрібно розуміти формат змінних, які очікує прогноз.  AutoML може перетворити тип деяких змінних. Наступні комірки отримують модель з кінцевої точки та її схеми:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fc8f7bb2",
   "metadata": {},
   "outputs": [],
   "source": [
    "newob['Time'] = str(newob['Time'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e89923ef",
   "metadata": {},
   "outputs": [],
   "source": [
    "instances = [json_format.ParseDict(newob, Value())]\n",
    "parameters = json_format.ParseDict({}, Value())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e671a9a5",
   "metadata": {},
   "source": [
    "### Отримання прогнозів: Клієнт Python"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "072f0a6f",
   "metadata": {},
   "outputs": [],
   "source": [
    "endpoint = aiplatform.Endpoint.list(filter=f'display_name={NOTEBOOK}')[0]\n",
    "endpoint.display_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b775c99f",
   "metadata": {},
   "outputs": [],
   "source": [
    "prediction = endpoint.predict(instances=instances, parameters=parameters)\n",
    "prediction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1e716973",
   "metadata": {},
   "outputs": [],
   "source": [
    "prediction.predictions[0]['classes'][np.argmax(prediction.predictions[0]['scores'])]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a0c157f2",
   "metadata": {},
   "source": [
    "### Отримання прогнозів: REST"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28b310ce",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(f'{DIR}/request.json','w') as file:\n",
    "    file.write(json.dumps({\"instances\": [newob]}))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2041f335",
   "metadata": {},
   "outputs": [],
   "source": [
    "!curl -X POST \\\n",
    "-H \"Authorization: Bearer \"$(gcloud auth application-default print-access-token) \\\n",
    "-H \"Content-Type: application/json; charset=utf-8\" \\\n",
    "-d @{DIR}/request.json \\\n",
    "https://{REGION}-aiplatform.googleapis.com/v1/{endpoint.resource_name}:predict"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "71bd36ef",
   "metadata": {},
   "source": [
    "### Отримання прогнозів: gcloud (CLI)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ad4befbd",
   "metadata": {},
   "outputs": [],
   "source": [
    "!gcloud beta ai endpoints predict {endpoint.name.rsplit('/',1)[-1]} --region={REGION} --json-request={DIR}/request.json"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "030bbd84",
   "metadata": {},
   "source": [
    "---\n",
    "## Інтерпретація результатів\n",
    "Гайд\n",
    "- https://cloud.google.com/vertex-ai/docs/predictions/interpreting-results-automl#tabular"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "81348d83",
   "metadata": {},
   "outputs": [],
   "source": [
    "explanation = endpoint.explain(instances=instances, parameters=parameters)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a2e142ff",
   "metadata": {},
   "outputs": [],
   "source": [
    "explanation.predictions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "33621b6f",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(\"attribution:\")\n",
    "print(\"baseline output\",explanation.explanations[0].attributions[0].baseline_output_value)\n",
    "print(\"instance output\",explanation.explanations[0].attributions[0].instance_output_value)\n",
    "print(\"output_index\",explanation.explanations[0].attributions[0].output_index)\n",
    "print(\"output display value\",explanation.explanations[0].attributions[0].output_display_name)\n",
    "print(\"approximation error\",explanation.explanations[0].attributions[0].approximation_error)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7a1d220f-0174-481a-a206-c7a6819015f4",
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "features = []\n",
    "scores = []\n",
    "for k in explanation.explanations[0].attributions[0].feature_attributions:\n",
    "    features.append(k)\n",
    "    scores.append(explanation.explanations[0].attributions[0].feature_attributions[k])\n",
    "features = [x for _, x in sorted(zip(scores, features))]\n",
    "scores = sorted(scores)\n",
    "fig, ax = plt.subplots()\n",
    "fig.set_size_inches(9, 9)\n",
    "ax.barh(features, scores)\n",
    "fig.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3bb07f70",
   "metadata": {},
   "source": [
    "---\n",
    "## Видалити ресурси\n",
    "див. зошит [_Cleanup](_Cleanup.ipynb)"
   ]
  }
 ],
 "metadata": {
  "environment": {
   "kernel": "python3",
   "name": "tf2-gpu.2-3.m94",
   "type": "gcloud",
   "uri": "gcr.io/deeplearning-platform-release/tf2-gpu.2-3:m94"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}