00 - Environment Setup.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "2c69d4d9",
   "metadata": {},
   "source": [
    "# 00 - Налаштування середовища"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "82ee7178",
   "metadata": {},
   "source": [
    "---\n",
    "## Налаштування"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c80aba5e",
   "metadata": {},
   "source": [
    "вхідні дані: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "03f9ee4d-62f2-473f-b9ea-61212bf9074e",
   "metadata": {},
   "outputs": [],
   "source": [
    "project = !gcloud config get-value project\n",
    "PROJECT_ID = project[0]\n",
    "PROJECT_ID"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5c342aab",
   "metadata": {},
   "outputs": [],
   "source": [
    "REGION = 'us-central1'"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "632bae5a",
   "metadata": {},
   "source": [
    "пакети:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6d470506",
   "metadata": {},
   "outputs": [],
   "source": [
    "from google.cloud import storage\n",
    "from google.cloud import bigquery\n",
    "\n",
    "import pandas as pd\n",
    "from sklearn import datasets"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d354569f-5abf-4ba2-a6e0-60de4aad8efe",
   "metadata": {},
   "source": [
    "клієнти:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2a75b04c-3632-4d1f-a4ae-0e80b556de99",
   "metadata": {},
   "outputs": [],
   "source": [
    "gcs = storage.Client(project = PROJECT_ID)\n",
    "bq = bigquery.Client(project = PROJECT_ID)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9728c71d",
   "metadata": {},
   "source": [
    "параметри:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "45c5eb21",
   "metadata": {},
   "outputs": [],
   "source": [
    "BUCKET = PROJECT_ID"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2ade2ea",
   "metadata": {},
   "source": [
    "---\n",
    "## Створити кошик для зберігання\n",
    "Перевіряє, чи вже існує кошик, і створює його, якщо він відсутній:\n",
    "- [GCS Python Client](https://cloud.google.com/python/docs/reference/storage/latest/google.cloud.storage.client.Client)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "baa83e13",
   "metadata": {},
   "outputs": [],
   "source": [
    "if not gcs.lookup_bucket(BUCKET):\n",
    "    bucketDef = gcs.bucket(BUCKET)\n",
    "    bucket = gcs.create_bucket(bucketDef, project=PROJECT_ID, location=REGION)\n",
    "    print(f'Створення кошика: {gcs.lookup_bucket(BUCKET).name}')\n",
    "else:\n",
    "    bucketDef = gcs.bucket(BUCKET)\n",
    "    print(f'Кошик вже створений: {bucketDef.name}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "414f3fbc-baa6-442b-a36d-d39ce4659061",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(f'Ознайомитися зі сховищем у консолі можна тут:\\nhttps://console.cloud.google.com/storage/browser/{PROJECT_ID};tab=objects&project={PROJECT_ID}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "677c7290-cfd1-4022-a524-c20a123aa22d",
   "metadata": {},
   "source": [
    "---\n",
    "<a id = 'permissions'></a>\n",
    "## Обліковий запис і дозволи\n",
    "\n",
    "Цей екземпляр ноутбука запущено як службовий обліковий запис у GCP.  Цей службовий обліковий запис також використовуватиметься для запуску інших служб у Vertex AI, таких як навчальні завдання та конвеєри.  Обліковий запис служби потребує дозволу на взаємодію з об'єктом у хмарному сховищі, для чого потрібна роль ([roles/storage.objectAdmin](https://cloud.google.com/storage/docs/access-control/iam-roles))."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cd5a4b97-822b-46cc-84ca-5df97359b639",
   "metadata": {},
   "source": [
    "Отримайте поточний сервісний обліковий запис:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "35ecb20b-a16b-460f-88e6-bb4866686cb0",
   "metadata": {},
   "outputs": [],
   "source": [
    "SERVICE_ACCOUNT = !gcloud config list --format='value(core.account)' \n",
    "SERVICE_ACCOUNT = SERVICE_ACCOUNT[0]\n",
    "SERVICE_ACCOUNT"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "660fa4ec-fed9-4868-953c-0bd8d0118c22",
   "metadata": {},
   "source": [
    "Увімкніть API Cloud Resource Manager:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "53429ebb-ab4e-4d23-bd10-6fa3902feaf6",
   "metadata": {},
   "outputs": [],
   "source": [
    "!gcloud services enable cloudresourcemanager.googleapis.com"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6c325662-bf04-423d-8ad0-ee9022819b20",
   "metadata": {},
   "source": [
    "Перерахуйте поточні ролі службових акаунтів:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "15d35738-e529-4c47-b2dd-f653bcc85af8",
   "metadata": {},
   "outputs": [],
   "source": [
    "!gcloud projects get-iam-policy $PROJECT_ID --filter=\"bindings.members:$SERVICE_ACCOUNT\" --format='table(bindings.role)' --flatten=\"bindings[].members\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b82db371-3788-4d25-9046-1df31f535e09",
   "metadata": {},
   "source": [
    "Якщо в отриманому списку відсутня роль `roles/storage.objectAdmin` або інша роль, яка містить цей дозвіл, наприклад, базова роль `roles/owner`, то її потрібно буде додати для облікового запису служби. Скористайтеся цими інструкціями, щоб зробити це:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0b868873-7217-49b9-9b13-31059da50a5e",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(f'Перейдіть до IAM в Google Cloud Console:\\nhttps://console.cloud.google.com/iam-admin/iam?orgonly=true&project={PROJECT_ID}&supportedpurview=organizationId')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "51482d76-ceed-496c-bed8-1f1ea875a92e",
   "metadata": {},
   "source": [
    "За посиланням на консоль вище або перейшовши за адресою https:/console.cloud.google.com і перейшовши до \"IAM & Admin > IAM\":\n",
    "- Знайдіть рядок для облікового запису служби, перерахованого вище: `<номер проекту>-compute@developer.gserviceaccount.com`.\n",
    "- У колонці `inheritance` натисніть на іконку олівця для редагування ролей\n",
    "- У спливаючому меню в розділі `Assign roles` виберіть `Add Another Role`.\n",
    "- Натисніть на поле `Select a role` і введіть `Storage Object Admin`, потім виберіть `Storage Object Admin`.\n",
    "- Натисніть кнопку Зберегти\n",
    "- Повторно запустіть список служб нижче і переконайтеся, що роль було додано:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "82eeadef-20e6-4666-bff7-2d66e431f17a",
   "metadata": {},
   "outputs": [],
   "source": [
    "!gcloud projects get-iam-policy $PROJECT_ID --filter=\"bindings.members:$SERVICE_ACCOUNT\" --format='table(bindings.role)' --flatten=\"bindings[].members\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "24e7bef6",
   "metadata": {},
   "source": [
    "---\n",
    "## Встановіть KFP\n",
    "Якщо ви отримуєте помилку після якогось кроку, повторіть його.  Іноді залежні види вирішуються.\n",
    "- [Встановлення Kubeflow Pipelines SDK](https://www.kubeflow.org/docs/components/pipelines/v1/sdk/install-sdk/)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7b11a956",
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install kfp -U -q"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ba0cdd23",
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install google-cloud-pipeline-components -U -q"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9681525d",
   "metadata": {
    "tags": []
   },
   "source": [
    "---\n",
    "## Оновити пакет AIPlatform:\n",
    "\n",
    "Пакет `google-cloud-aiplatform` часто оновлюється.  Оновіть його, щоб отримати найновішу функціональність.\n",
    "\n",
    "- [aiplatform Python Client](https://cloud.google.com/python/docs/reference/aiplatform/latest/google.cloud.aiplatform)\n",
    "- [GitHub Repo для api-common-protos](https://github.com/googleapis/api-common-protos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28e46217",
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install googleapis-common-protos -U -q"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "66ded758-1c0f-4b40-8d18-0faf0ea28ad3",
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install google-cloud-aiplatform -U -q"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5a235ebe-25f6-43f8-a353-ed6c056a1bee",
   "metadata": {},
   "outputs": [],
   "source": [
    "from google.cloud import aiplatform\n",
    "aiplatform.__version__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6f039b2a-0dd2-4a11-89dc-6be58b86de71",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "environment": {
   "kernel": "python3",
   "name": "tf2-gpu.2-3.m94",
   "type": "gcloud",
   "uri": "gcr.io/deeplearning-platform-release/tf2-gpu.2-3:m94"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}