02_Working_With_Datasets_번역.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "792189ba",
   "metadata": {},
   "source": [
    "# Tutorial 2: Working With Datasets\n",
    "데이터는 machine learning의 중심입니다. 이 튜토리얼에서는 DeepChem이 데이터를 저장하고 관리하는 데 사용하는 데이터 세트 클래스를 소개합니다. 단순하지만 강력한 도구를 제공하여 대량의 데이터를 효율적으로 작업할 수 있습니다. 또한 NumPy, Pandas, TensorFlow 및 PyTorch와 같은 다른 인기 있는 Python 프레임워크와 쉽게 상호 작용하도록 설계되었다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "42dffb62",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'2.5.0'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import deepchem as dc\n",
    "dc.__version__"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1f3a4baf",
   "metadata": {},
   "source": [
    "## Anatomy of a Dataset\n",
    "마지막 튜토리얼에서 우리는 분자 용해도의 Delaney 데이터 세트를 로드했다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "78907fa3",
   "metadata": {},
   "outputs": [],
   "source": [
    "tasks, datasets, transformers = dc.molnet.load_delaney(featurizer='GraphConv')\n",
    "train_dataset, valid_dataset, test_dataset = datasets"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ce5df70a",
   "metadata": {},
   "source": [
    "이제 교육, 검증 및 테스트 세트의 세 가지 데이터 세트 개체가 있습니다. 각 정보에는 어떤 정보가 담겨져 있는지 이 중 하나의 문자열 표현을 print함으로써 아이디어를 얻는다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "5a402abe",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<DiskDataset X.shape: (113,), y.shape: (113, 1), w.shape: (113, 1), ids: ['c1cc2ccc3cccc4ccc(c1)c2c34' 'Cc1cc(=O)[nH]c(=S)[nH]1'\n",
      " 'Oc1ccc(cc1)C2(OC(=O)c3ccccc23)c4ccc(O)cc4 ' ...\n",
      " 'c1ccc2c(c1)ccc3c2ccc4c5ccccc5ccc43' 'Cc1occc1C(=O)Nc2ccccc2'\n",
      " 'OCC3OC(OCC2OC(OC(C#N)c1ccccc1)C(O)C(O)C2O)C(O)C(O)C3O '], task_names: ['measured log solubility in mols per litre']>\n"
     ]
    }
   ],
   "source": [
    "print(test_dataset)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "44839b8b",
   "metadata": {},
   "source": [
    "거기엔 많은 정보가 있으니까, 처음부터 시작하자. 처음에는 \"DiskDataset\" 레이블로 시작한다. 데이터 세트는 abstract class이다. 데이터 저장 방법에 해당하는 몇 개의 하위 클래스가 있습니다.\n",
    "\n",
    " - DiskDataset 세트는 디스크에 저장된 데이터 세트입니다. 총 데이터 양이 컴퓨터 메모리보다 훨씬 더 많은 경우에도 데이터는 효율적으로 액세스할 수 있는 방식으로 저장됩니다.\n",
    " - NumpyDataset은 NumPy 어레이의 모든 데이터를 저장하는 인메모리 데이터 세트이다. 이 도구는 메모리에 모두 들어갈 수 있는 중소규모 데이터 세트를 조작할 때 유용한 도구이다.\n",
    " - ImageDataset 세트는 이미지 파일의 일부 또는 전체를 디스크에 저장하는 보다 전문화된 클래스입니다. 이 기능은 이미지를 입력 또는 출력으로 하는 모델로 작업할 때 유용합니다.\n",
    "\n",
    "이제 Dataset의 내용을 살펴보겠습니다. 모든 Dataset에는 샘플 목록이 저장됩니다. 대략적으로 말하면, 표본은 single data point입니다. 이 경우 각 표본은 분자(molecule)입니다. 다른 Dataset에서는 샘플이 실험적인 검사, 셀 라인, 이미지 또는 기타 여러 가지에 해당될 수 있습니다. 모든 샘플에 대해 Dataset에는 다음 정보가 저장됩니다.\n",
    "\n",
    " - X라고 하는 features. 이것은 표본을 나타내기 위해 모델에 공급되어야 하는 input입니다.\n",
    " - y라고 하는 labels입니다. 이것은 모델에서 원하는 output입니다. 교육 중에 각 표본에 대한 모델의 output을 가능한 한 y에 가깝게 만들려고 합니다.\n",
    " - weight (w라고 함). 이 값을 사용하여 일부 데이터 값이 다른 값보다 더 중요하다는 것을 나타낼 수 있습니다. 이후 튜토리얼에서는 이 방법이 어떻게 유용한지에 대한 예를 살펴보겠습니다.\n",
    " - 샘플의 고유 식별자인 ID입니다. 이것은 독특하기만 하면 무엇이든 될 수 있다. 때로는 정수 인덱스일 뿐이지만, 이 데이터 세트에서 ID는 분자를 설명하는 SMILES 문자열이다.\n",
    "\n",
    "X, y, w 첫 번째 차원의 크기는 113입니다. 이는 이 데이터 세트에 113개의 샘플이 포함되어 있음을 의미합니다.\n",
    "\n",
    "출력에 나열된 최종 정보는 task_names입니다. 일부 데이터 세트에는 각 샘플에 대한 여러 가지 정보가 포함되어 있습니다. 예를 들어, 표본이 분자를 나타내는 경우 데이터 집합은 해당 분자에 대한 여러 다른 실험의 결과를 기록할 수 있다. 이 데이터 세트에는 \"리터당 몰 단위의 로그 가용성 측정\"이라는 단일 작업만 있습니다. 또한 y와 w는 형상(113, 1)을 가진다. 이러한 배열의 두 번째 차원은 일반적으로 작업 수와 일치합니다.\n",
    "\n",
    "## Accessing Data from a Dataset\n",
    "데이터 세트에 포함된 데이터에 액세스하는 방법은 여러 가지가 있습니다. 가장 간단한 방법은 X, y, w 및 ids 속성에 직접 액세스하는 것입니다. 이 각각은 해당 정보를 NumPy 배열로 반환합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "babb3e20",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[-1.60114461],\n",
       "       [ 0.20848251],\n",
       "       [-0.01602738],\n",
       "       [-2.82191713],\n",
       "       [-0.52891635],\n",
       "       [ 1.10168349],\n",
       "       [-0.88987406],\n",
       "       [-0.52649706],\n",
       "       [-0.76358725],\n",
       "       [-0.64020358],\n",
       "       [-0.38569452],\n",
       "       [-0.62568785],\n",
       "       [-0.39585553],\n",
       "       [-2.05306753],\n",
       "       [-0.29666474],\n",
       "       [-0.73213651],\n",
       "       [-1.27744393],\n",
       "       [ 0.0081655 ],\n",
       "       [ 0.97588054],\n",
       "       [-0.10796031],\n",
       "       [ 0.59847167],\n",
       "       [-0.60149498],\n",
       "       [-0.34988907],\n",
       "       [ 0.34686576],\n",
       "       [ 0.62750312],\n",
       "       [ 0.14848418],\n",
       "       [ 0.02268122],\n",
       "       [-0.85310089],\n",
       "       [-2.72079091],\n",
       "       [ 0.42476682],\n",
       "       [ 0.01300407],\n",
       "       [-2.4851523 ],\n",
       "       [-2.15516147],\n",
       "       [ 1.00975056],\n",
       "       [ 0.82588471],\n",
       "       [-0.90390593],\n",
       "       [-0.91067993],\n",
       "       [-0.82455329],\n",
       "       [ 1.26909819],\n",
       "       [-1.14825397],\n",
       "       [-2.1343556 ],\n",
       "       [-1.15744727],\n",
       "       [-0.1045733 ],\n",
       "       [ 0.53073162],\n",
       "       [-1.22567118],\n",
       "       [-1.66452995],\n",
       "       [ 0.24525568],\n",
       "       [-0.13215318],\n",
       "       [-0.97067826],\n",
       "       [-0.23376326],\n",
       "       [ 1.21297072],\n",
       "       [-1.2595412 ],\n",
       "       [ 0.49686159],\n",
       "       [ 0.22396595],\n",
       "       [-0.44182199],\n",
       "       [ 0.47895886],\n",
       "       [ 0.08267956],\n",
       "       [-1.51840498],\n",
       "       [-0.34795364],\n",
       "       [-0.83858516],\n",
       "       [-0.13699176],\n",
       "       [-2.59498796],\n",
       "       [ 0.13106531],\n",
       "       [ 0.09042128],\n",
       "       [ 1.18877785],\n",
       "       [-0.82697258],\n",
       "       [-1.16857599],\n",
       "       [ 0.37589721],\n",
       "       [-0.24344041],\n",
       "       [-2.00952036],\n",
       "       [-0.59181783],\n",
       "       [-0.15634606],\n",
       "       [-2.87272217],\n",
       "       [-0.34069577],\n",
       "       [ 0.27622256],\n",
       "       [-2.15467761],\n",
       "       [-0.02812382],\n",
       "       [-2.77401524],\n",
       "       [ 0.25638441],\n",
       "       [ 0.84040043],\n",
       "       [-0.86277804],\n",
       "       [-1.52082426],\n",
       "       [ 0.29702844],\n",
       "       [ 0.44363727],\n",
       "       [ 0.47460415],\n",
       "       [-0.08376743],\n",
       "       [ 0.68556602],\n",
       "       [ 0.79201468],\n",
       "       [-1.2401869 ],\n",
       "       [ 0.6129874 ],\n",
       "       [-0.58214068],\n",
       "       [-1.51598569],\n",
       "       [-1.93984487],\n",
       "       [-0.30295489],\n",
       "       [-0.24827899],\n",
       "       [ 1.06442646],\n",
       "       [-1.48259952],\n",
       "       [ 0.0275198 ],\n",
       "       [ 0.33718861],\n",
       "       [-0.91600236],\n",
       "       [ 0.58637523],\n",
       "       [-0.62084928],\n",
       "       [-0.30827732],\n",
       "       [-1.95145746],\n",
       "       [-0.83568202],\n",
       "       [ 0.10977558],\n",
       "       [ 1.90488697],\n",
       "       [-0.75149081],\n",
       "       [-1.65630437],\n",
       "       [ 0.74362893],\n",
       "       [-2.42079925],\n",
       "       [-0.20957039],\n",
       "       [ 1.01458914]])"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_dataset.y"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "69102f70",
   "metadata": {},
   "source": [
    "이 방법은 데이터에 액세스하는 매우 쉬운 방법이지만 사용에 =주의해야 합니다. 이렇게 하려면 모든 샘플에 대한 데이터를 한 번에 메모리에 로드해야 합니다. 이와 같은 소규모 데이터셋의 경우에는 괜찮지만 대규모 데이터셋의 경우 기존 데이터셋보다 더 많은 메모리가 필요할 수 있습니다.\n",
    "\n",
    "더 나은 접근 방식은 데이터 세트를 반복하는 것이다. 따라서 한 번에 적은 양의 데이터만 로드하고 처리한 다음 다음 비트를 로드하기 전에 메모리를 비울 수 있습니다. itersamples() 방법을 사용하여 한 번에 하나씩 표본 위에 반복할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "36dd955a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[-1.60114461] c1cc2ccc3cccc4ccc(c1)c2c34\n",
      "[0.20848251] Cc1cc(=O)[nH]c(=S)[nH]1\n",
      "[-0.01602738] Oc1ccc(cc1)C2(OC(=O)c3ccccc23)c4ccc(O)cc4 \n",
      "[-2.82191713] c1ccc2c(c1)cc3ccc4cccc5ccc2c3c45\n",
      "[-0.52891635] C1=Cc2cccc3cccc1c23\n",
      "[1.10168349] CC1CO1\n",
      "[-0.88987406] CCN2c1ccccc1N(C)C(=S)c3cccnc23 \n",
      "[-0.52649706] CC12CCC3C(CCc4cc(O)ccc34)C2CCC1=O\n",
      "[-0.76358725] Cn2cc(c1ccccc1)c(=O)c(c2)c3cccc(c3)C(F)(F)F\n",
      "[-0.64020358] ClC(Cl)(Cl)C(NC=O)N1C=CN(C=C1)C(NC=O)C(Cl)(Cl)Cl \n",
      "[-0.38569452] COc2c1occc1cc3ccc(=O)oc23 \n",
      "[-0.62568785] CN2C(=C(O)c1ccccc1S2(=O)=O)C(=O)Nc3ccccn3 \n",
      "[-0.39585553] Cc3cc2nc1c(=O)[nH]c(=O)nc1n(CC(O)C(O)C(O)CO)c2cc3C\n",
      "[-2.05306753] c1ccc(cc1)c2ccc(cc2)c3ccccc3\n",
      "[-0.29666474] CC34CC(=O)C1C(CCC2=CC(=O)CCC12C)C3CCC4(=O) \n",
      "[-0.73213651] c1ccc2c(c1)sc3ccccc23\n",
      "[-1.27744393] CC23Cc1cnoc1C=C2CCC4C3CCC5(C)C4CCC5(O)C#C\n",
      "[0.0081655] OC(C(=O)c1ccccc1)c2ccccc2\n",
      "[0.97588054] OCC2OC(Oc1ccccc1CO)C(O)C(O)C2O\n",
      "[-0.10796031] CC3C2CCC1(C)C=CC(=O)C(=C1C2OC3=O)C\n",
      "[0.59847167] O=Cc2ccc1OCOc1c2 \n",
      "[-0.60149498] CC1CCCCC1NC(=O)Nc2ccccc2\n",
      "[-0.34988907] CC(=O)N(S(=O)c1ccc(N)cc1)c2onc(C)c2C \n",
      "[0.34686576] C1N(C(=O)NCC(C)C)C(=O)NC1\n",
      "[0.62750312] CNC(=O)Oc1ccccc1C2OCCO2\n",
      "[0.14848418] CC1=C(CCCO1)C(=O)Nc2ccccc2 \n",
      "[0.02268122] Cn2c(=O)on(c1ccc(Cl)c(Cl)c1)c2=O\n",
      "[-0.85310089] C1Cc2cccc3cccc1c23\n",
      "[-2.72079091] c1ccc2cc3c4cccc5cccc(c3cc2c1)c45\n",
      "[0.42476682] Nc1cc(nc(N)n1=O)N2CCCCC2 \n",
      "[0.01300407] O=c2c(C3CCCc4ccccc43)c(O)c1ccccc1o2 \n",
      "[-2.4851523] CC(C)C(Nc1ccc(cc1Cl)C(F)(F)F)C(=O)OC(C#N)c2cccc(Oc3ccccc3)c2\n",
      "[-2.15516147] Cc1c(F)c(F)c(COC(=O)C2C(C=C(Cl)C(F)(F)F)C2(C)C)c(F)c1F\n",
      "[1.00975056] c2ccc1[nH]nnc1c2\n",
      "[0.82588471] c2ccc1ocnc1c2\n",
      "[-0.90390593] CCOC(=O)c1cncn1C(C)c2ccccc2\n",
      "[-0.91067993] CCN2c1ccccc1N(C)C(=O)c3ccccc23 \n",
      "[-0.82455329] OCC(O)COC(=O)c1ccccc1Nc2ccnc3cc(Cl)ccc23\n",
      "[1.26909819] OCC1OC(OC2C(O)C(O)C(O)OC2CO)C(O)C(O)C1O\n",
      "[-1.14825397] CC34CCc1c(ccc2cc(O)ccc12)C3CCC4=O\n",
      "[-2.1343556] ClC1=C(Cl)C(Cl)(C(=C1Cl)Cl)C2(Cl)C(=C(Cl)C(=C2Cl)Cl)Cl\n",
      "[-1.15744727] ClC1(C(=O)C2(Cl)C3(Cl)C14Cl)C5(Cl)C2(Cl)C3(Cl)C(Cl)(Cl)C45Cl\n",
      "[-0.1045733] Oc1ccc(c(O)c1)c3oc2cc(O)cc(O)c2c(=O)c3O \n",
      "[0.53073162] C1SC(=S)NC1(=O)\n",
      "[-1.22567118] ClC(Cl)C(Cl)(Cl)SN2C(=O)C1CC=CCC1C2=O \n",
      "[-1.66452995] ClC1=C(Cl)C2(Cl)C3C4CC(C=C4)C3C1(Cl)C2(Cl)Cl\n",
      "[0.24525568] CC(=O)Nc1nnc(s1)S(N)(=O)=O \n",
      "[-0.13215318] CC1=C(SCCO1)C(=O)Nc2ccccc2\n",
      "[-0.97067826] CN(C(=O)COc1nc2ccccc2s1)c3ccccc3\n",
      "[-0.23376326] CN(C(=O)NC(C)(C)c1ccccc1)c2ccccc2\n",
      "[1.21297072] Nc1nccs1 \n",
      "[-1.2595412] CN(C=Nc1ccc(C)cc1C)C=Nc2ccc(C)cc2C\n",
      "[0.49686159] OCC(O)C2OC1OC(OC1C2O)C(Cl)(Cl)Cl \n",
      "[0.22396595] Nc3nc(N)c2nc(c1ccccc1)c(N)nc2n3\n",
      "[-0.44182199] CC2Nc1cc(Cl)c(cc1C(=O)N2c3ccccc3C)S(N)(=O)=O \n",
      "[0.47895886] CN1CC(O)N(C1=O)c2nnc(s2)C(C)(C)C\n",
      "[0.08267956] CCC1(C(=O)NC(=O)NC1=O)C2=CCC3CCC2C3\n",
      "[-1.51840498] CCC(C)C(=O)OC2CC(C)C=C3C=CC(C)C(CCC1CC(O)CC(=O)O1)C23 \n",
      "[-0.34795364] CC2Cc1ccccc1N2NC(=O)c3ccc(Cl)c(c3)S(N)(=O)=O \n",
      "[-0.83858516] o1c2ccccc2c3ccccc13\n",
      "[-0.13699176] O=C(Nc1ccccc1)Nc2ccccc2\n",
      "[-2.59498796] c1ccc2c(c1)c3cccc4c3c2cc5ccccc54\n",
      "[0.13106531] COc1ccc(cc1)C(O)(C2CC2)c3cncnc3 \n",
      "[0.09042128] c1cnc2c(c1)ccc3ncccc23\n",
      "[1.18877785] OCC1OC(CO)(OC2OC(COC3OC(CO)C(O)C(O)C3O)C(O)C(O)C2O)C(O)C1O\n",
      "[-0.82697258] CCOC(=O)c1ccccc1S(=O)(=O)NN(C=O)c2nc(Cl)cc(OC)n2\n",
      "[-1.16857599] CC34CCC1C(=CCc2cc(O)ccc12)C3CCC4=O\n",
      "[0.37589721] CN(C)C(=O)Oc1cc(C)nn1c2ccccc2\n",
      "[-0.24344041] OC(Cn1cncn1)(c2ccc(F)cc2)c3ccccc3F\n",
      "[-2.00952036] Cc1c2ccccc2c(C)c3ccc4ccccc4c13\n",
      "[-0.59181783] Cc3nnc4CN=C(c1ccccc1Cl)c2cc(Cl)ccc2n34\n",
      "[-0.15634606] Cc3ccnc4N(C1CC1)c2ncccc2C(=O)Nc34 \n",
      "[-2.87272217] c1cc2cccc3c4cccc5cccc(c(c1)c23)c54\n",
      "[-0.34069577] COc1cc(cc(OC)c1O)C6C2C(COC2=O)C(OC4OC3COC(C)OC3C(O)C4O)c7cc5OCOc5cc67\n",
      "[0.27622256] O=c1[nH]cnc2nc[nH]c12 \n",
      "[-2.15467761] C1C(O)CCC2(C)CC3CCC4(C)C5(C)CC6OCC(C)CC6OC5CC4C3C=C21\n",
      "[-0.02812382] Cc1ccccc1n3c(C)nc2ccccc2c3=O\n",
      "[-2.77401524] CCOc1ccc(cc1)C(C)(C)COCc3cccc(Oc2ccccc2)c3\n",
      "[0.25638441] CCC1(CCC(=O)NC1=O)c2ccccc2 \n",
      "[0.84040043] CC1CC(C)C(=O)C(C1)C(O)CC2CC(=O)NC(=O)C2 \n",
      "[-0.86277804] CC(=O)C3CCC4C2CC=C1CC(O)CCC1(C)C2CCC34C \n",
      "[-1.52082426] Cc1ccc(OP(=O)(Oc2cccc(C)c2)Oc3ccccc3C)cc1\n",
      "[0.29702844] CSc1nnc(c(=O)n1N)C(C)(C)C\n",
      "[0.44363727] Nc1ncnc2n(ccc12)C3OC(CO)C(O)C3O \n",
      "[0.47460415] O=C2NC(=O)C1(CC1)C(=O)N2 \n",
      "[-0.08376743] C1Cc2ccccc2C1\n",
      "[0.68556602] c1ccc2cnccc2c1\n",
      "[0.79201468] OCC1OC(C(O)C1O)n2cnc3c(O)ncnc23\n",
      "[-1.2401869] c2(Cl)c(Cl)c(Cl)c1nccnc1c2(Cl) \n",
      "[0.6129874] C1OC1c2ccccc2 \n",
      "[-0.58214068] CCC(=C(CC)c1ccc(O)cc1)c2ccc(O)cc2 \n",
      "[-1.51598569] c1ccc2c(c1)c3cccc4cccc2c34\n",
      "[-1.93984487] CC(C)C(C(=O)OC(C#N)c1cccc(Oc2ccccc2)c1)c3ccc(OC(F)F)cc3\n",
      "[-0.30295489] CCCC1COC(Cn2cncn2)(O1)c3ccc(Cl)cc3Cl\n",
      "[-0.24827899] O=C2CN(N=Cc1ccc(o1)N(=O)=O)C(=O)N2 \n",
      "[1.06442646] NC(=O)c1cnccn1\n",
      "[-1.48259952] OC4=C(C1CCC(CC1)c2ccc(Cl)cc2)C(=O)c3ccccc3C4=O\n",
      "[0.0275198] O=C(Cn1ccnc1N(=O)=O)NCc2ccccc2\n",
      "[0.33718861] CCC1(C(=O)NC(=O)NC1=O)C2=CCCCC2 \n",
      "[-0.91600236] COC(=O)C1=C(C)NC(=C(C1c2ccccc2N(=O)=O)C(=O)OC)C \n",
      "[0.58637523] O=C2NC(=O)C1(CCC1)C(=O)N2\n",
      "[-0.62084928] CCCOP(=S)(OCCC)SCC(=O)N1CCCCC1C\n",
      "[-0.30827732] N(c1ccccc1)c2ccccc2\n",
      "[-1.95145746] ClC(Cl)=C(c1ccc(Cl)cc1)c2ccc(Cl)cc2\n",
      "[-0.83568202] O=c2[nH]c1CCCc1c(=O)n2C3CCCCC3\n",
      "[0.10977558] CCC1(C(=O)NCNC1=O)c2ccccc2\n",
      "[1.90488697] O=C1CCCN1\n",
      "[-0.75149081] COc5cc4OCC3Oc2c1CC(Oc1ccc2C(=O)C3c4cc5OC)C(C)=C \n",
      "[-1.65630437] ClC4=C(Cl)C5(Cl)C3C1CC(C2OC12)C3C4(Cl)C5(Cl)Cl\n",
      "[0.74362893] c1ccsc1\n",
      "[-2.42079925] c1ccc2c(c1)ccc3c2ccc4c5ccccc5ccc43\n",
      "[-0.20957039] Cc1occc1C(=O)Nc2ccccc2\n",
      "[1.01458914] OCC3OC(OCC2OC(OC(C#N)c1ccccc1)C(O)C(O)C2O)C(O)C(O)C3O \n"
     ]
    }
   ],
   "source": [
    "for X, y, w, id in test_dataset.itersamples():\n",
    "    print(y, id)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61e91f43",
   "metadata": {},
   "source": [
    "대부분의 딥 러닝 모델은 여러 샘플 배치를 한꺼번에 처리할 수 있다. `iterbatches()`를 사용하여 표본 배치에 대해 반복할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "e8a41d24",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(50, 1)\n",
      "(50, 1)\n",
      "(13, 1)\n"
     ]
    }
   ],
   "source": [
    "for X, y, w, ids in test_dataset.iterbatches(batch_size=50):\n",
    "    print(y.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c8040030",
   "metadata": {},
   "source": [
    "`iterbatches()`는 모델을 훈련시킬 때 유용한 다른 특징들을 가지고 있다. 예를 들어, `iterbatches(batch_size=100, epochs=10, deterministic=False)`는 샘플로 매번 다른 랜덤 순서로 전체 데이터 세트에 대해 10번 반복됩니다.\n",
    "\n",
    "Datasets는 텐서플로와 PyTorch에 대한 표준 인터페이스를 사용하여 데이터를 노출시킬 수도 있다. 텐서 플로우 데이터를 가져오고 `tensorflow.data.Dataset`, `make_tf_dataset()`을 호출합니다. `torch.utils.data.IterableDataset`를 가져오고 `make_pytorch_dataset()`을 호출합니다. 자세한 내용은 API 설명서를 참조하십시오.\n",
    "\n",
    "데이터에 액세스하는 마지막 방법은 `to_dataframe()`입니다. 이렇게 하면 데이터가 pandas `Dataframe`에 복사됩니다. 이렇게 하려면 모든 데이터를 한 번에 메모리에 저장해야 하므로 소규모 데이터 세트에서만 사용해야 합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "7225bb54",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>X</th>\n",
       "      <th>y</th>\n",
       "      <th>w</th>\n",
       "      <th>ids</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-1.601145</td>\n",
       "      <td>1.0</td>\n",
       "      <td>c1cc2ccc3cccc4ccc(c1)c2c34</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>0.208483</td>\n",
       "      <td>1.0</td>\n",
       "      <td>Cc1cc(=O)[nH]c(=S)[nH]1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-0.016027</td>\n",
       "      <td>1.0</td>\n",
       "      <td>Oc1ccc(cc1)C2(OC(=O)c3ccccc23)c4ccc(O)cc4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-2.821917</td>\n",
       "      <td>1.0</td>\n",
       "      <td>c1ccc2c(c1)cc3ccc4cccc5ccc2c3c45</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-0.528916</td>\n",
       "      <td>1.0</td>\n",
       "      <td>C1=Cc2cccc3cccc1c23</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>108</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-1.656304</td>\n",
       "      <td>1.0</td>\n",
       "      <td>ClC4=C(Cl)C5(Cl)C3C1CC(C2OC12)C3C4(Cl)C5(Cl)Cl</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>109</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>0.743629</td>\n",
       "      <td>1.0</td>\n",
       "      <td>c1ccsc1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>110</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-2.420799</td>\n",
       "      <td>1.0</td>\n",
       "      <td>c1ccc2c(c1)ccc3c2ccc4c5ccccc5ccc43</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>111</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>-0.209570</td>\n",
       "      <td>1.0</td>\n",
       "      <td>Cc1occc1C(=O)Nc2ccccc2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>112</th>\n",
       "      <td>&lt;deepchem.feat.mol_graphs.ConvMol object at 0x...</td>\n",
       "      <td>1.014589</td>\n",
       "      <td>1.0</td>\n",
       "      <td>OCC3OC(OCC2OC(OC(C#N)c1ccccc1)C(O)C(O)C2O)C(O)...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>113 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                     X         y    w  \\\n",
       "0    <deepchem.feat.mol_graphs.ConvMol object at 0x... -1.601145  1.0   \n",
       "1    <deepchem.feat.mol_graphs.ConvMol object at 0x...  0.208483  1.0   \n",
       "2    <deepchem.feat.mol_graphs.ConvMol object at 0x... -0.016027  1.0   \n",
       "3    <deepchem.feat.mol_graphs.ConvMol object at 0x... -2.821917  1.0   \n",
       "4    <deepchem.feat.mol_graphs.ConvMol object at 0x... -0.528916  1.0   \n",
       "..                                                 ...       ...  ...   \n",
       "108  <deepchem.feat.mol_graphs.ConvMol object at 0x... -1.656304  1.0   \n",
       "109  <deepchem.feat.mol_graphs.ConvMol object at 0x...  0.743629  1.0   \n",
       "110  <deepchem.feat.mol_graphs.ConvMol object at 0x... -2.420799  1.0   \n",
       "111  <deepchem.feat.mol_graphs.ConvMol object at 0x... -0.209570  1.0   \n",
       "112  <deepchem.feat.mol_graphs.ConvMol object at 0x...  1.014589  1.0   \n",
       "\n",
       "                                                   ids  \n",
       "0                           c1cc2ccc3cccc4ccc(c1)c2c34  \n",
       "1                              Cc1cc(=O)[nH]c(=S)[nH]1  \n",
       "2           Oc1ccc(cc1)C2(OC(=O)c3ccccc23)c4ccc(O)cc4   \n",
       "3                     c1ccc2c(c1)cc3ccc4cccc5ccc2c3c45  \n",
       "4                                  C1=Cc2cccc3cccc1c23  \n",
       "..                                                 ...  \n",
       "108     ClC4=C(Cl)C5(Cl)C3C1CC(C2OC12)C3C4(Cl)C5(Cl)Cl  \n",
       "109                                            c1ccsc1  \n",
       "110                 c1ccc2c(c1)ccc3c2ccc4c5ccccc5ccc43  \n",
       "111                             Cc1occc1C(=O)Nc2ccccc2  \n",
       "112  OCC3OC(OCC2OC(OC(C#N)c1ccccc1)C(O)C(O)C2O)C(O)...  \n",
       "\n",
       "[113 rows x 4 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_dataset.to_dataframe()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "90ce0ba7",
   "metadata": {},
   "source": [
    "## Creating Datasets\n",
    "이제 데이터셋을 직접 생성할 수 있는 방법에 대해 알아보겠습니다. `NumpyDataset`은 매우 간단합니다. 데이터가 들어 있는 배열을 생성자에게 전달하기만 하면 됩니다. 랜덤 배열을 만든 다음 NumpyDataset으로 묶습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "ef38a069",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<NumpyDataset X.shape: (10, 5), y.shape: (10, 2), w.shape: (10, 1), ids: [0 1 2 3 4 5 6 7 8 9], task_names: [0 1]>\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "\n",
    "X = np.random.random((10, 5))\n",
    "y = np.random.random((10, 2))\n",
    "dataset = dc.data.NumpyDataset(X=X, y=y)\n",
    "print(dataset)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ad19761e",
   "metadata": {},
   "source": [
    "가중치 또는 IDs를 지정하지 않았습니다. 이것은 선택 사항입니다. `y`와 같이 말입니다. `X`만 있으면 됩니다. 이들을 빼놓았기 때문에 자동으로 `w`와 `ids` 배열을 구축해 모든 가중치를 1로 설정하고 ID를 정수 인덱스로 설정했다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "704e2727",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>X1</th>\n",
       "      <th>X2</th>\n",
       "      <th>X3</th>\n",
       "      <th>X4</th>\n",
       "      <th>X5</th>\n",
       "      <th>y1</th>\n",
       "      <th>y2</th>\n",
       "      <th>w</th>\n",
       "      <th>ids</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0.413094</td>\n",
       "      <td>0.809116</td>\n",
       "      <td>0.607723</td>\n",
       "      <td>0.785524</td>\n",
       "      <td>0.623789</td>\n",
       "      <td>0.635325</td>\n",
       "      <td>0.952144</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0.415044</td>\n",
       "      <td>0.883566</td>\n",
       "      <td>0.859434</td>\n",
       "      <td>0.329587</td>\n",
       "      <td>0.605601</td>\n",
       "      <td>0.620495</td>\n",
       "      <td>0.824312</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0.704841</td>\n",
       "      <td>0.646403</td>\n",
       "      <td>0.073398</td>\n",
       "      <td>0.908802</td>\n",
       "      <td>0.260514</td>\n",
       "      <td>0.356650</td>\n",
       "      <td>0.499532</td>\n",
       "      <td>1.0</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0.859875</td>\n",
       "      <td>0.823013</td>\n",
       "      <td>0.585016</td>\n",
       "      <td>0.495547</td>\n",
       "      <td>0.756869</td>\n",
       "      <td>0.030574</td>\n",
       "      <td>0.200386</td>\n",
       "      <td>1.0</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0.572402</td>\n",
       "      <td>0.372774</td>\n",
       "      <td>0.255739</td>\n",
       "      <td>0.438933</td>\n",
       "      <td>0.831882</td>\n",
       "      <td>0.981404</td>\n",
       "      <td>0.818497</td>\n",
       "      <td>1.0</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>0.601524</td>\n",
       "      <td>0.755445</td>\n",
       "      <td>0.792169</td>\n",
       "      <td>0.429135</td>\n",
       "      <td>0.027666</td>\n",
       "      <td>0.573542</td>\n",
       "      <td>0.774427</td>\n",
       "      <td>1.0</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0.559299</td>\n",
       "      <td>0.799626</td>\n",
       "      <td>0.254432</td>\n",
       "      <td>0.803145</td>\n",
       "      <td>0.468295</td>\n",
       "      <td>0.657980</td>\n",
       "      <td>0.372701</td>\n",
       "      <td>1.0</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0.976519</td>\n",
       "      <td>0.605302</td>\n",
       "      <td>0.581725</td>\n",
       "      <td>0.121950</td>\n",
       "      <td>0.297080</td>\n",
       "      <td>0.814913</td>\n",
       "      <td>0.040002</td>\n",
       "      <td>1.0</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0.734716</td>\n",
       "      <td>0.959906</td>\n",
       "      <td>0.315455</td>\n",
       "      <td>0.864308</td>\n",
       "      <td>0.170122</td>\n",
       "      <td>0.609677</td>\n",
       "      <td>0.820951</td>\n",
       "      <td>1.0</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0.420712</td>\n",
       "      <td>0.415157</td>\n",
       "      <td>0.564970</td>\n",
       "      <td>0.141573</td>\n",
       "      <td>0.641591</td>\n",
       "      <td>0.291885</td>\n",
       "      <td>0.305796</td>\n",
       "      <td>1.0</td>\n",
       "      <td>9</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         X1        X2        X3        X4        X5        y1        y2    w  \\\n",
       "0  0.413094  0.809116  0.607723  0.785524  0.623789  0.635325  0.952144  1.0   \n",
       "1  0.415044  0.883566  0.859434  0.329587  0.605601  0.620495  0.824312  1.0   \n",
       "2  0.704841  0.646403  0.073398  0.908802  0.260514  0.356650  0.499532  1.0   \n",
       "3  0.859875  0.823013  0.585016  0.495547  0.756869  0.030574  0.200386  1.0   \n",
       "4  0.572402  0.372774  0.255739  0.438933  0.831882  0.981404  0.818497  1.0   \n",
       "5  0.601524  0.755445  0.792169  0.429135  0.027666  0.573542  0.774427  1.0   \n",
       "6  0.559299  0.799626  0.254432  0.803145  0.468295  0.657980  0.372701  1.0   \n",
       "7  0.976519  0.605302  0.581725  0.121950  0.297080  0.814913  0.040002  1.0   \n",
       "8  0.734716  0.959906  0.315455  0.864308  0.170122  0.609677  0.820951  1.0   \n",
       "9  0.420712  0.415157  0.564970  0.141573  0.641591  0.291885  0.305796  1.0   \n",
       "\n",
       "  ids  \n",
       "0   0  \n",
       "1   1  \n",
       "2   2  \n",
       "3   3  \n",
       "4   4  \n",
       "5   5  \n",
       "6   6  \n",
       "7   7  \n",
       "8   8  \n",
       "9   9  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.to_dataframe()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "95aa9ec6",
   "metadata": {},
   "source": [
    "`DiskDataset`를 생성하는 것은 어떻습니까? NumPy 어레이에 데이터가 있는 경우 디스크에 저장하기 위해 `DiskDataset.from_numpy()` 호출할 수 있습니다. 튜토리얼이기 때문에 임시 디렉토리에 저장하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "eb478b46",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<DiskDataset X.shape: (10, 5), y.shape: (10, 2), w.shape: (10, 1), ids: [0 1 2 3 4 5 6 7 8 9], task_names: [0 1]>\n"
     ]
    }
   ],
   "source": [
    "import tempfile\n",
    "\n",
    "with tempfile.TemporaryDirectory() as data_dir:\n",
    "    disk_dataset = dc.data.DiskDataset.from_numpy(X=X, y=y, data_dir=data_dir)\n",
    "    print(disk_dataset)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b54b4de1",
   "metadata": {},
   "source": [
    "메모리에 저장할 수 없는 대규모 데이터 세트는 어떨까요? 디스크에 수억 개의 분자에 대한 데이터가 들어 있는 대용량 파일이 있다면 어떨까요? 디스크 데이터 집합을 생성하는 프로세스가 약간 더 많이 관련됩니다. 다행히 DeepChem의 `DataLoader` 프레임워크는 대부분의 작업을 자동화할 수 있습니다. 그것은 더 큰 주제이므로, 우리는 나중에 튜토리얼로 돌아갈 것이다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0447b5d4",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "deepchem",
   "language": "python",
   "name": "deepchem"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}