06.GraphVisualization2_pyvis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "f76965da",
   "metadata": {},
   "source": [
    "<center><span style=\"color:blue\"><font size=\"6\">Graph Visualization - pyvis 활용편</font></span></center>  \n",
    "  \n",
    "<p><p>RDF 형태의 데이터를 시각화하는 라이브러리는 여러 가지가 있습니다. <p>\n",
    "이 앞전에는 graph-notebook 이라는 라이브러리를 사용하여 간단하게 그려볼 수 있었는데<p>\n",
    "보다 상세하고 다이나믹한 그래프를 그리기 위해서 vis.js를 기반으로 사용하고 있는<p>\n",
    "pyvis 라는 라이브러리를 사용하고자 합니다.<p>\n",
    "큰 흐름은 시각화를 위한 데이터 추출, 노드와 에지 생성, pyvis로 시각화 하는 단계를 거칩니다. <p>\n",
    "    \n",
    " - 사용하는 라이브러리  \n",
    "    pyvis 0.1.9  \n",
    "    (https://pyvis.readthedocs.io/en/latest/) <p>\n",
    " - 필수적으로 설치가 되어 있어야 하는 라이브러리\n",
    "    RDFLib, SPARQLWrapper \n",
    "\n",
    "<div align=\"right\">\n",
    "    작성자 : 허홍수<br>\n",
    "    e-mail : su4620@gmail.com<br>\n",
    "    blog : http://joyhong.tistory.com<br>\n",
    "</div>  "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f78714e",
   "metadata": {},
   "source": [
    "<b>쥬피터 화면을 넒게 쓰기 원하면 아래를 실행</b>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "52077815",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.174886Z",
     "start_time": "2021-09-12T15:22:23.165613Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<style>.container { width:100% !important; }</style>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from IPython.core.display import display, HTML\n",
    "display(HTML(\"<style>.container { width:100% !important; }</style>\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "66d5b808",
   "metadata": {},
   "source": [
    "# pyvis 기본 사용법"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e7327052",
   "metadata": {},
   "source": [
    "## 노드, 에지 생성"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c7b4a59e",
   "metadata": {},
   "source": [
    "Network 클래스 인스턴스 생성 후 노드 추가, 에지 추가, 마지막으로 show() 호출  \n",
    "쥬피터 노트북에서 사용하기 위해  Network(notebook=True) 로 인자값 전달해야 한다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "45f8c5f3",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.765719Z",
     "start_time": "2021-09-12T15:22:23.177633Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"500px\"\n",
       "            height=\"500px\"\n",
       "            src=\"test1.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa55686cdc0>"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from pyvis.network import Network\n",
    "\n",
    "g = Network(notebook=True)\n",
    "g.add_node(0)\n",
    "g.add_node(1)\n",
    "g.add_edge(0, 1, arrows='to')\n",
    "g.show(\"test1.html\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8cb338fa",
   "metadata": {},
   "source": [
    "## 그래프 설정 UI  추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "6ff807d6",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.779714Z",
     "start_time": "2021-09-12T15:22:23.767921Z"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"90%\"\n",
       "            height=\"500px\"\n",
       "            src=\"test2.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa556852190>"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from pyvis.network import Network\n",
    "\n",
    "g = Network(width='90%', notebook=True)\n",
    "g.add_node(0)\n",
    "g.add_node(1)\n",
    "g.add_edge(0, 1, arrows='to')\n",
    "g.show_buttons(filter_=['physics'])\n",
    "\n",
    "g.show(\"test2.html\")\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "99c42126",
   "metadata": {},
   "source": [
    "## 노드에 레이블 추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "01e3a5ad",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.793186Z",
     "start_time": "2021-09-12T15:22:23.781562Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"500px\"\n",
       "            height=\"500px\"\n",
       "            src=\"test3.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa55688ab20>"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from pyvis.network import Network\n",
    "\n",
    "g = Network(notebook=True)\n",
    "g.add_node(0, label='A')\n",
    "g.add_node(1, label='B')\n",
    "g.add_edge(0, 1, arrows='to')\n",
    "g.show(\"test3.html\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fc4f2137",
   "metadata": {},
   "source": [
    "## 노드에 툴팁 추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "9a8d47f3",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.809497Z",
     "start_time": "2021-09-12T15:22:23.795068Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"500px\"\n",
       "            height=\"500px\"\n",
       "            src=\"test4.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa5568a3130>"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from pyvis.network import Network\n",
    "\n",
    "g = Network(notebook=True)\n",
    "g.add_node(0, label='A', title='I am A')\n",
    "g.add_node(1, label='B', title='I am B')\n",
    "g.add_node(2, label='C', title='new C')\n",
    "g.add_edge(0, 1, arrows='to')\n",
    "g.add_edge(0, 2, arrows='to')\n",
    "g.show(\"test4.html\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ed0e7963",
   "metadata": {},
   "source": [
    "##  노드 모양, 크기, 색상, 그림자 변경"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "0bdd7d2d",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.825060Z",
     "start_time": "2021-09-12T15:22:23.811476Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"500px\"\n",
       "            height=\"500px\"\n",
       "            src=\"test5.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa55688a100>"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from pyvis.network import Network\n",
    "\n",
    "g = Network(notebook=True)\n",
    "g.add_node(0, label='A', title='I am A', shape='diamond')\n",
    "g.add_node(1, label='B', title='I am B', shape='box')\n",
    "g.add_node(2, label='C', title='new C', shape='triangle', size=50)\n",
    "g.add_node(3, label='D', shape='triangleDown')\n",
    "g.add_node(4, label='E', shape='square', color='red')\n",
    "g.add_node(5, label='F', shape='database', color='green', shadow=True)\n",
    "g.add_edge(0, 1, arrows='to')\n",
    "g.add_edge(0, 2, arrows='to')\n",
    "g.show(\"test5.html\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "35f4a42a",
   "metadata": {},
   "source": [
    "# SPARQL Endpoint 연동"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61ec6a77",
   "metadata": {},
   "source": [
    "## 시각화를 위한 기본 구성 세팅"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "e7f480ef",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:23.836977Z",
     "start_time": "2021-09-12T15:22:23.826686Z"
    }
   },
   "outputs": [],
   "source": [
    "from pyvis.network import Network\n",
    "import networkx as nx\n",
    "\n",
    "def getLocalName(node):\n",
    "    if node.find('/') > 0 and node.find('#') > 0:\n",
    "        return node[node.rindex('/')+1:] if node.rindex('/') > node.rindex('#') else node[node.rindex('#')+1:]\n",
    "    elif node.find('/') > 0:\n",
    "        return node[node.rindex('/')+1:]\n",
    "    elif node.find('#') > 0:\n",
    "        return node[node.rindex('/')+1:]\n",
    "    else:\n",
    "        return node\n",
    "\n",
    "\n",
    "def make_short_name(name):\n",
    "    if len(name) > 20 :\n",
    "        name = name[0:20]\n",
    "    return name\n",
    "\n",
    "def show_graph(results, ignore_property):\n",
    "    g = Network('800px', '1200px', notebook=True)\n",
    "    node = {}\n",
    "    groups = {}\n",
    "    node_num = 0;\n",
    "    group_num = 0;\n",
    "    edge_list = []\n",
    "    \n",
    "    for result in results[\"results\"][\"bindings\"]:\n",
    "        if not result[\"p\"][\"value\"] in ignore_property:\n",
    "            # 존재하지 않는 경우 디폴트로 처리\n",
    "            if 'slabel' not in result:\n",
    "                result['slabel'] = {'type': 'literal', 'value': getLocalName(result['s']['value'])}\n",
    "            if 'olabel' not in result:\n",
    "                result['olabel'] = {'type': 'literal', 'value': getLocalName(result['o']['value'])}\n",
    "            if 'stype' not in result:\n",
    "                result['stype'] = {'type': 'literal', 'value': ''}\n",
    "            if 'otype' not in result:\n",
    "                result['otype'] = {'type': 'literal', 'value': ''}\n",
    "\n",
    "            # 노드\n",
    "            if result['s']['type'] == 'uri' and not result['s']['value'] in node: \n",
    "                node[result['s']['value']] = {'id':node_num}\n",
    "                node_num += 1\n",
    "\n",
    "            if result['o']['type'] == 'uri' and not result['o']['value'] in node:\n",
    "                node[result['o']['value']] = {'id':node_num}\n",
    "                node_num += 1\n",
    "\n",
    "            if 'stype'  in result and not result['stype']['value'] in groups:\n",
    "                groups[result['stype']['value']] = group_num\n",
    "                group_num += 1\n",
    "            if 'otype'  in result and not result['otype']['value'] in groups:\n",
    "                groups[result['otype']['value']] = group_num\n",
    "                group_num += 1\n",
    "\n",
    "            node[result['s']['value']].update({'label':result['slabel']['value'], 'type':result['stype']['value']})\n",
    "            if result['o']['type'] == 'uri':\n",
    "                node[result['o']['value']].update({'label':result['olabel']['value'], 'type':result['otype']['value']})\n",
    "                edge_list.append((result['s']['value'], result['o']['value'], result['p']['value']))\n",
    "\n",
    "    for n in node:\n",
    "        g.add_node(n, size=25, label=make_short_name(node[n]['label']), title=n, group=groups[node[n]['type']])\n",
    "    for e in edge_list:\n",
    "        g.add_edge(e[0], e[1], arrows='to', label=getLocalName(e[2]), title=e[2])\n",
    "    \n",
    "    g.set_edge_smooth('dynamic')\n",
    "    g.show_buttons(filter_=['physics'])\n",
    "    return g"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "23130aec",
   "metadata": {},
   "source": [
    "## SPARQL Endpoint 에 질의하여 결과 받기"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1f639c25",
   "metadata": {},
   "source": [
    "아래의 쿼리를 수정하여 사용할 수 있으며, 수정할 때는 반환하는 값이 s, p, o가 있어야 그래프로 그릴 수 있다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "2be8425a",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:24.057793Z",
     "start_time": "2021-09-12T15:22:23.840499Z"
    }
   },
   "outputs": [],
   "source": [
    "from SPARQLWrapper import SPARQLWrapper, JSON\n",
    "from rdflib import Graph\n",
    "\n",
    "sparql = SPARQLWrapper(\"http://localhost:3030/publicdata/query\")\n",
    "\n",
    "sparql.setQuery(\"\"\"\n",
    "    prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#>\n",
    "    SELECT *\n",
    "    WHERE {\n",
    "        ?s ?p ?o.\n",
    "        optional{?s rdfs:label ?slabel .}\n",
    "        optional{?s a ?stype}\n",
    "        optional{?o rdfs:label ?olabel .}\n",
    "        optional{?o a ?otype}\n",
    "    } LIMIT 500\n",
    "\"\"\")\n",
    "sparql.setReturnFormat(JSON)\n",
    "results = sparql.query().convert()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "97cc0c01",
   "metadata": {},
   "source": [
    "## 그래프로 그리기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "9aaf78cf",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-09-12T15:22:24.086565Z",
     "start_time": "2021-09-12T15:22:24.059929Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"1200px\"\n",
       "            height=\"800px\"\n",
       "            src=\"basic.html\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7fa55686cd90>"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "g = show_graph(results, [])\n",
    "g.show(\"basic.html\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "571b8b67",
   "metadata": {},
   "source": [
    "Finish"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "rdf",
   "language": "python",
   "name": "rdf"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}