Capstone Project/MoTaDoAn_N003.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "MoTaDoAn_N003.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/18520918/CS114.L11.KHCL/blob/master/Capstone%20Project/MoTaDoAn_N003.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "VkLiQ_yuJWco"
      },
      "source": [
        "## _**PHÁT HIỆN MỘT SỐ PHƯƠNG TIỆN THAM GIA GIAO THÔNG TRÊN ĐƯỜNG**_\r\n",
        "\r\n",
        "**1. Mô tả bài toán:**\r\n",
        "\r\n",
        "- Đầu vào: ảnh chụp ban ngày, từ trên cao và dọc theo con đường có các loại xe cần phân loại\r\n",
        "\r\n",
        "> Ví dụ: <img src='https://drive.google.com/uc?id=1g4mXTY2JjDP-6ufMlZN0OiH4sm0fkhV4'>\r\n",
        "\r\n",
        "- Đầu ra: Bao gồm 2 danh sách là “Nhãn” và “Vị trí (toạ độ)”. Sau đó sử dụng thư viện để đưa ra ảnh đã được dự đoán gán nhãn.\r\n",
        "\r\n",
        "> Ví dụ: <img src='https://drive.google.com/uc?id=1wZfkjFJuxoiE-F37lH7QHaUG4SfbDIMb'>\r\n",
        "\r\n",
        "**2. Mô tả về bộ dữ liệu:**\r\n",
        "\r\n",
        "- **Cách thức xây dựng bộ dữ liệu**:\r\n",
        "\r\n",
        "- Dữ liệu được thu thập thông qua việc quay video có bối cảnh là trên đường (được chụp từ vị trí là trên cầu bộ hành) và có xe cộ lưu thông qua lại.\r\n",
        "- Tổng cộng đã quay 12 video ngắn và đưa ra được 1,465 ảnh cho bộ dữ liệu. \r\n",
        "- Bộ dữ liệu được chia theo tỉ lệ 7:3 cho Training (1,025 ảnh) và Test (440).\r\n",
        "- Với số lượng ảnh trên thì số lượng mẫu cho mỗi lớp là:\r\n",
        "\r\n",
        "|[CLASS]|[Số lượng train]|[Số lượng test]|\r\n",
        "|--|--|--|\r\n",
        "|Pedestrian (người đi bộ)\t| \t\t551|244|\r\n",
        "|Bus (xe buýt)| \t\t323|133|\r\n",
        "|Car (xe hơi)|\t\t        \t \t\t1700|705|\r\n",
        "|Van (Xe van)|\t       \t \t\t252|115|\r\n",
        "|Truck (Xe tải)|\t\t \t\t1428|644|\r\n",
        "|Bicycle (Xe đạp)|\t\t \t\t65|19|\r\n",
        "|Motor (Xe mô tô)\t|\t \t\t6611|2890|\r\n",
        "|Tricycle (Xe ba gác)|\t \t\t10|1|\r\n",
        "|Other (Các loại xe khác)|\t \t\t0|0|\r\n",
        "\r\n",
        "\r\n",
        "+ Các thao tác tiền xử lý dữ liệu:<br>\r\n",
        "Sử dụng công cụ **Dark Label** cho việc gán nhãn.<br>\r\n",
        "\r\n",
        "**B1**. Lưu lại video dưới dạng hình ảnh theo từng frame.<br>\r\n",
        "**B2**. Vẽ boundingBox và gán nhãn cụ thể cho các phương tiện giao thông có trong ảnh từ y >= 150.<br>\r\n",
        "**B3**. Lưu lại kết quả vừa làm mỗi ảnh dưới dạng *.xml. File này sẽ chứa các toạ độ boundingBox và class tương ứng của các vật thể đã được gán nhãn trong ảnh.<br>\r\n",
        "\r\n",
        "**B4**. Tiếp theo là chuyển thông tin toạ độ BBox và class thành file *.txt.<br>\r\n",
        "\r\n",
        "**B5**. Chuyển tiếp file *.txt thành *.json cho quá trình huấn luyện dữ liệu.<br>\r\n",
        "\r\n",
        "\r\n",
        "**3. Mô tả về thuật toán máy học**\r\n",
        "- Sử dụng thuật toán Faster R-CNN trên Detectron2.\r\n",
        "- Faster R-CNN nằm trong nhóm thuật toán two-stage object detection. Trong stage-1, ảnh sẽ được đưa ra 1 sub-network gọi là RPN (Region Proposal Network) với nhiệm vụ trích xuất các vùng trên ảnh có khả năng chứa đối tượng dựa vào các anchor. Sau khi đã thu được các vùng đặc trưng từ RPN, model Faster-RCNN sẽ thực hiện tiếp việc phân loại đối tượng và xác định vị trí nhờ vào việc chia làm 2 nhánh tại phần cuối của mô hình (Object classification & Bounding box regression)\r\n",
        "- Detectron2 là một framework để xây dựng bài toán Object Detection and Segmentation. Được phát triển bới nhóm Facebook Research. Detectron2 sử dụng Pytorch.\r\n",
        "\r\n",
        "**4. Cài đặt, tinh chỉnh tham số**\r\n",
        "\r\n",
        "- Mô hình được sử dụng ở đây là Faster R-CNN R50-C4\r\n",
        "- Thiết lập bộ config:\r\n",
        "```\r\n",
        "cfg.DATALOADER.NUM_WORKERS = 8\r\n",
        "cfg.SOLVER.IMS_PER_BATCH = 4\r\n",
        "cfg.SOLVER.BASE_LR = 0.0125 \r\n",
        "cfg.SOLVER.MAX_ITER = 1500\r\n",
        "cfg.MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE = 128\r\n",
        "cfg.MODEL.ROI_HEADS.NUM_CLASSES = 9 \r\n",
        "cfg.TEST.EVAL_PERIOD = 500\r\n",
        "```\r\n",
        "\r\n",
        "\r\n",
        "\r\n",
        "**5. Đánh giá kết quả, kết luận**\r\n"
      ]
    }
  ]
}