Chap_5_oov_token_pad_sequences.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Copy of oov_token_pad_sequences.ipynb",
      "provenance": [],
      "authorship_tag": "ABX9TyPetEGGUbw/5Fyx16FSWzhE",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/raqueeb/nlp_bangla/blob/master/oov_token_pad_sequences.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DREcRt_BdtBc"
      },
      "source": [
        "## আউট অফ ভোকাবুলারি টোকেন এবং প্যাড সিকোয়েন্স"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GQzgXUeg0FOG"
      },
      "source": [
        "আগের উদাহরণে কী দেখলাম? ওয়ার্ড ইনডেক্সে না থাকলে সেই শব্দটা 'মিসিং' থাকছে। এটা কী ঠিক হলো? \n",
        "\n",
        "ওয়ার্ড ইন্ডেক্স অর্থাৎ কর্পাসে শব্দগুলো থাকলে তখনই সে আমাদের জানাবে - নাহলে সেই শব্দটা মিসিং হয়ে থাকবে। এটাতো কোনো ভালো ডিজাইন হতে পারে না। আমরা যদি কর্পাসে যেসব শব্দ থাকবে না সেগুলোকে ‘আউট অফ ভোকাবুলারি’ (OOV) হিসেবে বলে দিলে যে শব্দগুলো ‘ওয়ার্ড ইন্ডেক্সে অর্থাৎ কর্পাসে থাকবে না - তাদেরকে ‘আউট অফ ভোকাবুলারি’ হিসেবে ডিক্লেয়ার করবে। \n",
        "\n",
        "আবার দেখি নিচের উদাহরণ।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QDPcAzxbdgtG"
      },
      "source": [
        "from tensorflow.keras.preprocessing.text import Tokenizer\n",
        "\n",
        "sentences = [\n",
        "    'আমি ভালবাসি বই পড়তে,',\n",
        "    'আমি ভালবাসি বই লিখতে!',\n",
        "    'বইমেলা এলে আমি প্রচুর বই কিনি',\n",
        "    'এইবার বইমেলায় আমার সাথে তুমি কি যাবে?'\n",
        "]"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "f7OXefC26Uhx"
      },
      "source": [
        "এবার আমরা একটু সাবধান হলাম। আমাদের টোকেনাইজারে নতুন একটা প্যারামিটার ব্যবহার করছি ‘আউট অফ ভোকাবুলারি’ শব্দগুলোর জন্য - যাতে যে শব্দগুলো ওয়ার্ল্ড ইনডেক্সে থাকবে না তাদেরকে যাতে কোনভাবে শনাক্ত করা যায়। এটাতো কম্পিউটারের জন্য সমস্যা হবার কথা না।\n",
        "\n",
        "আমাদের ‘আউট অফ ভোকাবুলারি’ টোকেন ```oov_token=\"<OOV>\"```, মনে থাকবে তো?\n",
        "\n",
        "tf.keras.preprocessing.text.Tokenizer হচ্ছে একটা ইউটিলিটি ক্লাস। তার কাজ হচ্ছে একটা টেক্সট কর্পাসকে ভেক্টরাইজ করা। এই টোকেনের কোএফিসিয়েন্ট বাইনারি হয় ওয়ার্ড কাউন্টের ওপরে যা আসে টার্ম ফ্রিকুয়েন্সি - ইনভার্স ডকুমেন্ট ফ্রিকুয়েন্সি থেকে। গুগল করে দেখুন TF-IDF - এর অর্থ কিভাবে একটা শব্দ সেই ডকুমেন্টের সাথে সম্পর্কিত হতে পারে তার একটা পরিসংখ্যান। এখানে দুটো ম্যাট্রিক্স গুন করা হয়। একটা শব্দ কতবার সেই ডকুমেন্টে আছে এবং তার সাথে সেই শব্দটির ফ্রিকোয়েন্সি আরো কত ডকুমেন্টে আছে সেটার একটা ইনভার্স ক্যালকুলেশন। এটা নিয়ে এতো মাথা ঘামানোর দরকার নেই।\n",
        "\n",
        "এর ফরম্যাট দেখুন নিচে,\n",
        "```\n",
        "tf.keras.preprocessing.text.Tokenizer(\n",
        "    num_words=None,\n",
        "    filters='!\"#$%&()*+,-./:;<=>?@[\\\\]^_`{|}~\\t\\n',\n",
        "    lower=True,\n",
        "    split=\" \",\n",
        "    char_level=False,\n",
        "    oov_token=None,\n",
        "    document_count=0,\n",
        "    **kwargs\n",
        ")\n",
        "```\n",
        "সেখানে oov_token হিসেবে কিছু একটা দিচ্ছি।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WEb_Lszld2sc"
      },
      "source": [
        "tokenizer = Tokenizer(num_words = 100, oov_token=\"<OOV>\")\n",
        "tokenizer.fit_on_texts(sentences)\n",
        "word_index = tokenizer.word_index\n",
        "\n",
        "sequences = tokenizer.texts_to_sequences(sentences)"
      ],
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GQgWroZP_owT"
      },
      "source": [
        "টোকেন ```oov_token=\"<OOV>\" ```দেয়া মানে হচ্ছে এটা ওয়ার্ড ইনডেক্সে যোগ হয়ে যাবে, মিসিং না দেখিয়ে যখনই একটা শব্দকে সে পাবে না সেখানে ওয়ার্ড ইনডেক্সে যেই ভ্যালু দেখাবে - প্রতিবার সেটাই আসবে। একেবারে নাই মামা থেকে কানা মামা ভালো।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wtsapiBOd28Q",
        "outputId": "96a88075-4ecd-4ef1-84ea-1eb79f2e2c24",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "from tensorflow.keras.preprocessing.sequence import pad_sequences\n",
        "\n",
        "padded = pad_sequences(sequences, maxlen=8)\n",
        "print(\"ওয়ার্ড ইনডেক্স = \" , word_index)\n",
        "print(\"\\nসিকোয়েন্স = \" , sequences)\n",
        "print(\"\\n'০' দিয়ে প্যাডিং দেয়া সিকোয়েন্স:\")\n",
        "print(padded)"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "ওয়ার্ড ইনডেক্স =  {'<OOV>': 1, 'আমি': 2, 'বই': 3, 'ভালবাসি': 4, 'পড়তে': 5, 'লিখতে': 6, 'বইমেলা': 7, 'এলে': 8, 'প্রচুর': 9, 'কিনি': 10, 'এইবার': 11, 'বইমেলায়': 12, 'আমার': 13, 'সাথে': 14, 'তুমি': 15, 'কি': 16, 'যাবে': 17}\n",
            "\n",
            "সিকোয়েন্স =  [[2, 4, 3, 5], [2, 4, 3, 6], [7, 8, 2, 9, 3, 10], [11, 12, 13, 14, 15, 16, 17]]\n",
            "\n",
            "'০' দিয়ে প্যাডিং দেয়া সিকোয়েন্স:\n",
            "[[ 0  0  0  0  2  4  3  5]\n",
            " [ 0  0  0  0  2  4  3  6]\n",
            " [ 0  0  7  8  2  9  3 10]\n",
            " [ 0 11 12 13 14 15 16 17]]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "CNncG19RKnRz"
      },
      "source": [
        "এখানে ওয়ার্ড ইনডেক্স =  ```{'<OOV>': 1} ```এর মানে হচ্ছে এখন থেকে কোন আউট অফ ভোকাবুলারি অর্থাৎ মিসিং শব্দগুলো ১ হিসেবে দেখাবে। এটা একটা ভালো দিক। \n",
        "![alt text](https://github.com/raqueeb/nlp_bangla/raw/master/assets/n1.png)\n",
        "উপরের ছবিতে পুরো কর্পাসের সিকোয়েন্স প্রিন্ট করে কী দেখছি? কোন ১ নেই।  "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uzdMG3jJfvLL"
      },
      "source": [
        "# আমরা নতুন কিছু শব্দ ব্যবহার করি যেটা আমাদের টোকেনাইজারকে ফিট করা হয়নি\n",
        "test_data = [\n",
        "    'আমি আসলেই ভালবাসি বই পড়তে',\n",
        "    'বইমেলায় এবার প্রচুর নতুন বই এসেছে!'\n",
        "]"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ku6gTr0mOXOL"
      },
      "source": [
        "এখানে দেখুন, test_dataতে যে শব্দগুলো ব্যবহার করা হয়েছে সেখানে নিচের শব্দগুলো নেই। \n",
        "\n",
        "![alt text](https://github.com/raqueeb/nlp_bangla/raw/master/assets/n2.png)\n",
        "\n",
        "সেখানে কী আসবে? অবশ্যই ১। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "u_t83XX3fzQG",
        "outputId": "a6b8b4f3-fefa-44aa-fe33-bf49908eb97c",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "test_seq = tokenizer.texts_to_sequences(test_data)\n",
        "print(\"টেস্ট সিকোয়েন্স = \", test_seq)\n",
        "\n",
        "padded = pad_sequences(test_seq, maxlen=8)\n",
        "print(\"\\nপ্যাডিং দেয়া টেস্ট সিকোয়েন্স: \")\n",
        "print(padded)"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "টেস্ট সিকোয়েন্স =  [[2, 1, 4, 3, 5], [12, 1, 9, 1, 3, 1]]\n",
            "\n",
            "প্যাডিং দেয়া টেস্ট সিকোয়েন্স: \n",
            "[[ 0  0  0  2  1  4  3  5]\n",
            " [ 0  0 12  1  9  1  3  1]]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "-4oP3bf4QSqJ"
      },
      "source": [
        "টেস্ট সিকোয়েন্স দেখুন। মিসিং শব্দগুলোতে ১ এসেছে।  "
      ]
    }
  ]
}