gpt2_text_complete_ttmai.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "gpt2_text_complete_ttmai.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/gpt2_text_complete_ttmai.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tI-HVDbQS9dF",
        "colab_type": "text"
      },
      "source": [
        "# Συμπλήρωση κειμένου με το GPT-2\n",
        "\n",
        "Αυτό το notebook βασίζεται στο [GPT-2 Playground](https://colab.research.google.com/github/ilopezfr/gpt-2/blob/master/gpt-2-playground_.ipynb).\n",
        "\n",
        "Εδώ μπορούμε να δοκιμάσουμε το γλωσσικό μοντέλο GPT-2 της\n",
        " **Open AI** που παρουσιάστηκε στο παρακάτω paper: **[Language Models are Unsupervised Multitask Learners](https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf)**. \n",
        " \n",
        "Για την δοκιμή του παρέχονται 4 εκπαιδευμένα μοντέλα.\n",
        "- μικρό (**117M** παράμετροι)\n",
        "- μεσαίο (**345M** παράμετροι)\n",
        "- μεγάλο (**774M** παράμετροι) \n",
        "- πολύ μεγάλο (**1.5B** παράμετροι)\n",
        "\n",
        "Σύμφωνα με τους δημιουργούς, ο σκοπός του GPT-2 είναι η πρόβλεψη της επόμενης πιο κατάλληλης λέξης σε μία πρόταση. Το μοντέλο έχει εκπαιδευτεί με ένα τεράστιο αριθμό από άρθρα, blogs, και ιστοσελίδες. \n",
        "\n",
        "Αρχικά η OpenAI δεν δημοσίευε τα datasets ή τα μεγαλύτερα μοντέλα τους, από φόβο μήπως χρησιμοποιηθεί για κακόβουλους σκοπούς, όπως την δημιουργία παραπλανητικών ειδήσεων.\n",
        "\n",
        "## Σημείωση\n",
        "Επιλέγουμε Runtime type GPU\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-6YAvRPHKM8P",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "%tensorflow_version 1.x"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FKqlSCrpS9dH",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!git clone https://github.com/ilopezfr/gpt-2/\n",
        "import os\n",
        "os.chdir('gpt-2')\n",
        "# !python download_model.py 117M\n",
        "#!python download_model.py 345M\n",
        "#!python download_model.py 774M\n",
        "!python download_model.py 1558M\n",
        "!pip3 install -r requirements.txt"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "AKWlvlQbrtef",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python3 src/interactive_conditional_samples.py --model_name='1558M'  --nsamples=1 --top_k=100 --temperature=1"
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}