TME-IAR-RE.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# TME IAR: Robotique Évolutionniste"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Étudiant 1: Nom: XXX Prénom: XXX\n",
    "* Étudiant 2: Nom: XXX Prénom: XXX"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Dans ce TME vous allez utiliser le code développé lors de la séance précédente pour étudier les différentes questions qui peuvent se soulever lorsque l'on réalise un apprentissage de politique.\n",
    "\n",
    "Vous pourrez, au choix, mettre votre code dans des cellules du notebook, ou bien les mettre dans un script python.\n",
    "\n",
    "Vous devrez envoyer à stephane.doncieux@sorbonne-universite.fr vos fichiers (notebook avec figures générées et scripts python et autres fichiers indispensables pour reproduire vos résultats. **ATTENTION** merci de mettre comme sujet: \\[TME IAR\\] nom1 et nom2, au risque que votre mail soit perdu dans les limbes...\n",
    "\n",
    "Les algorithmes évolutionnistes sont des algorithmes stochastiques. Cela signifie que deux expériences avec le même code et les mêmes paramètres peuvent avoir des résultats différents. En conséquence, il ne faut pas tirer de conclusions sur la base d'une seule expérience car la variabilité dans les résultats peut être importante. Étant en temps limité sur des machines de puissance moyenne, il ne vous est pas demandé de réaliser les dizaines d'expériences qui seraient normalement nécessaires. Vous essayerez par contre, dans la mesure du possible, de vérifier que vos résultats sont cohérents sur 2 ou 3 expériences. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Note: l'import d'un fichier ne se fait qu'une seule fois. Si vous modifiez ce fichier, \n",
    "# il vous faut redémarrer votre kernel si vous voulez prendre en compte les modifications.\n",
    "# vous pouvez éviter cela de la façon suivante: \n",
    "import importlib # une seule fois\n",
    "import plot # le module doit avoir été importé une première fois\n",
    "importlib.reload(plot) # cette ligne permet de charger la dernière version\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "# pour que les figures apparaissent directement dans le notebook\n",
    "%matplotlib inline "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Algorithmes Évolutionnistes multi-objectifs\n",
    "\n",
    "**1-** À l'aide du framework DEAP, implémentez NSGA-II et testez le avec des fonctions benchmarks (par exemple `schaffer_mo`). ** Vous complèterez le fichier `nsga-2.py` **. Vous tracerez un front de pareto obtenu par une de vos expériences."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# complétez pour inclure le code (que vous pouvez aussi mettre dans un fichier python) et, surtout, les résultats obtenus\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_inclure ici quelques commentaires sur vos résultats_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**2-** Reprenez l'expérience du pendule inversé et définissez deux objectifs: l'un étant la somme des valeurs absolue des écarts à la valeur centrale en x, l'autre étant la même chose, mais pour l'angle d'écart à la verticale. Tracez l'évolution de x et de theta pour plusieurs points de départ. Si le pendule n'est pas stabilisé au centre et verticalement, analysez votre fonction de fitness et votre processus d'évaluation et modifiez-les pour corriger le problème. **Vous partirez du code du TME précédent sur le cartpole que vous mettrez dans un fichier `gym_cartpole_2.py`** "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# complétez pour inclure le code (que vous pouvez aussi mettre dans un fichier python) et, surtout, les résultats obtenus\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_inclure ici quelques commentaires sur vos résultats_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Fitness & Nouveauté\n",
    "\n",
    "L'environnement `FastsimSimpleNavigation-v0` de gym_fastsim permet de lancer des expériences de navigation avec un robot à roues naviguant dans un labyrinthe. Vous allez dans cette partie reproduire les expériences de Lehman et Stanley sur la recherche de nouveauté. Pour installer gym_fastsim, vous aurez tout d'abord besoin d'installer pyfastsim grâce au script utilisé pendant un TME précédent (https://github.com/benoit-girard/TME-NavigationStrategies.git). Vous devrez ensuite installer gym (pip3 install --user gym) et gym_fastsim (https://github.com/alexendy/fastsim_gym.git: git clone et pip3 install . dans le répertoire fastsim_gym)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**1-**  Lancer une première expérience dans laquelle le robot doit atteindre la sortie du labyrinthe. Vous pourrez essayer avec la reward de l'expérience, qui est une reward binaire (sortie atteinte ou non) et avec une fitness plus continue dans laquelle la récompense est la distance à la sortie (à minimiser donc). Pour observer le comportement de la recherche effectuée, vous pourrez écrire les positions du robot et ensuite tracer ces positions avec la fonction `plot_traj_file`. Remarque: il y a 2000 positions par évaluation. Pour limiter la taille du fichier, vous pourrez n'écrire qu'une position sur 100, par exemple. Vous pourrez aussi utiliser cette fonction pour tracer des trajectoires individuelles. Tracez ci-dessous au moins 3 exemples de positions explorées par 3 expériences différentes.\n",
    "\n",
    "Quelles parties de l'espace ont été explorées dans les deux cas ? Est-ce que la sortie est atteinte (vous vous limiterez à 200 générations) ? Si oui, au bout de combien de générations ? ** Vous complèterez le code fourni dans `gym_fastsim.py` (variante \"Fit\")**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import maze_plot\n",
    "# complétez pour inclure le code (que vous pouvez aussi mettre dans un fichier python) et, surtout, les résultats obtenus\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_inclure ici quelques commentaires sur vos résultats_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**2-** Implémentez la même expérience, mais en utilisant le critère de nouveauté à la place de la fitness. Vous utiliserez pour cela le code fourni dans `novelty_search.py`. La recherche de nouveauté s'appuie sur des descripteurs comportementaux et cherche à maximiser la distance aux plus proches voisins parmi la population et une archive des individus rencontrés. Le calcul du critère de nouveauté doit donc être réalisé après l'évaluation de tous les individus. Implémentez la recherche de nouveauté, observez les positions explorées et comparez les aux expériences précédentes. Est-ce que la sortie est atteinte ? Si oui, au bout de combien de générations ? ** Vous complèterez le code fourni dans `gym_fastsim.py` (variante \"NS\")**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# complétez pour inclure le code (que vous pouvez aussi mettre dans un fichier python) et, surtout, les résultats obtenus\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_inclure ici quelques commentaires sur vos résultats_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**3-** Faites des expériences avec, à la fois la fitness et le critère de nouveauté. Quelles sont les positions explorées ? Est-ce que la sortie est atteinte ? Si oui, au bout de combien de générations ? ** Vous complèterez le code fourni dans `gym_fastsim.py` (variante \"Fit+NS\")**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# complétez pour inclure le code (que vous pouvez aussi mettre dans un fichier python) et, surtout, les résultats obtenus\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_inclure ici quelques commentaires sur vos résultats_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Si vous avez fini en avance, profitez du temps restant pour lancer d'autres instances de vos expériences et générer des résultats plus solides."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Optionnel\n",
    "\n",
    "Faites le même genre d'expériences avec d'autres environnement de gym, par exemple le BipedalWalker."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}