Tpspiderrobot2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Tp SpiderRobots 2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Objectifs:\n",
    "- Tester la fonction de recherche élaborée sur un autre texte\n",
    "- Télécharger le code html d'un site et récupérer son texte pour évaluer les mots les plus importants le constituant\n",
    "- Etudier les limites d'un tel dispositif (fraude)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Application de la fonction de recherche des mots importants à un texte"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# déclaration d'un variable montexte\n",
    "montexte = \"le contenu de la page web n'est pas très long. Ce contenu dans la page WEB parle de l'ARTICLE (Google) Web .\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def mots_score (montexte,n):\n",
    "    #mise des caractères en minuscule\n",
    "    montexte = montexte.lower()\n",
    "    # création de la liste de mots contenus dans le texte\n",
    "    malistedemot = montexte.split()\n",
    "    # Suppression des petits mots de malistedemot\n",
    "    listecopie = list(malistedemot)\n",
    "    for i in listecopie:\n",
    "        if len(i)<3:\n",
    "            while i in malistedemot:\n",
    "                malistedemot.remove(i)\n",
    "    #Purification des mots contenus dans malistedemot\n",
    "    for i in (range(len(malistedemot))):\n",
    "        if malistedemot[i][1] == \"'\":\n",
    "            malistedemot[i]= malistedemot[i][2:]\n",
    "        if malistedemot[i][-1] == \".\":\n",
    "            malistedemot[i] = malistedemot[i][:-1]\n",
    "        if malistedemot[i][0]==\"(\":\n",
    "            malistedemot[i]=malistedemot[i][1:]\n",
    "        if malistedemot[i][-1]==\")\":\n",
    "            malistedemot[i] = malistedemot[i][:-1]\n",
    "    # Suppression des petits mots de malistedemot(deuxième passe)\n",
    "    listecopie = list(malistedemot)\n",
    "    for i in listecopie:\n",
    "        if len(i)<3:\n",
    "            while i in malistedemot:\n",
    "                malistedemot.remove(i)\n",
    "    # Elimination des mots vides de sens\n",
    "    listedesmotsnoninteressants = ['and','une','un','si','des','est','ont','on','par','y','us','un','dans','dessus','dessous','dedans','plus','moins','très','pas','mien','sien','tien','nôtre', 'vôtre', 'leur','miens', 'siens', 'tiens', 'nôtres',  'vôtres',  'leurs', 'mienne',  'sienne',  'tienne', 'miennes',  'siennes',  'tiennes', 'nôtres',  'vôtres',  'leurs','il', 'elle', 'on', 'le', 'la', 'lui', 'se','et', 'soi','je', 'me', 'moi','tu', 'te' , 'toi','vous','ils', 'elles', 'eux', 'les', \"j'\", \"m'\", \"t'\", \"s'\", \"l'\",'je', 'tu', 'il', 'elle',  'nous', 'vous', 'lequel', 'duquel', 'auquel','lesquels', 'desquels', 'auxquels','laquelle',  'laquelle', 'lesquelles', 'desquelles', 'auxquelles','qui', 'que', 'quoi', 'celui' ,'ceux' ,'ça', 'ce', 'ceci', 'cela', 'celle' ,'celles','a','de','en','ou','où','mon','ton','son','votre','notre', 'leur',\"sur\",\"1\",\"2\",\"3\",\"4\",\"5\",\"6\",\"7\",\"8\",\"9\",\"0\"]\n",
    "    for i in listedesmotsnoninteressants:\n",
    "        while i in malistedemot:\n",
    "            malistedemot.remove(i)\n",
    "    #Suppresion des doublons dans la liste\n",
    "    malistedemot = list(set(malistedemot))\n",
    "    # Création d'un tableau contenant les mot et leur score\n",
    "    tableau =[]\n",
    "    for i in malistedemot:\n",
    "        nb=montexte.count(i)\n",
    "        tableau.append([i,nb])\n",
    "    \n",
    "    #tri du tableau et présentation en premier les mots les plus représentés\n",
    "    def Rang(N):\n",
    "        return N[1]\n",
    "    tableau.sort(key = Rang, reverse =True)\n",
    "    # Présentation des n mots les plus représentés\n",
    "    # test de la valeur de n\n",
    "    if n> len(malistedemot):\n",
    "        n = len(malistedemot)\n",
    "    if n<1: \n",
    "        n=1\n",
    "    # Affichage du résultat\n",
    "    for i in range(n):\n",
    "        print(\"Le mot '\", tableau[i][0],\"'  apparait \", tableau[i][1], \"fois dans le texte.\")   \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#appel de la fonction mon score étudiant le texte nommée mon texte et éditant les 3 premiers mots les plus représentés.\n",
    "mots_score(montexte,3)    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Activité 1: "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Soit le texte ci-dessous:\n",
    "\n",
    "Il convient d’expliquer avant tout que le Web n’est pas l’Internet, que le Web surfacique n’est pas le Deep Web et encore moins le Dark Web qui est annoncé comme 500 fois plus grand que le web surfacique. Tout se pratiquerait pourtant aujourd’hui chez nos jeunes dans un seul monde, celui d’Internet, des réseaux sociaux et des applications qu’ils considèrent pour la plupart comme la vraie vie, celle collant à leur époque. Les jeunes, s’ils maîtrisent pour la plupart les applications du Web surfacique (Google, Wikipédia, …) tant sur Internet que sur leurs smartphones, n’ont pas forcément la culture du web des profondeurs et n’en mesurent pas non plus les impacts sur leur vie réelle et leur identité à venir.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Appliquez à ce texte la fonction mots_score pour éditer les 5 mots les plus représentés"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tapez votre code ici\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Téléchargement et extraction du texte d'une page WEB"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1) Récupérer le code html d'une page web"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "On utilise la bibliothèque requests et BeautifulSoup pour faire une requête sur internet et récupérer le code html d'un site.\n",
    "Ici nous allons étudier le site de Wikipedia\n",
    "https://fr.wikipedia.org/wiki/Golf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "a/ Installation de la bibliothèque beautifulsoup4 (l'affichage: Note: you may .... indique une installation correcte)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pip install beautifulsoup4"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "b/ Définition de la fonction de récupération du contenu d'un site nommée \"capturesite\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# définition de la fonction capturesite permettant de récupérer le texte d'un site\n",
    "# url contient l'adresse du site à analyser\n",
    "def capturesite(url):\n",
    "    from bs4 import BeautifulSoup\n",
    "    import requests\n",
    "\n",
    "    # capture du code html de la page a analyser\n",
    "    capture = requests.get(url)\n",
    "    html_page = capture.content\n",
    "    # traitement du code html pour qu'il ne conserve que le texte de la page en excluant le code des sections \n",
    "    soup = BeautifulSoup(html_page, 'html.parser')\n",
    "    text = soup.find_all(text=True)\n",
    "    page_a_analyser = ''\n",
    "    blacklist = ['[document]','noscript','header','html','meta','head', 'input','script','style']\n",
    "    for t in text:\n",
    "        if t.parent.name not in blacklist:\n",
    "            page_a_analyser += '{} '.format(t)\n",
    "    # retourne le résultat\n",
    "    return page_a_analyser\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "L'exécution de la focntion met en mémoire les procédures. Elles ne seront lues que lorsque la fonction sera appelée."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "c/ Appel de la fonction \"capturesite\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Application de la fonction à un url\n",
    "adresse = 'https://fr.wikipedia.org/wiki/Golf'\n",
    "textedusite = capturesite(adresse)\n",
    "print(textedusite)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2) Activités"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Activité 2: Rechercher les 5 mots les plus représentés dans le site https://fr.wikipedia.org/wiki/Golf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tapez votre code ici (aide vous devez 1/ récupérer le texte du site et ensuite effectuer dessus la fonction mots_score)\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Activité 3: Rechercher les 5 mots les plus représentés dans  les sites:\n",
    "1- http://entbtz.fr/teleenseignement/snt/sites/page1.html\n",
    "2- http://entbtz.fr/teleenseignement/snt/sites/page2.html\n",
    "\n",
    "Le moteur permet -il de récolter des mots clés permettant de connaitre le thème évoqué par les deux sites?\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tapez votre code ici (aide: reprendre la procédure précédente pour les deux sites)\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Activité 4: Rechercher les 5 mots les plus représentés dans  les sites:\n",
    "1- http://entbtz.fr/teleenseignement/snt/sites/page2.html\n",
    "2- http://entbtz.fr/teleenseignement/snt/sites/page3.html\n",
    "\n",
    "- Observez et comparer ces deux sites en cliquant sur les liens. \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " - Faire une recherche des mots importants sur ces sites. \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tapez votre code ici\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Comparez vos résultats."
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "réponse:\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- En analysant le code html des deux pages à partir du navigateur (touche \"control + U\"), trouvez l'origine des différences. "
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "réponse:\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Expliquez en quoi cette méthode peut être une fraude permettant de truquer le référencement des moteurs de recherche."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "réponse:\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}