Recherche d'Information Web

Quickstart

• Cloner le repo git
• Effectuer un pip install -r requirement.txt
• Si nécessaire, lancer nltk_dowload.py et installer la collection stopwords via le nltk downloader
• Lancer main.py dans le dossier cacm
• Suivre les instructions dans la console python

Pour utiliser le moteur de recherche "Monkgle"

• Lancer en local app.py dans le dossier FlaskApp
• Ouvrir un navigateur et aller sur http://127.0.0.1:5000
• Utiliser le moteur de recherche

A noter qu'à chaque nouvelle recherche un fichier html sera généré. Il serait bien sûr préférable d'avoir un fonctionnement moins gourmand en espace mémoire. Etant donné que cela n'était pas le coeur du travail à fournir, nous avons décidé de ne pas nous attarder sur ce point.

Organisation du code

Dossier 'cacm'

Les différents fichiers présents dans le dossier cacm reprennent les consignes du devoir dans l'ordre, à savoir :

• Préparation des documents : tokenization.py
• 2.1 Traitements linguistiques (questions 1 à 5) : A_traitements_linguistiques.py
• 2.2 Indexation : B_indexation.py
• 2.2.1 Modèle de recherche booléen : C_modele_booleen.py
• 2.2.2 Modèle de recherche vectoriel : D_modele_vectoriel.py
• 2.3 Mesure de pertinence : E_mesure_pertinence.py

Les mesures de performances sont quant à elles effectuées au fil des opérations et affichées dans la console.

Dossier 'FlaskApp'

Les différents fichiers et dossiers présents dans le dossier FlaskApp ont pour but de gérer tout ce qui est relatif à l'intégration de l'interface, à savoir :

• documents : regroupe les json nécessaires aux recherches afin de ne pas avoir à les recalculer à chaque requête
• static : regroupe les styles css nécessaires
• templates : regroupe les templates html nécessaires (index.html, result.html, monkey.html ainsi que les résultats générés au fil des requêtes)
• app.py : méthodes de l'API Flask nécessaires aux recherches
• jsonToHTMLBoolean.py: crée la page html associée au résultat d'une recherche booléenne
• jsonToHTMLVectorial.py: crée la page html associée au résultat d'une recherche vectorielle

Dossier 'cs276'

Nous avions commencé à travailler en parrallèle sur les collections cacm et cs276 mais n'avons malheureusement pas eu le temps d'avoir beaucoup de résultats avec cs276. Ce dossier regroupe nos débuts de travaux sur cette collection. Ils reprennent grandement les travaux effectués avec cacm.