Bloque les telechargements pour les crawler

[Eskimon]

Q	R
Correction de bugs ?	non
Nouvelle Fonctionnalité ?	~oui
Tickets (issues) concernés	#1999

Empeche les robots d'indexation d'aller indexer les pages de téléchargements.
Pourquoi ? car ce n'est pas super convivial alors qu'on propose déjà le contenu dans un format web (le lecteur ayant ensuite le choix de télécharger dans le format qu'il veut)

[Situphen]

Perso je suis contre ! Pourquoi ? Car j'aime faire des requêtes avec filetype:pdf et avoir des résultats !

EDIT : Bon, mon argument passe mal car vu qu'on a pas de .pdf on a pas de résultats (excepté sur uploads.zestedesavoir.com - domaine que je connaissait pas d'ailleurs). Il faudrait pas mettre .pdf en extension ?

[Eskimon]

Et tu aurais pas pu dire ca dans le ticket (que tu as commenté) directement ? (histoire de m'éviter de faire une PR qui m'a pris plus de temps que de coder XD )

[landscape-bot]

Code quality remained the same when pulling 3660e48 on Eskimon:fix-1999 into 2e3ca39 on zestedesavoir:dev.

[Situphen]

Oups, pas du faire attention... :-°

En fait, faudrait désindexer le HTML mais laisser le PDF je pense.

[Eskimon]

Voilà, je bloque tout SAUF les epub et les pdf des tutos (les articles n'ayant rien).

faudra s'en souvenir pour la ZEP-12 (ping @pierre-24 et @artragis )

[Situphen]

Commentaires en anglais ? :)

[pierre-24]

+1 pour mon voisin du dessus. Du reste, artragis a été plus rapide que moi :o

[Eskimon]

Sinon pour info ta recherche google filetype:pdf ne devrait pas marcher car le lien ne pointe pas vers une URL ...blablabla.pdf . (à confirmer cependant)

[landscape-bot]

Code quality remained the same when pulling b99a904 on Eskimon:fix-1999 into 2e3ca39 on zestedesavoir:dev.

[landscape-bot]

Code quality remained the same when pulling b99a904 on Eskimon:fix-1999 into 2e3ca39 on zestedesavoir:dev.

[pierre-24]

Exemple, le tuto d'Eskimon:

• DuckDuckGo ne trouve pas le PDF de base: https://duckduckgo.com/?q=html5+site%3Azestedesavoir.com+filetype%3Apdf
• Google non plus: https://encrypted.google.com/search?hl=en&q=html5%20site%3Azestedesavoir.com%20filetype%3Apdf
• Et yahoo non plus: https://search.yahoo.com/search?p=html5%20site%3Azestedesavoir.com%20filetype%3Apdf

Bref, c'est du détail et je suis quand même d'accord avec la PR.

[pierre-24]

(oh, et évidement, c'est parfaitement impossible à QA ;) )

[Eskimon]

donc mon implémentation première de "tout bloquer" est finalement probablement la meilleure...

[Situphen]

Je vais proposer de changer les urls de téléchargement dans la ZEP 26 pour qu'il y ait les extensions. On aurait une url du genre https://zestedesavoir.com/tutoriels/232/developpez-votre-site-web-avec-le-framework-django.pdf pour la version pdf de https://zestedesavoir.com/tutoriels/232/developpez-votre-site-web-avec-le-framework-django/ donc garder la PR tel quel est sûrement mieux.

[pierre-24]

Ça peut le faire :)

[Eskimon]

Yep ca serait plus clean :) Bref, je garde le code actuel de ma PR (ton idée étant évidemment hors-scope) et attend des nouvelles du DTC :)

[SpaceFox]

J'étais persuadé que les URLs des fichiers à télécharger avaient des extensions valides... donc si ce n'est pas le cas, c'est évidemment ce qu'il faut faire.

[Eskimon]

donc si ce n'est pas le cas, c'est évidemment ce qu'il faut faire.

C'est à dire ? Supprimer toutes les pages de téléchargements dans le robobts.txt ? Juste les non-pdf/epub ?

[SpaceFox]

Changer les URLs.

[Situphen]

Je propose que :

• avec cette PR, on autorise l'indexation pour les EPUBs et les PDFs mais on interdit pour les autres format ;
• avec la ZEP 12, on change les urls (c'est fait sur leur branche, voir https://zestedesavoir.com/forums/sujet/2558/zep-26-rendre-les-urls-plus-coherentes/?page=2#p55395).

Ça vous va ?

[landscape-bot]

Repository health increased by 0.00% when pulling b99a904 on Eskimon:fix-1999 into 4d29e17 on zestedesavoir:dev.

• 1 new problem was found (including 0 errors and 0 code smells).
• 3 problems were fixed (including 0 errors and 0 code smells).

[Eskimon]

Je ferme ici, la ZEP-12 apportera une solution bien plus élégante et comme c'est ni urgent ni dramatique ca sert à rien de laisser ca ouvert.