Nouveau processus de publication #5306

artragis · 2019-04-11T11:28:42Z

Contexte

le watchdog actuel pose plusieurs problèmes

watchdog n'est pas compatible avec python 3.7
il plante de manière incontrôlée
il n'est pas parallélisable : si un billet est publié pendant qu'il en exporte un autre ça marche pas
il ne permet pas de bien analyser les problèmes de publication
il complexifie un module qui a déjà sa dose de complexité :)
il a été codé en python 2.7 ce qui ne tient pas compte de pas mal d'amélioration des modules de concurrence qu'on a dans la 3.5

Solution proposée

on passe par la publication d'un "event" qui est une entité SQL
une boucle infinie vient s'assurer qu'un event a été posté, et le prend en charge
le tout est parallélisé grâce aux modules ajoutés à python 3.5
comme on a une entité SQL on peut avoir un résumé de ce qui ne marche pas depuis l'interface d'admin
on peut lancer des exports depuis l'interface web sans que ça ne bloque d'autres choses
ça facilitera l'intégration d'une fonctionnalité d'export pdf/epub pour la beta

État d'avancement

refaire le watchdog
mettre un bouton "re générer les exports" dans l'interface web, accessible aux auteurs et aux modo

pour la QA

ne pas oublier de faire un python manage.py migrate
lancer le service de publication `python manage.py publication_watchdog
lancer le site
faite trois tutos (mini, moyen, big), publiez-les
les exports sont bien réalisés (attention pour le pdf vous avez besoin de latex)
supprimez les exports
allez sur les tutos, cliquez sur "générer les exports"
vérifier que les exports sont bien générés.

coveralls · 2019-04-11T11:38:59Z

Coverage decreased (-9.2%) to 65.105% when pulling 88c99fc on artragis:change_publication_service into 5f68e0e on zestedesavoir:dev.

coveralls · 2019-04-11T11:39:02Z

Coverage decreased (-9.2%) to 65.105% when pulling 88c99fc on artragis:change_publication_service into 5f68e0e on zestedesavoir:dev.

coveralls · 2019-04-11T11:39:02Z

Coverage decreased (-15.2%) to 73.962% when pulling f1603ff on artragis:change_publication_service into 9577d8e on zestedesavoir:dev.

zds/tutorialv2/models/database.py

gustavi · 2019-04-24T11:41:23Z

QA possible ici ?

artragis · 2019-04-24T11:43:21Z

tout à fait ça serait cool d'ailleurs.

gustavi · 2019-04-24T11:57:13Z

Quelques instructions pour que je teste ça ? Des cas spéciaux à prendre en compte ?

artragis · 2019-04-24T12:12:09Z

Je fais le descriptif QA ce soir.

artragis · 2019-04-25T11:06:21Z

C'est fait.

gustavi · 2019-04-25T11:30:45Z

J'ai pas LaTeX sur ma machine actuelle (et je ne peux pas l'installer en l'état), je QA ça ce week-end (sauf si quelqu'un veut s'en charger avant).

artragis · 2019-05-01T14:38:09Z

du coup on en est où? si tu n'as pas latex c'est pas grave, au pire tu pourras tester que le publication event se met bien en ERROR

gustavi · 2019-05-02T11:33:14Z

Je testerai demain sans LaTeX dans ce cas.

artragis · 2019-05-11T12:46:05Z

On en est où?

artragis · 2019-05-16T11:17:11Z

On en est où @gustavi ?

artragis · 2019-05-21T20:04:16Z

on en est où ici?

Situphen · 2019-05-21T20:20:32Z

Personnellement je suis en semaine d'examens donc je ne peux pas m'en occuper avant ce weekend.

Situphen · 2019-05-26T15:15:28Z

Ça ne fonctionne pas si le fichier {contenu}.md est supprimé dans le dossier {contenu]__building, la tâche @PublicatorRegistry.register('md') échoue. Je n'ai pas gardé les logs mais je devrais faire de nouveaux essais dans les jours qui viennent !

artragis · 2019-05-26T17:12:43Z

Ça ne fonctionne pas si le fichier {contenu}.md est supprimé dans le dossier {contenu]__building, la tâche @PublicatorRegistry.register('md') échoue.

tu es sûr que c'est bien la tâche de publication du md qui échoue? parce que bon, y'a pas trop de raison.

Par contre si tu supprimes cette publication ce sont les exports latex et pdf qui ne fonctionnent plus

Situphen · 2019-05-31T10:20:41Z

Rapport de mes différents essais

J'ai utilisé l'article "Conférences et séminaires scientifiques à Paris (et ailleurs)" que j'ai importé en local pour mes essais.

Ce rapport est assez long mais j'ai essayé de le garder lisible autant que possible et au moins tu as les logs complets.

Publication du contenu

Lors de la publication, 4 événements de publications apparaissent dans la base de données et les 4 finissent en "Export réalisé". Aucune erreur dans le log de la commande python manage.py publication_watchdog. J'ai bien la possibilité de télécharger le contenu en Markdown, HTML, LaTeX, PDF, EPUB ou Archive ; tout va bien. QA OK

Suppression du PDF dans `contents-public/{contenu}/extra_contents`

Je lance rm contents-public/{contenu}/extra_contents/{contenu}.pdf et le PDF n'est plus disponible au téléchargement, logique. Je clique sur "Exporter le tutoriel", 4 événements de publication (les même que la 1e fois) sont créés et finissent en "Export réalisé". Aucune erreur dans le log du watchdog. Le PDF est de nouveau disponible en téléchargement. QA OK

Suppression du PDF, du LaTeX, de l'EPUB et du ZIP dans `contents-public/{contenu}/extra_contents`

Même chose qu'en supprimant seulement le PDF. QA OK

Suppression du dossier `contents-public/{contenu}/extra_contents`

1er clic sur "Exporter le tutoriel"

Par rapport à précédemment, les fichiers {contenu}.html et {contenu}.md sont eux aussi supprimés. Réussite pour le PDF et l'EPUB. Échec pour l'HTML et le ZIP. QA NOT OK

ERROR:Command:error while producing zip of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 307, in publish
    make_zip_file(published_content_entity)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 569, in make_zip_file
    zip_file = zipfile.ZipFile(file_path, 'w')
  File "/usr/lib/python3.6/zipfile.py", line 1113, in __init__
    self.fp = io.open(file, filemode)
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.zip'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 310, in publish
    raise FailureDuringPublication('Zip could not be created', e)
zds.tutorialv2.publication_utils.FailureDuringPublication: ('Zip could not be created', FileNotFoundError(2, 'No such file or directory'))
"""

The above exception was the direct cause of the following exception:

zds.tutorialv2.publication_utils.FailureDuringPublication: ('Zip could not be created', FileNotFoundError(2, 'No such file or directory'))

ERROR:Command:error while producing html of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/shutil.py", line 544, in move
    os.rename(src, real_dst)
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.html' -> '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.html'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 330, in publish
    published_content_entity.content_public_slug + '.html')))
  File "/usr/lib/python3.6/shutil.py", line 558, in move
    copy_function(src, real_dst)
  File "/usr/lib/python3.6/shutil.py", line 257, in copy2
    copyfile(src, dst, follow_symlinks=follow_symlinks)
  File "/usr/lib/python3.6/shutil.py", line 121, in copyfile
    with open(dst, 'wb') as fdst:
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.html'
"""

The above exception was the direct cause of the following exception:

FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.html'

2eme clic

Si je clique une deuxième fois sur le bouton "Exporter le tutoriel", cette fois-ci tous les exports se réalisent correctement et je n'ai pas d'erreur dans les log.

Suppression du dossier `contents-public/{contenu}__building/` et de `contents-public/{contenu}/extra_contents/`

1e clic

Réussite de l'EPUB. Échec du PDF, de l'HTML et du ZIP. QA NOT OK

ERROR:Command:error while producing zip of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 307, in publish
    make_zip_file(published_content_entity)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 569, in make_zip_file
    zip_file = zipfile.ZipFile(file_path, 'w')
  File "/usr/lib/python3.6/zipfile.py", line 1113, in __init__
    self.fp = io.open(file, filemode)
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.zip'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 310, in publish
    raise FailureDuringPublication('Zip could not be created', e)
zds.tutorialv2.publication_utils.FailureDuringPublication: ('Zip could not be created', FileNotFoundError(2, 'No such file or directory'))
"""

The above exception was the direct cause of the following exception:

zds.tutorialv2.publication_utils.FailureDuringPublication: ('Zip could not be created', FileNotFoundError(2, 'No such file or directory'))

ERROR:Command:error while producing html of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 317, in publish
    md_flat_content = _read_flat_markdown(md_file_path)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 295, in _read_flat_markdown
    with open(md_file_path, encoding='utf-8') as md_file_handler:
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'
"""

The above exception was the direct cause of the following exception:

FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'

ERROR:Command:error while producing pdf of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 344, in publish
    md_flat_content = _read_flat_markdown(md_file_path)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 295, in _read_flat_markdown
    with open(md_file_path, encoding='utf-8') as md_file_handler:
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'
"""

The above exception was the direct cause of the following exception:

FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'

2eme clic

Réussite de l'EPUB et du ZIP. Échec du PDF et de l'HTML.

ERROR:Command:error while producing html of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 317, in publish
    md_flat_content = _read_flat_markdown(md_file_path)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 295, in _read_flat_markdown
    with open(md_file_path, encoding='utf-8') as md_file_handler:
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'
"""

The above exception was the direct cause of the following exception:

FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'

ERROR:Command:error while producing pdf of Conférences et séminaires scientifiques à Paris (et ailleurs)
concurrent.futures.process._RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/concurrent/futures/process.py", line 175, in _process_worker
    r = call_item.fn(*call_item.args, **call_item.kwargs)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 344, in publish
    md_flat_content = _read_flat_markdown(md_file_path)
  File "/home/situphen/Code/zds-site/zds/tutorialv2/publication_utils.py", line 295, in _read_flat_markdown
    with open(md_file_path, encoding='utf-8') as md_file_handler:
FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'
"""

The above exception was the direct cause of the following exception:

FileNotFoundError: [Errno 2] No such file or directory: '/home/situphen/Code/zds-site/contents-public/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs__building/extra_contents/conferences-et-seminaires-scientifiques-a-paris-et-ailleurs.md'

3eme clic

Même erreurs que pour le 2eme clic.

Conclusion

Globalement le nouveau processus fait bien son job, tout va bien lors de la première publication et on peut demander une exportation à la demande si jamais une nouvelle version de ZDS est arrivée et corrige quelques bugs liés à la publication. Bien joué @artragis !

Je me suis aventuré et j'ai supprimé les fichiers générés pour voir s'ils étaient bien regénérés par le nouveau processus. Et là, dès qu'on touche au fichier Markdown on voit que ça coince. Pas de problème lors de la publication du contenu mais lors de la génération à la demande on ne peut pas regénérer le fichier Markdown. Bon après le fichier Markdown ne va pas disparaitre de lui-même du serveur, donc la probabilité qu'un problème apparaisse est très faible.

artragis · 2019-05-31T11:07:52Z

Après pour des raisons de robustesses on peut aussi faire en sorte que les dossiers soient créés lors de l'appel à api:content:generate_export au moins on aura les bons éléments au bon moment.

- on arrête avec watchdog - on prend une simple boucle de polling - un peu de paralellisme

- chemin vers le md de base - chemin du html (shutil.move demande à ce que les fichiers destination n'existent pas si on déplace vers un dossier) - log de l'exception

artragis added C-Back Concerne le back-end Django S-Refactorisation Améliore le code existant sans forcément ajouter de nouvelle fonctionnalité labels Apr 11, 2019

artragis force-pushed the change_publication_service branch from 88c99fc to b31f23a Compare April 11, 2019 11:40

artragis changed the title ~~[WIP]Nouveau processus de publication~~ Nouveau processus de publication Apr 15, 2019

gustavi reviewed Apr 15, 2019

View reviewed changes

zds/tutorialv2/models/database.py Show resolved Hide resolved

zds/tutorialv2/models/database.py Outdated Show resolved Hide resolved

artragis added this to in review in Objectif v28.2 Apr 17, 2019

Situphen self-assigned this May 27, 2019

artragis added 4 commits May 31, 2019 13:15

Nouveau processus de publication

ed0f350

- on arrête avec watchdog - on prend une simple boucle de polling - un peu de paralellisme

Enlève le test de l'ancienne commande

674e0db

ajoute l'admin & l'ajax

bd86aa0

fix une faute d'orthographe

9519c5a

artragis added 4 commits May 31, 2019 13:15

i18n & dates

f363192

gestion des erreurs

7faf1d2

gestion des erreurs

ac9d860

Fix le problème des chemins et log les erreurs

d0b50a2

- chemin vers le md de base - chemin du html (shutil.move demande à ce que les fichiers destination n'existent pas si on déplace vers un dossier) - log de l'exception

artragis force-pushed the change_publication_service branch from 3ccf25f to bfd09e4 Compare May 31, 2019 11:48

artragis and others added 2 commits May 31, 2019 14:30

rend le code plus robuste

cc929ae

Quelques modifications

f1603ff

artragis force-pushed the change_publication_service branch from 70fc220 to f1603ff Compare May 31, 2019 12:30

Situphen merged commit aea22f5 into zestedesavoir:dev May 31, 2019

Objectif v28.2 automation moved this from in review to Done May 31, 2019

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Nouveau processus de publication #5306

Nouveau processus de publication #5306

artragis commented Apr 11, 2019 •

edited

Loading

coveralls commented Apr 11, 2019

coveralls commented Apr 11, 2019

coveralls commented Apr 11, 2019 •

edited

Loading

gustavi commented Apr 24, 2019

artragis commented Apr 24, 2019

gustavi commented Apr 24, 2019

artragis commented Apr 24, 2019

artragis commented Apr 25, 2019

gustavi commented Apr 25, 2019

artragis commented May 1, 2019

gustavi commented May 2, 2019

artragis commented May 11, 2019

artragis commented May 16, 2019

artragis commented May 21, 2019

Situphen commented May 21, 2019

Situphen commented May 26, 2019

artragis commented May 26, 2019

Situphen commented May 31, 2019 •

edited

Loading

artragis commented May 31, 2019

Nouveau processus de publication #5306

Nouveau processus de publication #5306

Conversation

artragis commented Apr 11, 2019 • edited Loading

Contexte

Solution proposée

État d'avancement

pour la QA

coveralls commented Apr 11, 2019

coveralls commented Apr 11, 2019

coveralls commented Apr 11, 2019 • edited Loading

gustavi commented Apr 24, 2019

artragis commented Apr 24, 2019

gustavi commented Apr 24, 2019

artragis commented Apr 24, 2019

artragis commented Apr 25, 2019

gustavi commented Apr 25, 2019

artragis commented May 1, 2019

gustavi commented May 2, 2019

artragis commented May 11, 2019

artragis commented May 16, 2019

artragis commented May 21, 2019

Situphen commented May 21, 2019

Situphen commented May 26, 2019

artragis commented May 26, 2019

Situphen commented May 31, 2019 • edited Loading

Rapport de mes différents essais

Publication du contenu

Suppression du PDF dans contents-public/{contenu}/extra_contents

Suppression du PDF, du LaTeX, de l'EPUB et du ZIP dans contents-public/{contenu}/extra_contents

Suppression du dossier contents-public/{contenu}/extra_contents

1er clic sur "Exporter le tutoriel"

2eme clic

Suppression du dossier contents-public/{contenu}__building/ et de contents-public/{contenu}/extra_contents/

1e clic

2eme clic

3eme clic

Conclusion

artragis commented May 31, 2019

artragis commented Apr 11, 2019 •

edited

Loading

coveralls commented Apr 11, 2019 •

edited

Loading

Situphen commented May 31, 2019 •

edited

Loading

Suppression du PDF dans `contents-public/{contenu}/extra_contents`

Suppression du PDF, du LaTeX, de l'EPUB et du ZIP dans `contents-public/{contenu}/extra_contents`

Suppression du dossier `contents-public/{contenu}/extra_contents`

Suppression du dossier `contents-public/{contenu}__building/` et de `contents-public/{contenu}/extra_contents/`