Gestion correcte des doublons

[Changaco]

La solution de legi.py au problème des fichiers doublons dans les archives LEGI a toujours été de prendre les données dans le fichier le plus récent (en se basant sur le mtime), et jusqu'à présent les fichiers plus anciens n'étaient pas conservés. Ce dernier point pose problème, car quand le fichier le plus récent est supprimé dans une version ultérieure de la base, sans que le(s) fichier(s) plus ancien(s) soi(en)t également supprimé(s), alors la BDD produite par legi.py n'est plus complète.

Les changements apportés par cette Pull Request corrige ce problème de la façon suivante :

• les données des fichiers doublons sont enregistrées
• quand le fichier le plus récent est supprimé ses données sont remplacées par celles du deuxième fichier le plus récent, si celui-ci existe évidemment

La mise en pratique de ce nouveau fonctionnement nécessite de recréer la BDD depuis le début, c'est pourquoi la migration automatique fait le vide.

[Changaco]

J'ai fini de faire tourner cette branche pendant la nuit. La taille du fichier final est presque la même qu'avant : 3,4Go contre 3,3Go. Le nombre de lignes dans la table duplicate_files est descendu à 21975, contre 33158 avant. Le nombre d'anomalies détectées a lui fortement augmenté, à 3314 (pour la version 20170227-213627) contre environ 1900 avant. Les anomalies supplémentaires sont des articles/sections orphelins et semblent valides.

Bref, tout me semble OK.

[Changaco]

Oups, la "migration" automatique ne fonctionne pas (sqlite3.OperationalError: Cannot add a NOT NULL column with default value NULL, alors que la table en question est vide et donc qu'ajouter une colonne non-nulle n'est pas un problème).

[Changaco]

Corrigé dans 40dbccc.