Merge pull request #69 from victorBigand/master

Fix bad tagging of sentences due to extra spaces
MAIF · Oct 30, 2020 · 6029472 · 6029472
2 parents 9b6d14b + d5fe6d5
commit 6029472
Show file tree

Hide file tree

Showing 2 changed files with 22 additions and 22 deletions.
diff --git a/melusine/prepare_email/mail_segmenting.py b/melusine/prepare_email/mail_segmenting.py
@@ -237,7 +237,7 @@ def split_message_to_sentences(text, sep_=r"(.*?[;.,?!])"):
     text = re.sub(regex3, regex4, text)  # remove double punctuation
     sentence_list = re.findall(regex_pattern, text, flags=re.M)
     sentence_list = [
-        r for s in sentence_list for r in re.split(regex_piece_jointe, s) if r
+        r.strip() for s in sentence_list for r in re.split(regex_piece_jointe, s) if r
     ]
 
     return sentence_list

diff --git a/tests/unit_tests/prepare_email/test_mail_segmenting.py b/tests/unit_tests/prepare_email/test_mail_segmenting.py
@@ -24,11 +24,11 @@
         "structured_text": {
             "header": None,
             "text": [
-                {"part": " Bonjours, ", "tags": "HELLO"},
+                {"part": "Bonjours,", "tags": "HELLO"},
                 {
-                    "part": "    Suite a notre conversation \
-téléphonique de Mardi , pourriez vous me dire la   somme que je vous dois \
-afin d'd'être en régularisation . \n  \n ",
+                    "part": " Suite a notre conversation \
+téléphonique de Mardi , pourriez vous me dire la somme que je vous dois \
+afin d'd'être en régularisation .",
                     "tags": "BODY",
                 },
                 {"part": "Merci bonne journée", "tags": "GREETINGS"},
@@ -44,18 +44,18 @@
         "structured_text": {
             "header": None,
             "text": [
-                {"part": " Bonjour. \n  \n ", "tags": "HELLO"},
+                {"part": "Bonjour.", "tags": "HELLO"},
                 {
                     "part": "Merci de bien vouloir prendre \
-connaissance du document ci-joint :   1 - Relevé d'identité postal MUTUELLE \
-(contrats)    ",
+connaissance du document ci-joint : 1 - Relevé d'identité postal MUTUELLE \
+(contrats) ",
                     "tags": "BODY",
                 },
-                {"part": " Sentiments mutualistes. ", "tags": "GREETINGS"},
-                {"part": "        La Mutuelle    ", "tags": "BODY"},
+                {"part": "Sentiments mutualistes.", "tags": "GREETINGS"},
+                {"part": "La Mutuelle ", "tags": "BODY"},
                 {
-                    "part": " La visualisation des fichiers \
-PDF nécessite Adobe Reader. \n",
+                    "part": "La visualisation des fichiers \
+PDF nécessite Adobe Reader.",
                     "tags": "FOOTER",
                 },
             ],
@@ -96,11 +96,11 @@ def test_structure_email():
         "structured_text": {
             "header": None,
             "text": [
-                {"part": " Bonjours, ", "tags": "HELLO"},
+                {"part": "Bonjours,", "tags": "HELLO"},
                 {
-                    "part": "    Suite a notre conversation \
-téléphonique de Mardi , pourriez vous me dire la   somme que je vous dois \
-afin d'd'être en régularisation . \n  \n ",
+                    "part": " Suite a notre conversation \
+téléphonique de Mardi , pourriez vous me dire la somme que je vous dois \
+afin d'd'être en régularisation .",
                     "tags": "BODY",
                 },
                 {"part": "Merci bonne journée", "tags": "GREETINGS"},
@@ -117,17 +117,17 @@ def test_structure_email():
         "structured_text": {
             "header": None,
             "text": [
-                {"part": " Bonjour. \n  \n ", "tags": "HELLO"},
+                {"part": "Bonjour.", "tags": "HELLO"},
                 {
                     "part": "Merci de bien vouloir prendre \
-connaissance du document ci-joint :   1 - Relevé d'identité postal MUTUELLE \
-(contrats)    ",
+connaissance du document ci-joint : 1 - Relevé d'identité postal MUTUELLE \
+(contrats) ",
                     "tags": "BODY",
                 },
-                {"part": " Sentiments mutualistes. ", "tags": "GREETINGS"},
-                {"part": "        La Mutuelle    ", "tags": "BODY"},
+                {"part": "Sentiments mutualistes.", "tags": "GREETINGS"},
+                {"part": "La Mutuelle ", "tags": "BODY"},
                 {
-                    "part": " La visualisation des fichiers PDF nécessite Adobe Reader. \n",
+                    "part": "La visualisation des fichiers PDF nécessite Adobe Reader.",
                     "tags": "FOOTER",
                 },
             ],