Strip HTML in excerpt field and adjust test data

CHANGELOG.md

@@ -4,6 +4,7 @@ UNRELEASED
 * [ [#1409](https://github.com/digitalfabrik/integreat-cms/issues/1409) ] Fix automatic filling of region coordinates
 * [ [#1407](https://github.com/digitalfabrik/integreat-cms/issues/1407) ] Add location setting to region model
 * [ [#1417](https://github.com/digitalfabrik/integreat-cms/issues/1417) ] Don't show fallback text for empty pages if there are no alternatives
+* [ [#1418](https://github.com/digitalfabrik/integreat-cms/issues/1410) ] Strip HTML entities in excerpt field in the API
 
 
 2022.5.0

integreat_cms/api/v3/events.py

@@ -5,6 +5,7 @@
 from django.conf import settings
 from django.http import JsonResponse
 from django.utils import timezone
+from django.utils.html import strip_tags
 
 from ...cms.models.events.event_translation import EventTranslation
 from ...cms.utils.slug_utils import generate_unique_slug
@@ -60,7 +61,7 @@ def transform_event_translation(event_translation):
         "path": event_translation.get_absolute_url(),
         "title": event_translation.title,
         "modified_gmt": event_translation.last_updated.strftime("%Y-%m-%d %H:%M:%S"),
-        "excerpt": event_translation.content,
+        "excerpt": strip_tags(event_translation.content),
         "content": event_translation.content,
         "available_languages": event_translation.available_languages,
         "thumbnail": event.icon.url if event.icon else None,

integreat_cms/api/v3/imprint.py

@@ -5,6 +5,7 @@
 
 from django.conf import settings
 from django.http import JsonResponse
+from django.utils.html import strip_tags
 
 from ..decorators import json_response
 
@@ -28,7 +29,7 @@ def transform_imprint(imprint_translation):
         "path": absolute_url,
         "title": imprint_translation.title,
         "modified_gmt": imprint_translation.last_updated,
-        "excerpt": imprint_translation.content,
+        "excerpt": strip_tags(imprint_translation.content),
         "content": imprint_translation.content,
         "parent": None,
         "available_languages": imprint_translation.available_languages,

integreat_cms/api/v3/pages.py

@@ -8,6 +8,7 @@
 from django.http import JsonResponse, Http404
 from django.shortcuts import get_object_or_404
 from django.views.decorators.csrf import csrf_exempt
+from django.utils.html import strip_tags
 
 from ...cms.models import Page
 from ...cms.forms import PageTranslationForm
@@ -68,7 +69,7 @@ def transform_page(page_translation):
         "path": absolute_url,
         "title": page_translation.title,
         "modified_gmt": page_translation.combined_last_updated,
-        "excerpt": page_translation.content,
+        "excerpt": strip_tags(page_translation.combined_text),
         "content": page_translation.combined_text,
         "parent": parent,
         "order": order,

tests/api/expected-outputs/augsburg_de_children.json

@@ -5,7 +5,7 @@
         "path": "/augsburg/de/willkommen/",
         "title": "Willkommen",
         "modified_gmt": "2019-08-12T07:57:42.456Z",
-        "excerpt": "<p>Willkommen in Augsburg</p>",
+        "excerpt": "Willkommen in Augsburg",
         "content": "<p>Willkommen in Augsburg</p>",
         "parent": {
             "id": 0,
@@ -107,7 +107,7 @@
         "path": "/augsburg/de/alltag/",
         "title": "Alltag",
         "modified_gmt": "2022-01-16T16:57:29.304Z",
-        "excerpt": "<a href=\"https://integreat-app.de/\">G&uuml;ltiger Link</a><br><a href=\"https://integreat.app\">Ungepr&uuml;fter Link</a><br><a href=\"https://invalid.integreat.app/\">Ung&uuml;ltiger Link</a><br><a href=\"https://invalid2.integreat.app/\">Ignorierter Link</a>",
+        "excerpt": "G&uuml;ltiger LinkUngepr&uuml;fter LinkUng&uuml;ltiger LinkIgnorierter Link",
         "content": "<a href=\"https://integreat-app.de/\">G&uuml;ltiger Link</a><br><a href=\"https://integreat.app\">Ungepr&uuml;fter Link</a><br><a href=\"https://invalid.integreat.app/\">Ung&uuml;ltiger Link</a><br><a href=\"https://invalid2.integreat.app/\">Ignorierter Link</a>",
         "parent": {
             "id": 0,

tests/api/expected-outputs/augsburg_de_children_archived_descendants.json

@@ -52,7 +52,7 @@
             }
         },
         "content": "<div><p>Die <strong>Ausl&#228;nderbeh&#246;rde</strong> ist&#160;f&#252;r die meisten Angelegenheiten zust&#228;ndig, die mit Ihrem Aufenthalt und&#160;Arbeitserlaubnis zusammenh&#228;ngen.</p>\r\n<p>Was Sie bei der<strong> Ausl&#228;nderbeh&#246;rde </strong>machen k&#246;nnen:</p>\r\n<ul>\r\n<li>Meldebescheinigung, An- und Abmelden des Wohnsitzes</li>\r\n<li>Aufenthaltstitel und Niederlassungserlaubnis</li>\r\n<li>\r\n<div>Verl&#228;ngerung des Ankunftsnachweises</div>\r\n</li>\r\n<li>\r\n<div>Aufenthaltsgestattung ausstellen und verl&#228;ngern (Asyl)</div>\r\n</li>\r\n<li>\r\n<div>Beantragung der Arbeitserlaubnis</div>\r\n</li>\r\n<li>\r\n<div>Aufenthaltserlaubnis und&#160;Ausnahmegenehmigungen f&#252;r Reisen</div>\r\n</li>\r\n<li>F&#252;hrungszeugnisse</li>\r\n<li>Einladung ausl&#228;ndischer G&#228;ste (Verpflichtungserkl&#228;rung)</li>\r\n<li>Einreiseangelegenheiten (z.B.: Familiennachzug)</li>\r\n<li>Hochschulbetreuungsstelle (Studierende, Studienbewerberinnen und Studienbewerber, Besucherinnen und Besucher von Deutsch-Intensivkursen)</li>\r\n<li>Aufenthaltsbeendigung</li>\r\n<li>Einb&#252;rgerung</li>\r\n</ul>\r\n<p>Bitte vereinbaren Sie vor Ihrem Besuch einen Termin. Das funktioniert am besten zwischen 7.30 und 8.00 Uhr am Morgen.&#160;Sie k&#246;nnen auch per Telefon oder online einen Termin ausmachen. Wenn sie Student sind k&#246;nnen Sie einfach eine Nachricht an die folgende E-Mail Adresse schicken:&#160;<span style=\"color: #99cc00;\">aufenthalt.uni@augsburg.de</span></p>\r\n<p><strong>Wichtig:</strong> Falls Sie noch Schwierigkeiten mit der Deutschen Sprache haben,&#160;bringen Sie&#160;bitte eine Person mit, die Ihr Anliegen (den Grund des Besuchs) &#252;bersetzen kann.</p>\r\n<p>Wenn Sie beim Bundesamt f&#252;r Migration (BAMF) Ihren <strong>Asylantrag</strong> gestellt haben (1. Interview), bekommen Sie von der Ausl&#228;nderbeh&#246;rde einen Ausweis (Aufenthaltsgestattung). Bitte tragen Sie den Ausweis immer bei sich.</p>\r\n<p>Haben Sie <strong>Kinder</strong>, die in die Schule gehen m&#252;ssen? Kinder sind schulpflichtig zwischen 6 und 15 Jahren.&#160;Melden Sie&#160;bei der Ausl&#228;nderbeh&#246;rde Ihren Wohnort, wenn m&#246;glich vor dem ersten Termin zur Beratung beim Schulamt. Ohne die Registrierung bei der Ausl&#228;nderbeh&#246;rde kann Ihr Kind nicht f&#252;r die Schule angemeldet werden. Bitte bringen Sie alle Ihre Papiere und Dokumente und alle auf dem Ankunftsnachweis eingetragenen Personen zur Ausl&#228;nderbeh&#246;rde mit.</p>\r\n<p>Weitere Informationen finden Sie unter :&#160;<strong>H&#228;ufige Fragen (FAQ)</strong>&#160;auf der Webseite der&#160;<a href=\"https://www.augsburg.de/buergerservice-rathaus/buergerservice/aemter-behoerden/staedtische-dienststellen/b/buergeramt/auslaenderbehoerde\" rel=\"noopener\">Stadt Augsburg/ Ausl&#228;nderbeh&#246;rde</a></p>\r\n<div><strong>Die Kosten und die notwendigen Unterlagen erfahren Sie bei der zust&#228;ndigen Sachstelle!!! Rufen Sie dort an oder schicken Sie eine E-Mail.</strong></div>\r\n<div>&#160;</div></div>",
-        "excerpt": "<div><p>Die <strong>Ausl&#228;nderbeh&#246;rde</strong> ist&#160;f&#252;r die meisten Angelegenheiten zust&#228;ndig, die mit Ihrem Aufenthalt und&#160;Arbeitserlaubnis zusammenh&#228;ngen.</p>\r\n<p>Was Sie bei der<strong> Ausl&#228;nderbeh&#246;rde </strong>machen k&#246;nnen:</p>\r\n<ul>\r\n<li>Meldebescheinigung, An- und Abmelden des Wohnsitzes</li>\r\n<li>Aufenthaltstitel und Niederlassungserlaubnis</li>\r\n<li>\r\n<div>Verl&#228;ngerung des Ankunftsnachweises</div>\r\n</li>\r\n<li>\r\n<div>Aufenthaltsgestattung ausstellen und verl&#228;ngern (Asyl)</div>\r\n</li>\r\n<li>\r\n<div>Beantragung der Arbeitserlaubnis</div>\r\n</li>\r\n<li>\r\n<div>Aufenthaltserlaubnis und&#160;Ausnahmegenehmigungen f&#252;r Reisen</div>\r\n</li>\r\n<li>F&#252;hrungszeugnisse</li>\r\n<li>Einladung ausl&#228;ndischer G&#228;ste (Verpflichtungserkl&#228;rung)</li>\r\n<li>Einreiseangelegenheiten (z.B.: Familiennachzug)</li>\r\n<li>Hochschulbetreuungsstelle (Studierende, Studienbewerberinnen und Studienbewerber, Besucherinnen und Besucher von Deutsch-Intensivkursen)</li>\r\n<li>Aufenthaltsbeendigung</li>\r\n<li>Einb&#252;rgerung</li>\r\n</ul>\r\n<p>Bitte vereinbaren Sie vor Ihrem Besuch einen Termin. Das funktioniert am besten zwischen 7.30 und 8.00 Uhr am Morgen.&#160;Sie k&#246;nnen auch per Telefon oder online einen Termin ausmachen. Wenn sie Student sind k&#246;nnen Sie einfach eine Nachricht an die folgende E-Mail Adresse schicken:&#160;<span style=\"color: #99cc00;\">aufenthalt.uni@augsburg.de</span></p>\r\n<p><strong>Wichtig:</strong> Falls Sie noch Schwierigkeiten mit der Deutschen Sprache haben,&#160;bringen Sie&#160;bitte eine Person mit, die Ihr Anliegen (den Grund des Besuchs) &#252;bersetzen kann.</p>\r\n<p>Wenn Sie beim Bundesamt f&#252;r Migration (BAMF) Ihren <strong>Asylantrag</strong> gestellt haben (1. Interview), bekommen Sie von der Ausl&#228;nderbeh&#246;rde einen Ausweis (Aufenthaltsgestattung). Bitte tragen Sie den Ausweis immer bei sich.</p>\r\n<p>Haben Sie <strong>Kinder</strong>, die in die Schule gehen m&#252;ssen? Kinder sind schulpflichtig zwischen 6 und 15 Jahren.&#160;Melden Sie&#160;bei der Ausl&#228;nderbeh&#246;rde Ihren Wohnort, wenn m&#246;glich vor dem ersten Termin zur Beratung beim Schulamt. Ohne die Registrierung bei der Ausl&#228;nderbeh&#246;rde kann Ihr Kind nicht f&#252;r die Schule angemeldet werden. Bitte bringen Sie alle Ihre Papiere und Dokumente und alle auf dem Ankunftsnachweis eingetragenen Personen zur Ausl&#228;nderbeh&#246;rde mit.</p>\r\n<p>Weitere Informationen finden Sie unter :&#160;<strong>H&#228;ufige Fragen (FAQ)</strong>&#160;auf der Webseite der&#160;<a href=\"https://www.augsburg.de/buergerservice-rathaus/buergerservice/aemter-behoerden/staedtische-dienststellen/b/buergeramt/auslaenderbehoerde\" rel=\"noopener\">Stadt Augsburg/ Ausl&#228;nderbeh&#246;rde</a></p>\r\n<div><strong>Die Kosten und die notwendigen Unterlagen erfahren Sie bei der zust&#228;ndigen Sachstelle!!! Rufen Sie dort an oder schicken Sie eine E-Mail.</strong></div>\r\n<div>&#160;</div></div>",
+        "excerpt": "Die Ausl&#228;nderbeh&#246;rde ist&#160;f&#252;r die meisten Angelegenheiten zust&#228;ndig, die mit Ihrem Aufenthalt und&#160;Arbeitserlaubnis zusammenh&#228;ngen.\r\nWas Sie bei der Ausl&#228;nderbeh&#246;rde machen k&#246;nnen:\r\n\r\nMeldebescheinigung, An- und Abmelden des Wohnsitzes\r\nAufenthaltstitel und Niederlassungserlaubnis\r\n\r\nVerl&#228;ngerung des Ankunftsnachweises\r\n\r\n\r\nAufenthaltsgestattung ausstellen und verl&#228;ngern (Asyl)\r\n\r\n\r\nBeantragung der Arbeitserlaubnis\r\n\r\n\r\nAufenthaltserlaubnis und&#160;Ausnahmegenehmigungen f&#252;r Reisen\r\n\r\nF&#252;hrungszeugnisse\r\nEinladung ausl&#228;ndischer G&#228;ste (Verpflichtungserkl&#228;rung)\r\nEinreiseangelegenheiten (z.B.: Familiennachzug)\r\nHochschulbetreuungsstelle (Studierende, Studienbewerberinnen und Studienbewerber, Besucherinnen und Besucher von Deutsch-Intensivkursen)\r\nAufenthaltsbeendigung\r\nEinb&#252;rgerung\r\n\r\nBitte vereinbaren Sie vor Ihrem Besuch einen Termin. Das funktioniert am besten zwischen 7.30 und 8.00 Uhr am Morgen.&#160;Sie k&#246;nnen auch per Telefon oder online einen Termin ausmachen. Wenn sie Student sind k&#246;nnen Sie einfach eine Nachricht an die folgende E-Mail Adresse schicken:&#160;aufenthalt.uni@augsburg.de\r\nWichtig: Falls Sie noch Schwierigkeiten mit der Deutschen Sprache haben,&#160;bringen Sie&#160;bitte eine Person mit, die Ihr Anliegen (den Grund des Besuchs) &#252;bersetzen kann.\r\nWenn Sie beim Bundesamt f&#252;r Migration (BAMF) Ihren Asylantrag gestellt haben (1. Interview), bekommen Sie von der Ausl&#228;nderbeh&#246;rde einen Ausweis (Aufenthaltsgestattung). Bitte tragen Sie den Ausweis immer bei sich.\r\nHaben Sie Kinder, die in die Schule gehen m&#252;ssen? Kinder sind schulpflichtig zwischen 6 und 15 Jahren.&#160;Melden Sie&#160;bei der Ausl&#228;nderbeh&#246;rde Ihren Wohnort, wenn m&#246;glich vor dem ersten Termin zur Beratung beim Schulamt. Ohne die Registrierung bei der Ausl&#228;nderbeh&#246;rde kann Ihr Kind nicht f&#252;r die Schule angemeldet werden. Bitte bringen Sie alle Ihre Papiere und Dokumente und alle auf dem Ankunftsnachweis eingetragenen Personen zur Ausl&#228;nderbeh&#246;rde mit.\r\nWeitere Informationen finden Sie unter :&#160;H&#228;ufige Fragen (FAQ)&#160;auf der Webseite der&#160;Stadt Augsburg/ Ausl&#228;nderbeh&#246;rde\r\nDie Kosten und die notwendigen Unterlagen erfahren Sie bei der zust&#228;ndigen Sachstelle!!! Rufen Sie dort an oder schicken Sie eine E-Mail.\r\n&#160;",
         "hash": null,
         "id": 36,
         "modified_gmt": "2022-01-16T16:37:58.965Z",
@@ -86,7 +86,7 @@
             }
         },
         "content": "<div><p><strong>Leistungen des Gesundheitsamtes:</strong></p>\r\n<ul>\r\n<li>Beratung zur Gesundheitsfragen</li>\r\n<li>Beratung f&#252;r Menschen, die an einer psychischen Krankheit leiden</li>\r\n<li>Kontaktstelle f&#252;r Selbsthilfegruppen Infos auch unter:<br><a href=\"https://www.augsburg.de/umwelt-soziales/gesundheit/selbsthilfegruppen\">www.augsburg.de/selbsthilfe-schwaben</a></li>\r\n<li>Beratung f&#252;r Schwangere</li>\r\n<li>Impfberatung</li>\r\n<li>Belehrung nach Infektionsschutzgesetz &#167; 43 (Lebensmittelbelehrung, Gesundheitszeugnis)</li>\r\n<li>Untersuchung f&#252;r Kinder, bevor sie in die Schule gehen k&#246;nnen (Schuleingangsuntersuchung)</li>\r\n<li>Erstuntersuchung von unbegleiteten minderj&#228;hrigen Ausl&#228;nderinnen und Ausl&#228;ndern auf Veranlassung des AKJF</li>\r\n<li>Erstuntersuchung nach amtlicher Vorladung im Bereich Migration und Asyl</li>\r\n<li>Meldepflichtige Krankheiten (Tuberkulose, Gelbsucht etc.)</li>\r\n<li>Tuberkulosef&#252;rsorge</li>\r\n<li>Gesundheitsberatung und Untersuchung f&#252;r Prostituierte</li>\r\n<li>anonyme AIDS-Beratung / HIV-Test</li>\r\n</ul>\r\n</div>",
-        "excerpt": "<div><p><strong>Leistungen des Gesundheitsamtes:</strong></p>\r\n<ul>\r\n<li>Beratung zur Gesundheitsfragen</li>\r\n<li>Beratung f&#252;r Menschen, die an einer psychischen Krankheit leiden</li>\r\n<li>Kontaktstelle f&#252;r Selbsthilfegruppen Infos auch unter:<br><a href=\"https://www.augsburg.de/umwelt-soziales/gesundheit/selbsthilfegruppen\">www.augsburg.de/selbsthilfe-schwaben</a></li>\r\n<li>Beratung f&#252;r Schwangere</li>\r\n<li>Impfberatung</li>\r\n<li>Belehrung nach Infektionsschutzgesetz &#167; 43 (Lebensmittelbelehrung, Gesundheitszeugnis)</li>\r\n<li>Untersuchung f&#252;r Kinder, bevor sie in die Schule gehen k&#246;nnen (Schuleingangsuntersuchung)</li>\r\n<li>Erstuntersuchung von unbegleiteten minderj&#228;hrigen Ausl&#228;nderinnen und Ausl&#228;ndern auf Veranlassung des AKJF</li>\r\n<li>Erstuntersuchung nach amtlicher Vorladung im Bereich Migration und Asyl</li>\r\n<li>Meldepflichtige Krankheiten (Tuberkulose, Gelbsucht etc.)</li>\r\n<li>Tuberkulosef&#252;rsorge</li>\r\n<li>Gesundheitsberatung und Untersuchung f&#252;r Prostituierte</li>\r\n<li>anonyme AIDS-Beratung / HIV-Test</li>\r\n</ul>\r\n</div>",
+        "excerpt": "Leistungen des Gesundheitsamtes:\r\n\r\nBeratung zur Gesundheitsfragen\r\nBeratung f&#252;r Menschen, die an einer psychischen Krankheit leiden\r\nKontaktstelle f&#252;r Selbsthilfegruppen Infos auch unter:www.augsburg.de/selbsthilfe-schwaben\r\nBeratung f&#252;r Schwangere\r\nImpfberatung\r\nBelehrung nach Infektionsschutzgesetz &#167; 43 (Lebensmittelbelehrung, Gesundheitszeugnis)\r\nUntersuchung f&#252;r Kinder, bevor sie in die Schule gehen k&#246;nnen (Schuleingangsuntersuchung)\r\nErstuntersuchung von unbegleiteten minderj&#228;hrigen Ausl&#228;nderinnen und Ausl&#228;ndern auf Veranlassung des AKJF\r\nErstuntersuchung nach amtlicher Vorladung im Bereich Migration und Asyl\r\nMeldepflichtige Krankheiten (Tuberkulose, Gelbsucht etc.)\r\nTuberkulosef&#252;rsorge\r\nGesundheitsberatung und Untersuchung f&#252;r Prostituierte\r\nanonyme AIDS-Beratung / HIV-Test\r\n\r\n",
         "hash": null,
         "id": 39,
         "modified_gmt": "2022-01-16T16:41:33.158Z",

tests/api/expected-outputs/augsburg_de_events.json

@@ -5,7 +5,7 @@
         "path": "/augsburg/de/events/test-veranstaltung/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {
@@ -45,7 +45,7 @@
         "path": "/augsburg/de/events/test-veranstaltung-2030-01-03/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {
@@ -85,7 +85,7 @@
         "path": "/augsburg/de/events/test-veranstaltung-2030-01-15/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {
@@ -125,7 +125,7 @@
         "path": "/augsburg/de/events/test-veranstaltung-2030-01-17/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {
@@ -165,7 +165,7 @@
         "path": "/augsburg/de/events/test-veranstaltung-2030-01-29/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {
@@ -205,7 +205,7 @@
         "path": "/augsburg/de/events/test-veranstaltung-2030-01-31/",
         "title": "Test-Veranstaltung",
         "modified_gmt": "2020-01-22 12:46:33",
-        "excerpt": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
+        "excerpt": "Dies ist die Beschreibung einer Test-Veranstaltung.",
         "content": "<p>Dies ist die Beschreibung einer Test-Veranstaltung.</p>",
         "available_languages": {
             "en": {

tests/api/expected-outputs/augsburg_de_page_1.json

@@ -4,7 +4,7 @@
     "path": "/augsburg/de/willkommen/",
     "title": "Willkommen",
     "modified_gmt": "2019-08-12T07:57:42.456Z",
-    "excerpt": "<p>Willkommen in Augsburg</p>",
+    "excerpt": "Willkommen in Augsburg",
     "content": "<p>Willkommen in Augsburg</p>",
     "parent": {
         "id": 0,