Update scraper.rb

BfB-Schenefeld · Apr 22, 2024 · f904e2a · f904e2a
1 parent 3e3d854
commit f904e2a
Showing 1 changed file with 3 additions and 0 deletions.
diff --git a/scraper.rb b/scraper.rb
@@ -42,6 +42,8 @@ def scrape_vorlagen_details(vorlagen_url)
     vorlagenprotokolltext = vorlagenprotokolltext_element.text
     vorlagenprotokolltext = vorlagenprotokolltext.gsub(/\s+/, ' ').strip # Ersetzt mehrfache Leerzeichen durch ein einzelnes und entfernt führende/anhängende Leerzeichen
     vorlagenprotokolltext = vorlagenprotokolltext.gsub(/(?:\r?\n|\r)+/, ' ') # Ersetzt neue Zeilen durch ein Leerzeichen, um Text kompakter zu machen
+    # Entfernen von Aufdopplungen wie "Beschlussvorschlag ... Beschlussvorschlag"
+    vorlagenprotokolltext = vorlagenprotokolltext.gsub(/(\b\w+\b)\s*\.\.\.\s*\1/, '\1')
   else
     vorlagenprotokolltext = "Kein Text im Hauptinhalt gefunden"
   end
@@ -70,3 +72,4 @@ def scrape_vorlagen_details(vorlagen_url)
 
 
 
+