From a2d37f384ef1cd743cf47803d4a113176d6b1485 Mon Sep 17 00:00:00 2001
From: Alfredo Amatriain <geralt@gmail.com>
Date: Fri, 22 Jan 2021 21:17:32 +0100
Subject: [PATCH] Removed the host blacklist from the default installation.

The capability to add blacklisted domains and keep users from
subscribing to feeds in those domains is still implemented, but the
domain blacklist itself is emtpy in the default installation.

Also removed all references to AEDE (spanish newspaper association).
This feature was implemented to blacklist AEDE domains, but it can be
used to blacklist any domains.
---
 CHANGELOG.md                           |   5 +-
 config/host_blacklist.yml              |   2 +
 config/initializers/hosts_blacklist.rb |   6 +-
 config/locales/en.yml                  |   2 +-
 config/locales/es.yml                  |   2 +-
 config/url_blacklist.yml               | 478 -------------------------
 6 files changed, 11 insertions(+), 484 deletions(-)
 create mode 100644 config/host_blacklist.yml
 delete mode 100644 config/url_blacklist.yml

diff --git a/CHANGELOG.md b/CHANGELOG.md
index 5404c7758..fa440ce4b 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -6,7 +6,10 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
 
 ## [Unreleased]
 ### Changed 
-Nothing yet
+- Removed the unused "staging" environment.
+- Removed blacklisted hosts. The capability for FeedBunch to blacklist hosts, keeping users from 
+subscribing to feeds in those hosts, is still implemented, but the list is empty in the default
+installation.
 
 ## [1.3.17] - 2021-01-22
 ### Changed 
diff --git a/config/host_blacklist.yml b/config/host_blacklist.yml
new file mode 100644
index 000000000..0b79bbbcb
--- /dev/null
+++ b/config/host_blacklist.yml
@@ -0,0 +1,2 @@
+# blacklisted hosts. FeedBunch won't allow subscribing to a feed hosted in one of these hosts.
+hosts:
diff --git a/config/initializers/hosts_blacklist.rb b/config/initializers/hosts_blacklist.rb
index 58cc940b8..4fcffb6c9 100644
--- a/config/initializers/hosts_blacklist.rb
+++ b/config/initializers/hosts_blacklist.rb
@@ -7,11 +7,11 @@
 
 require 'addressable/uri'
 
-list = YAML.load_file 'config/url_blacklist.yml'
+list = YAML.load_file 'config/host_blacklist.yml'
 
-# We actually store the host for each URL in the blacklist, which is what we're actually interested in
+# Store in the blacklist the host for each line, which is what we're interested in
 blacklist = []
-list['aede_urls'].each do |url|
+list['hosts'].each do |url|
   blacklisted_url = UrlNormalizer.normalize_feed_url(url).downcase
   blacklisted_host = Addressable::URI.parse(blacklisted_url).host
   blacklist << blacklisted_host
diff --git a/config/locales/en.yml b/config/locales/en.yml
index 44fdbb9fa..80285639a 100644
--- a/config/locales/en.yml
+++ b/config/locales/en.yml
@@ -167,7 +167,7 @@ en:
       success_subscribing: "Feed subscribed successfully."
       problem_subscribing: "Could not add subscription."
       problem_unsubscribing: "There has been a problem unsubscribing from the feed. Please try again later."
-      blacklisted_url: "Subscribing to a feed associated with AEDE (spanish newspaper publishers association) is not allowed"
+      blacklisted_url: "This domain is in the domain blacklist. Subscribing to a feed in this domain is not allowed."
       success_move_to_folder: "Feed moved to a different folder"
       success_remove_from_folder: "Feed removed from folder"
       success_move_to_new_folder: "Feed moved to a new folder"
diff --git a/config/locales/es.yml b/config/locales/es.yml
index 1518285aa..ac8f4cb78 100644
--- a/config/locales/es.yml
+++ b/config/locales/es.yml
@@ -146,7 +146,7 @@ es:
       success_subscribing: "Feed suscrito con éxito."
       problem_subscribing: "No se ha podido añadir la suscripción."
       problem_unsubscribing: "Ha habido un problema anulando la suscripción. Por favor inténtelo de nuevo más tarde."
-      blacklisted_url: "No está permitido suscribirse a un feed asociado con AEDE (asociación de editores de prensa españoles)"
+      blacklisted_url: "Este dominio está en la lista de dominios vetados. No está permitido suscribirse a un feed en este dominio."
       success_move_to_folder: "Feed movido a una carpeta distinta"
       success_remove_from_folder: "Feed retirado de la carpeta"
       success_move_to_new_folder: "Feed movido a una nueva carpeta"
diff --git a/config/url_blacklist.yml b/config/url_blacklist.yml
deleted file mode 100644
index 48dc8f59d..000000000
--- a/config/url_blacklist.yml
+++ /dev/null
@@ -1,478 +0,0 @@
-# URLs of websites owned by members of the AEDE association from Spain.
-# We refuse to aggregate content from them for legal reasons.
-aede_urls:
-#Grupo Prisa:
-  - adnradio.cl
-  - alamah.com.mx
-  - alfaguara.com
-  - alfaguarainfantilyjuvenil.com
-  - as.com
-  - avaliaeducacional.com.br
-  - besame.co.cr
-  - besame.fm
-  - cadenadial.com
-  - cadenaser.com
-  - caracol.com.co
-  - caracol1260.com
-  - cincodias.com
-  - cinemania.es
-  - colorincolorradio.com
-  - concierto.cl
-  - continental.com.ar
-  - corazon.cl
-  - dalealplay.com
-  - e-vocacion.es
-  - editoraid.com.br
-  - editorialaltea.com.mx
-  - editorialtaurus.com
-  - edusfera.es
-  - elboomeran.com
-  - elpais.com
-  - elpaisaguilar.es
-  - fmdos.cl
-  - fundacionsantillana.com
-  - futuro.cl
-  - glrnetworks.com
-  - gruposantillanaclientes.es
-  - gruposantillanapr.com
-  - hjck.com
-  - huffingtonpost.es
-  - iarc.cl
-  - ineverycrea.net
-  - iol.pt
-  - kebuena.com.mx
-  - lavallenata.com
-  - librosaguilar.com
-  - librosalfaguarainfantil.com
-  - librosalfaguarajuvenil.com
-  - los40.com
-  - m80radio.com
-  - maxima.fm
-  - mediacapital.pt
-  - meristation.com
-  - moderna.com.br
-  - objetiva.com.br
-  - onstage.es
-  - oxigeno.fm
-  - pasionmanderley.com
-  - planeo.pt
-  - planetevents.es
-  - pluralent.com
-  - pluralportugal.pt
-  - plus.es
-  - prisa.com
-  - prisabs.com
-  - prisaediciones.com
-  - prisaediciones.com/cas
-  - prisanoticias.com
-  - prisaradio.com
-  - prisarevistas.com
-  - prisatv.com
-  - pudahuel.cl
-  - puntodelectura.com
-  - pupitreapp.com
-  - radioacktiva.com
-  - radioactiva.cl
-  - radioimagina.cl
-  - radiole.com
-  - radiopanama.com.pa
-  - richmondelt.com
-  - rlm.es
-  - rockandpop.cl
-  - rollingstone.es
-  - santillana.co.cr
-  - santillana.com
-  - santillana.com.ar
-  - santillana.com.bo
-  - santillana.com.co
-  - santillana.com.do
-  - santillana.com.ec
-  - santillana.com.gt
-  - santillana.com.hn
-  - santillana.com.mx
-  - santillana.com.pa
-  - santillana.com.pe
-  - santillana.com.py
-  - santillana.com.sv
-  - santillana.com.uy
-  - santillana.com.ve
-  - santillana.es
-  - santillana.pt
-  - santillana.twig-world.es
-  - santillanacompartir.cl
-  - santillanacompartir.co.cr
-  - santillanacompartir.com
-  - santillanacompartir.com.ar
-  - santillanacompartir.com.co
-  - santillanacompartir.com.ec
-  - santillanacompartir.com.gt
-  - santillanacompartir.com.hn
-  - santillanacompartir.com.mx
-  - santillanacompartir.com.sv
-  - santillanaele.com
-  - santillanafrancais.com
-  - santillanausa.com
-  - sistemauno.com
-  - sumadeletras.com
-  - surnoticias.cl
-  - tareasymas.es
-  - tropicanafm.com
-  - vacacionessantillana.es
-  - wradio.com.co
-  - wradio.com.mx
-  - wradio690.com
-  - xeqradio.mx
-#Unidad editorial:
-  - 13tv.es
-  - actualidadeconomica.es
-  - conferenciasyformacion.com
-  - correofarmaceutico.com
-  - descubrirelarte.es
-  - detiendasporelmundo.es
-  - diariomedico.com
-  - dmedicina.com
-  - elcultural.es
-  - elmundo.es
-  - escuelaunidadeditorial.es
-  - esferalibros.com
-  - estadiodeportivo.com
-  - expansion.com
-  - expansionyempleo.com
-  - globaliza.com
-  - ign.com
-  - lastlap.com
-  - logintegral.com
-  - marca.com
-  - marcamotor.com
-  - marcamotoranuncios.com
-  - metropoli.com
-  - ocholeguas.com
-  - orbyt.es
-  - orbytsmarttv.es
-  - telva.com
-  - tiramillas.net
-  - unidadeditorial.com
-  - unidadeditorial.es
-  - veo.es
-#Grupo Godó:
-  - 8tv.cat
-  - clasificados.es
-  - grupogodo.com
-  - grupogodo.net
-  - lavanguardia.com
-  - mgmagazine.es
-  - mundodeportivo.com
-  - playboy.es
-  - prismapublicaciones.com
-  - publipressmedia.com
-  - rac1.org
-  - rac105.cat
-  - yaencontre.com
-#Vocento:
-  - 11870.com
-  - abc.es
-  - autocasion.com
-  - avanzaentucarrera.com
-  - bocaboca.com
-  - cadena100.es
-  - colpisa.com
-  - cope.es
-  - diariosur.es
-  - diariovasco.com
-  - elcomercio.es
-  - elcorreo.com
-  - eldiariomontanes.es
-  - elnortedecastilla.es
-  - europroduzione.com
-  - finanzas.com
-  - hillvalley.es
-  - hoy.es
-  - ideal.es
-  - infoempleo.com
-  - kioskoymas.com
-  - larioja.com
-  - lasprovincias.es
-  - laverdad.es
-  - lavozdigital.es
-  - megastar.fm
-  - mujerhoy.com
-  - nettv.es
-  - pisos.com
-  - rockfm.fm
-  - tusanuncios.com
-  - veralia.com
-  - vocento.com
-#Grupo Zeta:
-  - autohebdosport.es
-  - cuorestilo.com
-  - diariocordoba.com
-  - diariolagrada.com
-  - dicom-medios.com
-  - digitalcamera.es
-  - edicionesb.com
-  - elperiodico.com
-  - elperiodicodearagon.com
-  - elperiodicoextremadura.com
-  - elperiodicomediterraneo.com
-  - grupozeta.es
-  - interviu.es
-  - lacronicabadajoz.com
-  - mortadeloyfilemon.com
-  - primeralinea.es
-  - redaragon.com
-  - redextremadura.com
-  - revistacuore.com
-  - sport.es
-  - tiempodehoy.com
-  - woman.es
-  - zetagestion.com
-#Grupo Planeta:
-  - 10-18.fr
-  - 12-21editions.fr
-  - a3eventos.es
-  - academiadeinteligencia.com.br
-  - antena3.com
-  - arrobabooks.com
-  - atresmediapublicidad.com
-  - atresplayer.com
-  - belfond.fr
-  - casadellibro.com
-  - ceac.es
-  - chemin-vert-editions.com
-  - circulo.es
-  - cle-inter.com
-  - deaplaneta.com
-  - deustoformacion.com
-  - deustosalud.com
-  - dvdgo.com
-  - eae.es
-  - editions-acropole.com
-  - editions-bordas.fr
-  - editions-perrin.fr
-  - editions-retz.com
-  - editionsfirst.fr
-  - editionsladecouverte.fr
-  - editis.com
-  - editorialplaneta.cl
-  - editorialplaneta.com.uy
-  - edpeditores.com
-  - englishtoday.es
-  - europafm.com
-  - factoriaprisma.com
-  - fleuve-editions.fr
-  - grund.fr
-  - grup62.cat
-  - grupoplanetavenezuela.blogspot.com.es
-  - harvard-deusto.com
-  - hemma.be
-  - home.es
-  - horscollection.com
-  - interforum.fr
-  - kurokawa.fr
-  - laffont.fr
-  - lanetro.com
-  - langueauchat.be
-  - larazon.es
-  - lasexta.com
-  - laudeo.com
-  - lerobert.com
-  - lesescales.fr
-  - lonelyplanet.es
-  - lonelyplanet.fr
-  - melodia-fm.com
-  - nathan.fr
-  - nubeox.com
-  - nubico.es
-  - obs-edu.com
-  - omnibus.tm.fr
-  - ondacero.es
-  - paraschool.com
-  - placedesediteurs.com
-  - planeta-junior.com
-  - planeta.es
-  - planeta.pt
-  - planetadeagostini.es
-  - planetadelibros.com
-  - planetadelibros.com.mx
-  - planetadelivros.com.br
-  - planetadirecto.com
-  - planetasaber.com
-  - plon.fr
-  - pocket.fr
-  - pocketjeunesse.fr
-  - pressesdelacite.com
-  - prismapublicaciones.com
-  - publishers-square.com
-  - shopo.tv
-  - solar.fr
-  - sonatine-editions.fr
-  - superpadres.com
-  - tiendarealmadrid.com
-  - ulisesinteractive.com
-  - unibarcelona.com
-  - viu.es
-  - xoeditions.com
-#Grupo Voz:
-  - canalvoz.com
-  - escuelademedios.com
-  - fundacionsantiagoreyfernandezlatorre.com
-  - lavozdegalicia.com
-  - lavozdegalicia.es
-  - prensaescuela.es
-  - radiovoz.com
-  - sondaxe.es
-  - vozaudiovisual.es
-  - voznatura.com
-  - vtelevision.es
-#Editorial Prensa Ibérica:
-  - agaprint.com
-  - agmprint.com
-  - albaeditorial.es
-  - allisonandbusby.com
-  - clubinformacion.com
-  - diaridegirona.cat
-  - diariodeibiza.es
-  - diariodemallorca.es
-  - diarioinformacion.com
-  - distribucionespapiro.com
-  - emporda.info
-  - epi.es
-  - estadiodeportivo.com
-  - farodevigo.es
-  - imprintsa.com
-  - informaciontv.es
-  - la-provincia.com
-  - la977.com
-  - laopinion.es
-  - laopinioncoruna.es
-  - laopiniondemalaga.es
-  - laopiniondemurcia.es
-  - laopiniondezamora.es
-  - laprovincia.es
-  - lavanguardia.com
-  - levante-emv.com
-  - levantetv.es
-  - lne.es
-  - mallorcazeitung.es
-  - radio-canarias.es
-  - radiodiarioibiza.es
-  - regio7.cat
-  - renr.es
-  - superdeporte.es
-  - totaldis.com
-  - tribunadegirona.com
-  - valdisme.es
-  - vilarroya.com
-#Grupo Heraldo:
-  - 3tcontrol.com
-  - distridasa.com
-  - factoriaplural.es
-  - gabesa.es
-  - grupoheraldo.com
-  - heraldo.es
-  - heraldodesoria.es
-  - hiberus.com
-  - impresanorte.es
-  - methagestion.es
-  - ztv.es
-#Grupo La información:
-  - brandok.es
-  - chofert.com
-  - conocernavarra.com
-  - definde.com
-  - diariodenavarra.es
-  - dnclasificados.com
-  - egn.es
-  - funtasticclub.es
-  - kinetical.com
-  - lainformacion.es
-  - mynews.es
-  - redcomiendo.com
-#Grupo Serra:
-  - clubdelsuscriptor.com
-  - dbalears.cat
-  - flaixmallorca.com
-  - gruposerra.com
-  - luxmallorca.tv
-  - majorcadailybulletin.com
-  - mallorcamagazin.com
-  - menorca.info
-  - novatelevisio.com
-  - ofertasenmallorca.com
-  - periodicodeibiza.es
-  - setmanarisoller.cat
-  - ultimahora.es
-  - ultimahoraclasificados.com
-  - ultimahoraradio.es
-  - uponthewall.es
-  - vestimallorca.com
-#Grupo Joly:
-  - diariodecadiz.es
-  - diariodejerez.es
-  - diariodesevilla.es
-  - elalmeria.es
-  - eldiadecordoba.es
-  - europasur.es
-  - granadahoy.com
-  - grupojoly.com
-  - huelvainformacion.es
-  - malagahoy.es
-#Grupo Noticias:
-  - deia.com
-  - noticiasdealava.com
-  - noticiasdegipuzkoa.com
-  - noticiasdenavarra.com
-#Grupo Promecal:
-  - agenciaical.es
-  - cerescg.com
-  - diariodeavila.es
-  - diariodeburgos.es
-  - diariopalentino.es
-  - eladelantado.com
-  - eldiadevalladolid.com
-  - latribunadealbacete.es
-  - latribunadeciudadreal.es
-  - latribunadecuenca.es
-  - latribunadetoledo.es
-  - natv.es
-  - promecal.es
-  - revistaosaca.com
-  - rtvcyl.es
-  - serviciosdeprensa.com
-  - tallerdeimpresion.com
-  - viveradio.es
-#Editorial EcoPrensa:
-  - economiahoy.mx
-  - editorialecoprensa.es
-  - eleconomista.es
-  - eleconomistaamerica.cl
-  - eleconomistaamerica.co
-  - eleconomistaamerica.com
-  - eleconomistaamerica.com.ar
-  - eleconomistaamerica.com.br
-  - eleconomistaamerica.pe
-#Grupo El Progreso:
-  - axencia.com
-  - galiciae.com
-  - lugopress.com
-  - telelugo.tv
-#Edigrup Media:
-  - castillayleonesradio.es
-  - diariodeleon.es
-  - diariodesoria.es
-  - diariodevalladolid.es
-  - edigrup.es
-  - elcorreodeburgos.com
-#Others:
-  - aede.es
-  - canarias7.es
-  - cm2000.es
-  - diaridetarragona.com
-  - diarideterrassa.es
-  - diariodelaltoaragon.es
-  - diariojaen.es
-  - eladelantado.com
-  - eladelantado.tv
-  - elcorreoweb.es
-  - lagacetadesalamanca.es
-  - lavozdealmeria.es