Merge 5b0c9ec into be686d4

kingfisher_scrapy/spiders/mexico_administracion_publica_federal.py → kingfisher_scrapy/spiders/mexico_apf_api.py

@@ -4,14 +4,13 @@
 from kingfisher_scrapy.util import parameters
 
 
-class MexicoAdministracionPublicaFederal(IndexSpider):
+class MexicoAPFAPI(IndexSpider):
     """
     Domain
-      Administración Pública Federal (APF)
-    Bulk download documentation
-      https://datos.gob.mx/busca/dataset/concentrado-de-contrataciones-abiertas-de-la-apf
+      Administración Pública Federal (APF) - Secretaria de la Función Pública (SFP) - Secretaría de Hacienda y Crédito
+      Público (SHCP)
     """
-    name = 'mexico_administracion_publica_federal'
+    name = 'mexico_apf_api'
 
     # BaseSpider
     root_path = 'results.item'

kingfisher_scrapy/spiders/mexico_apf_bulk.py

@@ -0,0 +1,23 @@
+from kingfisher_scrapy.base_spider import CompressedFileSpider
+from kingfisher_scrapy.util import components
+
+
+class MexicoAPFBulk(CompressedFileSpider):
+    """
+    Domain
+      Administración Pública Federal (APF) - Secretaria de la Función Pública (SFP) - Secretaría de Hacienda y Crédito
+      Público (SHCP)
+    Bulk download documentation
+      https://datos.gob.mx/busca/dataset/concentrado-de-contrataciones-abiertas-de-la-apf
+    """
+    name = 'mexico_apf_bulk'
+
+    # BaseSpider
+    root_path = 'item'
+
+    # CompressedFileSpider
+    data_type = 'release'
+
+    def start_requests(self):
+        url = 'https://compranetinfo.hacienda.gob.mx/dabiertos/contrataciones_arr.json.zip'
+        yield self.build_request(url, formatter=components(-1))

kingfisher_scrapy/spiders/mexico_apf_shcp_bulk.py

@@ -0,0 +1,34 @@
+import scrapy
+
+from kingfisher_scrapy.base_spider import CompressedFileSpider
+from kingfisher_scrapy.util import components, handle_http_error
+
+
+class MexicoAPFSHCPBulk(CompressedFileSpider):
+    """
+    Domain
+      Administración Pública Federal (APF) - Secretaría de Hacienda y Crédito Público (SHCP)
+    Bulk download documentation
+      https://datos.gob.mx/busca/dataset/concentrado-de-contrataciones-abiertas-de-la-apf-shcp
+    """
+    name = 'mexico_apf_shcp_bulk'
+
+    # BaseSpider
+    root_path = 'item'
+
+    # CompressedFileSpider
+    data_type = 'release'
+
+    def start_requests(self):
+        yield scrapy.Request(
+            'https://drive.google.com/uc?id=1dHsnijrC_IQyGn0eY4ZzFwDLiJ-8kpS3',
+            meta={'file_name': 'confirmation.html'},
+            callback=self.parse_list
+        )
+
+    @handle_http_error
+    def parse_list(self, response):
+        url = response.xpath('//a[@id="uc-download-link"]/@href').get()
+        yield self.build_request(url=f'https://drive.google.com{url}',
+                                 formatter=components(-1),
+                                 meta={'file_name': 'contrataciones.zip'})

kingfisher_scrapy/spiders/mexico_plataforma_digital_nacional.py

@@ -5,7 +5,6 @@
 
 
 class MexicoPlataformaDigitalNacional(CompressedFileSpider):
-
     """
     Domain
       Plataforma Digital Nacional