Merge 2e816e1 into 1e220c4

docs/spiders.rst

@@ -680,12 +680,19 @@ Malta
 Mexico
 ------
 
-.. autoclass:: kingfisher_scrapy.spiders.mexico_administracion_publica_federal.MexicoAdministracionPublicaFederal
+.. autoclass:: kingfisher_scrapy.spiders.mexico_administracion_publica_federal_api.MexicoAdministracionPublicaFederalAPI
    :no-members:
 
 .. code-block:: bash
 
-   scrapy crawl mexico_administracion_publica_federal
+   scrapy crawl mexico_administracion_publica_federal_api
+
+.. autoclass:: kingfisher_scrapy.spiders.mexico_administracion_publica_federal_bulk.MexicoAdministracionPublicaFederalBulk
+   :no-members:
+
+.. code-block:: bash
+
+   scrapy crawl mexico_administracion_publica_federal_bulk
 
 .. autoclass:: kingfisher_scrapy.spiders.mexico_grupo_aeroporto.MexicoGrupoAeroporto
    :no-members:

kingfisher_scrapy/spiders/mexico_administracion_publica_federal.py → kingfisher_scrapy/spiders/mexico_administracion_publica_federal_api.py

@@ -4,14 +4,15 @@
 from kingfisher_scrapy.util import parameters
 
 
-class MexicoAdministracionPublicaFederal(IndexSpider):
+class MexicoAdministracionPublicaFederalAPI(IndexSpider):
     """
     Domain
-      Administración Pública Federal (APF)
-    Bulk download documentation
-      https://datos.gob.mx/busca/dataset/concentrado-de-contrataciones-abiertas-de-la-apf
+      Administración Pública Federal (APF): Secretaria de la Función Pública (SFP) - Secretaría de Hacienda y Crédito
+      Público (SHCP)
+    API documentation
+      https://www.datos.gob.mx/busca/dataset/api-de-contrataciones-abiertas-de-la-apf
     """
-    name = 'mexico_administracion_publica_federal'
+    name = 'mexico_administracion_publica_federal_api'
 
     # BaseSpider
     root_path = 'results.item'
@@ -26,5 +27,5 @@ class MexicoAdministracionPublicaFederal(IndexSpider):
     formatter = staticmethod(parameters('page'))
 
     def start_requests(self):
-        url = 'https://api.datos.gob.mx/v1/contratacionesabiertas'
+        url = 'https://api.datos.gob.mx/v2/contratacionesabiertas'
         yield scrapy.Request(url, meta={'file_name': 'page-1.json'}, callback=self.parse_list)

kingfisher_scrapy/spiders/mexico_administracion_publica_federal_bulk.py

@@ -0,0 +1,36 @@
+import scrapy
+
+from kingfisher_scrapy.base_spider import CompressedFileSpider
+from kingfisher_scrapy.util import components, handle_http_error
+
+
+class MexicoAdministracionPublicaFederalBulk(CompressedFileSpider):
+    """
+    Domain
+      Administración Pública Federal (APF): Secretaría de Hacienda y Crédito Público (SHCP)
+    Bulk download documentation
+      https://datos.gob.mx/busca/dataset/concentrado-de-contrataciones-abiertas-de-la-apf
+    """
+    name = 'mexico_administracion_publica_federal_bulk'
+
+    # BaseSpider
+    root_path = 'item'
+
+    # SimpleSpider
+    data_type = 'release'
+
+    def start_requests(self):
+        yield scrapy.Request(
+            'https://datos.gob.mx/busca/api/3/action/package_search?q=concentrado-de-contrataciones-abiertas-de-la'
+            '-apf',
+            meta={'file_name': 'list.json'},
+            callback=self.parse_list
+        )
+
+    @handle_http_error
+    def parse_list(self, response):
+        data = response.json()
+        for result in data['result']['results']:
+            for resource in result['resources']:
+                if resource['name'].endswith('JSON.') and resource['format'].upper() == 'JSON':
+                    yield self.build_request(resource['url'], formatter=components(-1))

kingfisher_scrapy/spiders/mexico_plataforma_digital_nacional.py

@@ -5,7 +5,6 @@
 
 
 class MexicoPlataformaDigitalNacional(CompressedFileSpider):
-
     """
     Domain
       Plataforma Digital Nacional