Compléter /operations/serie/{id} avec les champs descriptifs

[ChristopheYon]

Contrairement au endpoint /operations/serie/{idSeries} de Metadata, le endpoint /operations/serie/{id} de Magma(-fusion) ne renvoie pas tous les champs décrivant la série.
Il faudrait ajouter les champs resume, noteHistorique, organismesResponsables ainsi que les séries liées diverses : seriesPrecedentes, seriesSuivantes et references.
De plus si la série possède un Sims en propre, il faudrait ajouter son URI (voire son ID)

[GtanSndil]

@ChristopheYon
pour ce end-point c'est la requête de Metadata-API getSeriesByIdQuery.ftlh qui est utilisée. Pourrais-tu la revoir pour ajouter ce qui manque ?
Je suppose que :

• noteHistorique correspond à seriesHistoryNoteLg1 et seriesHistoryNoteLg2 en sortie de cette requête
• il faut ajouter des éléments pour construire resume et organismesResponsables
• il y a simsId en sortie, il faut ajouter une variable simsUri à construire
  Si on part de la requête de Magma, c'est getSerieById.ftlh

[ChristopheYon]

@GtanSndil
C'est bien la requête de Metadata-API qui est la plus proche (forcément, puisque c'est pour remettre des champs qui étaient dans Metadata, d'ailleurs pour le résumé, c'est seriesAbstract).
Mais pour remettre tout au carré avec tous les champs (y compris ceux qui ne seront que dans la version "gestion" du endepoint) et des OPTIONAL partout pour éviter le problèmes quand une donnée est absente (à tort ou à raison), je propose la requête suivante :

SELECT ?seriesId  ?series 
?seriesLabelLg1 ?seriesLabelLg2 ?seriesAltLabelLg1 ?seriesAltLabelLg2 
?seriesAbstractLg1 ?seriesAbstractLg2 ?seriesHistoryNoteLg1 ?seriesHistoryNoteLg2 
?type ?typeID ?typeLabelLg1 ?typeLabelLg2 
?periodicity ?periodicityId ?periodicityLabelLg1 ?periodicityLabelLg2 
?families 
?seeAlsoSeries ?previousSeries ?nextSeries 
?operations ?indicators 
?sims ?simsId 
?created ?modified 
?creators ?publishers ?contributors ?dataCollectors 
?validationState
WHERE {
	BIND('${idSeries}' AS ?seriesId)
	# NB: pour l'instant, les variables de langue ne sont pas reportées dans les sous-requêtes
	BIND('${LG1}' AS ?lg1)
	BIND('${LG2}' AS ?lg2)
	
	# Une série est une StatisticalOperationSeries
	?series a insee:StatisticalOperationSeries .
	# Pas de notation, donc filtre pourri pour sélectionner la bonne série
	FILTER(STRAFTER(STR(?series),'/operations/serie/') = ?seriesId)  
	
	#Infos sur la série elle-même (tout en OPTIONAL pour éviter les problèmes)
	#Labels
	OPTIONAL {?series skos:prefLabel ?seriesLabelLg1 . FILTER (lang(?seriesLabelLg1) = ?lg1)}
	OPTIONAL {?series skos:prefLabel ?seriesLabelLg2 . FILTER (lang(?seriesLabelLg2) = ?lg2)}
	#Alt labels
	OPTIONAL {?series skos:altLabel ?seriesAltLabelLg1 . FILTER (lang(?seriesAltLabelLg1) = ?lg1)}
	OPTIONAL {?series skos:altLabel ?seriesAltLabelLg2 . FILTER (lang(?seriesAltLabelLg2) = ?lg2)}
	#Abstract
	OPTIONAL {?series dcterms:abstract ?seriesAbstractLg1 . FILTER (lang(?seriesAbstractLg1) = ?lg1)}
	OPTIONAL {?series dcterms:abstract ?seriesAbstractLg2 . FILTER (lang(?seriesAbstractLg2) = ?lg2)}
	#HistoryNote
	OPTIONAL {?series skos:historyNote ?seriesHistoryNoteLg1 . FILTER (lang(?seriesHistoryNoteLg1) = ?lg1)}
	OPTIONAL {?series skos:historyNote ?seriesHistoryNoteLg2 . FILTER (lang(?seriesHistoryNoteLg2) = ?lg2)}
	#Type
	OPTIONAL {
		?series dcterms:type ?type . 
		OPTIONAL {?type skos:notation ?typeID}
		OPTIONAL {?type skos:prefLabel ?typeLabelLg1 . FILTER (LANG(?typeLabelLg1) = ?lg1)}
		OPTIONAL {?type skos:prefLabel ?typeLabelLg2 . FILTER (LANG(?typeLabelLg2) = ?lg2)}
	} 
	#Periodicity
	OPTIONAL { 
		?series dcterms:accrualPeriodicity ?periodicity . 
		OPTIONAL {?periodicity skos:notation ?periodicityId}
		OPTIONAL{?periodicity skos:prefLabel ?periodicityLabelLg1 . FILTER (lang(?periodicityLabelLg1) = ?lg1)}
		OPTIONAL{?periodicity skos:prefLabel ?periodicityLabelLg2 . FILTER (lang(?periodicityLabelLg2) = ?lg2)}
	}
	
	# Autres objets liés à la série
	#Famille
	OPTIONAL {
		SELECT DISTINCT ?series (CONCAT(STR(?familyId), '$', STR(?family), '$', COALESCE(?familyLabelLg1, ''), '$', COALESCE(?familyLabelLg2, '')) AS ?families)
		WHERE {
			?family a insee:StatisticalOperationFamily ; (dcterms:hasPart|^dcterms:isPartOf) ?series .
			BIND(STRAFTER(STR(?family),'/operations/famille/') AS ?familyId ) .
			OPTIONAL {?family skos:prefLabel ?familyLabelLg1 . FILTER (lang(?familyLabelLg1) = '${LG1}')}
			OPTIONAL {?family skos:prefLabel ?familyLabelLg2 . FILTER (lang(?familyLabelLg2) = '${LG2}')}
		}
	}
	#Séries voir aussi
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(STR(?seeAlsoSerieId), '$', STR(?seeAlsoSerie), '$', COALESCE(?seeAlsoSerieLabelLg1, ''), '$', COALESCE(?seeAlsoSerieLabelLg2, '')) ; SEPARATOR='|') AS ?seeAlsoSeries)
		WHERE {
			?seeAlsoSerie a insee:StatisticalOperationSeries ; (^rdfs:seeAlso|rdfs:seeAlso) ?series .
			BIND(STRAFTER(STR(?seeAlsoSerie),'/operations/serie/') AS ?seeAlsoSerieId ) .
			OPTIONAL {?seeAlsoSerie skos:prefLabel ?seeAlsoSerieLabelLg1 . FILTER (lang(?seeAlsoSerieLabelLg1) = '${LG1}')}
			OPTIONAL {?seeAlsoSerie skos:prefLabel ?seeAlsoSerieLabelLg2 . FILTER (lang(?seeAlsoSerieLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	#Séries précédents
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(STR(?previousSerieId), '$', STR(?previousSerie), '$', COALESCE(?previousSerieLabelLg1, ''), '$', COALESCE(?previousSerieLabelLg2, '')) ; SEPARATOR='|') AS ?previousSeries)
		WHERE {
			?previousSerie a insee:StatisticalOperationSeries ; (^dcterms:replaces|dcterms:isReplacedBy) ?series .
			BIND(STRAFTER(STR(?previousSerie),'/operations/serie/') AS ?previousSerieId ) .
			OPTIONAL {?previousSerie skos:prefLabel ?previousSerieLabelLg1 . FILTER (lang(?previousSerieLabelLg1) = '${LG1}')}
			OPTIONAL {?previousSerie skos:prefLabel ?previousSerieLabelLg2 . FILTER (lang(?previousSerieLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	#Séries suivantes
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(STR(?nextSerieId), '$', STR(?nextSerie), '$', COALESCE(?nextSerieLabelLg1, ''), '$', COALESCE(?nextSerieLabelLg2, '')) ; SEPARATOR='|') AS ?nextSeries)
		WHERE {
			?nextSerie a insee:StatisticalOperationSeries ; (dcterms:replaces|^dcterms:isReplacedBy) ?series .
			BIND(STRAFTER(STR(?nextSerie),'/operations/serie/') AS ?nextSerieId ) .
			OPTIONAL {?nextSerie skos:prefLabel ?nextSerieLabelLg1 . FILTER (lang(?nextSerieLabelLg1) = '${LG1}')}
			OPTIONAL {?nextSerie skos:prefLabel ?nextSerieLabelLg2 . FILTER (lang(?nextSerieLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	#Opérations
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(STR(?operationId), '$', STR(?operation), '$', COALESCE(?operationLabelLg1, ''), '$', COALESCE(?operationLabelLg2, '')) ; SEPARATOR='|') AS ?operations)
		WHERE {
			?operation a insee:StatisticalOperation ; (^dcterms:hasPart|dcterms:isPartOf) ?series .
			BIND(STRAFTER(STR(?operation),'/operations/operation/') AS ?operationId ) .
			OPTIONAL {?operation skos:prefLabel ?operationLabelLg1 . FILTER (lang(?operationLabelLg1) = '${LG1}')}
			OPTIONAL {?operation skos:prefLabel ?operationLabelLg2 . FILTER (lang(?operationLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	#Indicateurs
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(STR(?indicatorId), '$', STR(?indicator), '$', COALESCE(?indicatorLabelLg1, ''), '$', COALESCE(?indicatorLabelLg2, '')) ; SEPARATOR='|') AS ?indicators)
		WHERE {
			?indicator a insee:StatisticalIndicator ; prov:wasGeneratedBy ?series .
			BIND(STRAFTER(STR(?indicator),'/produits/indicateur/') AS ?indicatorId ) .
			OPTIONAL {?indicator skos:prefLabel ?indicatorLabelLg1 . FILTER (lang(?indicatorLabelLg1) = '${LG1}')}
			OPTIONAL {?indicator skos:prefLabel ?indicatorLabelLg2 . FILTER (lang(?indicatorLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	#Sims
	OPTIONAL {
		?sims a sdmx-mm:MetadataReport; sdmx-mm:target ?series .
		BIND(STRAFTER(STR(?sims),'/qualite/rapport/') AS ?simsId)
	}


	# Informations de gestion
	# Dates
	OPTIONAL {?series dcterms:created ?created}
	OPTIONAL {?series dcterms:modified ?modified}
	
	# Agents
	# Creator
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(COALESCE(?creatorId, ''), '$', STR(?creator), '$', COALESCE(?creatorLabelLg1, ''), '$', COALESCE(?creatorLabelLg2, '')) ; SEPARATOR='|') AS ?creators)
		WHERE {
			?creator a org:Organization ; ^dc:creator ?series .
			OPTIONAL{?creator dct:identifier ?creatorId}
			OPTIONAL {?creator skos:prefLabel ?creatorLabelLg1 . FILTER (lang(?creatorLabelLg1) = '${LG1}')}
			OPTIONAL {?creator skos:prefLabel ?creatorLabelLg2 . FILTER (lang(?creatorLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	# Publisher
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(COALESCE(?publisherId, ''), '$', STR(?publisher), '$', COALESCE(?publisherLabelLg1, ''), '$', COALESCE(?publisherLabelLg2, '')) ; SEPARATOR='|') AS ?publishers)
		WHERE {
			?publisher a org:Organization ; ^dcterms:publisher ?series .
			OPTIONAL{?publisher dct:identifier ?publisherId}
			OPTIONAL {?publisher skos:prefLabel ?publisherLabelLg1 . FILTER (lang(?publisherLabelLg1) = '${LG1}')}
			OPTIONAL {?publisher skos:prefLabel ?publisherLabelLg2 . FILTER (lang(?publisherLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	# Contributor
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(COALESCE(?contributorId, ''), '$', STR(?contributor), '$', COALESCE(?contributorLabelLg1, ''), '$', COALESCE(?contributorLabelLg2, '')) ; SEPARATOR='|') AS ?contributors)
		WHERE {
			?contributor a org:Organization ; ^dcterms:contributor ?series .
			OPTIONAL{?contributor dct:identifier ?contributorId}
			OPTIONAL {?contributor skos:prefLabel ?contributorLabelLg1 . FILTER (lang(?contributorLabelLg1) = '${LG1}')}
			OPTIONAL {?contributor skos:prefLabel ?contributorLabelLg2 . FILTER (lang(?contributorLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	# Data collector
	OPTIONAL {
		SELECT ?series (GROUP_CONCAT(DISTINCT CONCAT(COALESCE(?dataCollectorId, ''), '$', STR(?dataCollector), '$', COALESCE(?dataCollectorLabelLg1, ''), '$', COALESCE(?dataCollectorLabelLg2, '')) ; SEPARATOR='|') AS ?dataCollectors)
		WHERE {
			?dataCollector a org:Organization ; ^insee:dataCollector ?series .
			OPTIONAL{?dataCollector dct:identifier ?dataCollectorId}
			OPTIONAL {?dataCollector skos:prefLabel ?dataCollectorLabelLg1 . FILTER (lang(?dataCollectorLabelLg1) = '${LG1}')}
			OPTIONAL {?dataCollector skos:prefLabel ?dataCollectorLabelLg2 . FILTER (lang(?dataCollectorLabelLg2) = '${LG2}')}
		}
		GROUP BY ?series
	}
	
	# Statut
	OPTIONAL {?series insee:validationState ?validationState}
}

ou (comme dans Magma), idSeries est l'identifiant de la série (passée en paramètre du endpoint).

Cela doit permettre de renvoyer la réponse json suivante :

{
  "seriesId": "?seriesId",
  "uri": "?series",
  "label": [
    {
      "contenu": "?seriesLabelLg1",
      "langue": "?lg1"
    },
    {
      "contenu": "?seriesLabelLg2",
      "langue": "?lg2"
    }
  ],
  "altLabel": [
    {
      "contenu": "?seriesAltLabelLg1",
      "langue": "?lg1"
    },
    {
      "contenu": "?seriesAltLabelLg2",
      "langue": "?lg2"
    }
  ],
  "resume": [
    {
      "contenu": "?seriesAbstractLg1",
      "langue": "?lg1"
    },
    {
      "contenu": "seriesAbstractLg2",
      "langue": "?lg2"
    }
  ],
  "noteHistorique": [
    {
      "contenu": "?seriesHistoryNoteLg1",
      "langue": "?lg1"
    },
    {
      "contenu": "?seriesHistoryNoteLg2",
      "langue": "?lg2"
    }
  ],
  "type": {
    "id": "?typeID",
    "uri": "?type",
    "label": [
      {
        "contenu": "?typeLabelLg1",
        "langue": "?lg1"
      },
      {
        "contenu": "?typeLabelLg2",
        "langue": "?lg2"
      }
    ]
  },
  "frequenceCollecte": {
    "id": "?periodicityId",
    "uri": "?periodicity",
    "label": [
      {
        "contenu": "?periodicityLabelLg1",
        "langue": "?lg1"
      },
      {
        "contenu": "?periodicityLabelLg2",
        "langue": "?lg2"
      }
    ]
  },
  "rapportQualite": {
    "id": "?simsId",
    "uri": "?sims"
  },
  "famille": {
    "id": "?families[1]",
    "uri": "?families[2]", 
    "label": [
      {
        "contenu": "?families[3]",
        "langue": "?lg1"
      },
      {
        "contenu": "?families[4]",
        "langue": "?lg2"
      }
    ]
  },
  "seriesPrecedentes": [
    {
      "id": "?previousSeries[1]",
      "uri": "?previousSeries[2]", 
      "label": [
        {
          "contenu": "?previousSeries[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?previousSeries[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "seriesSuivantes": [
    {
      "id": "?nextSeries[1]",
      "uri": "?nextSeries[2]", 
      "label": [
        {
          "contenu": "?nextSeries[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?nextSeries[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "seriesLiees": [
    {
      "id": "?seeAlsoSeries[1]",
      "uri": "?seeAlsoSeries[2]", 
      "label": [
        {
          "contenu": "?seeAlsoSeriesseeAlsoSeries[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?seeAlsoSeries[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "operations": [
    {
      "id": "?operations[1]",
      "uri": "?operations[2]", 
      "label": [
        {
          "contenu": "?operations[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?operations[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "indicateurs": [
    {
      "id": "?indicators[1]",
      "uri": "?indicators[2]", 
      "label": [
        {
          "contenu": "?indicators[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?indicators[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "dateCreation": "?created", 
  "dateMiseAJour": "?modified",
  "proprietaires": [
    {
      "id": "?creators[1]",
      "uri": "?creators[2]",
      "label": [
        {
          "contenu": "?creators[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?creators[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "organismesResponsables": [
    {
      "id": "?publishers[1]",
      "uri": "?publishers[2]",
      "label": [
        {
          "contenu": "?publishers[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?publishers[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "partenaires": [
    {
      "id": "?contributors[1]",
      "uri": "?contributors[2]",
      "label": [
        {
          "contenu": "?contributors[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?contributors[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "servicesCollecteurs": [
    {
      "id": "?dataCollectors[1]",
      "uri": "?dataCollectors[2]",
      "label": [
        {
          "contenu": "?dataCollectors[3]",
          "langue": "?lg1"
        },
        {
          "contenu": "?dataCollectors[4]",
          "langue": "?lg2"
        }
      ]
    }
  ],
  "statutValidation": "?validationState"
}

Où comme d'habitude tous les champs vide sont absents (on n'a pas toujours toutes les séries liées, ou pas d'opération, ou pas de Sims....).
Dans l'exemple, toutes les valeurs correspondent aux noms des champs renvoyés par la requête proposée.

Outre le fait d'essayer d'écrire la requête le plus proprement possible (même manière d'écrire les accès aux ressources semblables) et d'essayer de la rendre la plus résiliente possible (des OPTIONAL partout), j'ai aussi fait un choix qui peut se questionner tant en termes de performance que dans ce qu'il implique pour le traitement Java : j'ai choisi de faire une requête unique qui renvoie l'intégralité des informations nécessaires. Sauf que certaines sont des ressources liées (séries, opérations et indicateurs, mais aussi organisations) qui sont en nombre indéterminé (on renvoie un tableau [ ] dans le json). Pour cela, j'ai fait des sous requêtes avec des GROUP BY, et j'ai renvoyé une chaîne unique qui concatène tous les éléments de la liste (avec un pipe | comme séparateur) et qui concatène aussi les quatre valeurs décrivant un élément (id, uri, libellé langue 1, libellé langue 2 dans cet ordre), séparés par un dollar $. Dans l'exemple json, j'ai indexé pour indiquer quel élément utiliser (mais ça pouvait se déduire).
Ce choix a l'avantage de tout faire en une seule requête, mais a l'inconvénient de demander du traitement a posteriori : split de la chaîne pour faire la liste, puis split de chaque élément de la liste.

Dans Metadata, c'était fait différemment avec dans la requête principal une indicatrice pour dire si tel ou tel champ existe ou non, et d'autres requêtes pour aller chercher l'information. Cela oblige à avoir d'autres requêtes pour aller chercher ces informations liées, requêtes qui se ressemblerait un peu toutes puisqu'il faut aller chercher une ressource liée à la série, ses libellés en langue 1 et 2 et son id (qui n'est pas toujours accessible de la même manière), donc un truc du genre :

SELECT ?resource ?resourceId ?resourceLabelLg1 ?resourceLabelLg2
WHERE {
	?resource a ${resourceType} .
	<${serieURI}> ^${predicate} ?resource .
	<#if ${resourceType}='org:Organization'>
	OPTIONAL{?resource dct:identifier ?resourceId}
	<#else>
	BIND(STRAFTER(STR(?resource),'${uriString}') AS ?resourceId ) .
	</#if>
	OPTIONAL {?resource skos:prefLabel ?resourceLabelLg1 . FILTER (lang(?resourceLabelLg1) = '${LG1}')}
	OPTIONAL {?resource skos:prefLabel ?resourceLabelLg2 . FILTER (lang(?resourceLabelLg2) = '${LG2}')}
}

Le traitement Java est alors très différent (il faut regarder dans le résultat de la première requête si on doit aller chercher telle ou telle ressource liée, exécuter la requête et récupérer son résultat) : voir si c'est mieux que de faire un double découpage d'une chaîne de caractères.