Enhancement: Création automatique de measurements cve dans deming à partir de mercator

[oliboub]

Bonjour Didier,

Idée suite au message : #1636

### Périmètre: détections de CPE et génération automatique de plans d'actions dans deming

Contexte: besoin d'extraire de mercator suffisamment d'information pour permettre l'analyse

### Outils: mercator, deming, python, json, ollama, (potentiellement n8n)

besoin:

Depuis l'arrivée des requêtes, on peut compléter le rapport cve par le résultat d'une requête, comme par exemple "sur quel os fonctionne ce logiciel?".
Les informations CVSS peuvent être complétés par les "security_need_*", le "rto", le "rpo" et le "nombre de users"
Exemple de requête dans mercator:

FROM applications
FIELDS name, description, product, vendor, version, users, attributes, processes.name, processes.description, processes.owner, processes.activities.name, processes.macro_process.name, security_need_c, security_need_i, security_need_a, security_need_t, rto, rpo, logicalServers.name, logicalServers.operating_system, logicalServers.install_date, logicalServers.update_date
WHERE (
    attributes LIKE "%Logiciel%"
)
WITH logical_servers, processes
OUTPUT list
LIMIT 10

Proposition théorique de wokflow avec un modèle cloud sous LLM + RAG pour les fichiers.

Workflow:

flowchart TD
    subgraph "ordonnanceur (n8n)"
        ex1["extraction rapport: cve par <b>api</b>"]
        ex2["extraction requetes info logiciels, et os par api"]
        conv1["conversion .xslx en csv"]
        llm1["analyse ollama (chatgpt, ..) + RAG pour préparation action plan"]
        int1["Import dans deming via api"]

        doc1@{ shape: doc, label: "liste_logiciels.csv"}
        doc2@{ shape: doc, label: "cve-2026mmdd.csv"}
        doc3@{ shape: doc, label: "action_deming.json"}
        doc4@{ shape: doc, label: "Exemple rempli d'un json pour deming comme référence"}
        doc5@{ shape: lean-r, label: "prompt"}

        ex1:::ok --> conv1:::ok --> doc2:::okfile
        ex2:::nok --> doc1:::okfile
        doc5:::okfile --> llm1:::ok
        doc1 --> llm1
        doc2 --> llm1
        doc4:::okfile --> llm1
        llm1 --> doc3:::okfile
        doc3 --> int1:::ok
    end

    classDef ok stroke:#0f0
    classDef nok stroke:#f00
    classDef okfile fill:#ddd, stroke:#0f0

Loading

J'ai testé avec un prompt maison et ollama + model qwen3.5:397b-cloud
prompt_mercator_cpe.txt

et deux scripts python,

• 1. pour faire un dump de la base deming comme référence
• 2. pour faire un chargement dans deming, du fichier json généré par le prompt sur le même modèle que le dump

Mes questions

J'ai plusieurs questions:

• 1. Ll'export par api d'une requête n'est pas existant à ce jour. est-ce envisageable de prévoir un api du type queriesexec/id comme les rapports, mais en csv plutot que xlsx
• 2. Peut-on avoir directement les rapports en csv plutôt que xlsx? (optionnel)
• 3. Je suis preneur d'optimisation de la requête et du prompt ou autre idées. (optionnel)

Ce n'est pas urgent, juste des propositions. à voir si ça peut faire sens.
Bonne journée

Olivier

[dbarzin]

Mes questions

J'ai plusieurs questions:

* 1. L'export par api d'une requête n'est pas existant à ce jour. est-ce envisageable de prévoir un api du type **queriesexec/id**  comme les rapports, mais en csv plutot que xlsx

Je suppose que tu parles de l'exécution d'une requête via l'API sur base de l'ID de la requête.
C'est disponible en DEV via /api/queries/execute/{id}
Cela renvoie un CSV

* 2. Peut-on avoir directement les rapports en csv plutôt que xlsx?  _(optionnel)_

En cours, ce sera possible en ajoutant un paramètre format=csv à la requête.

* 3. Je suis preneur d'optimisation de la requête et du prompt  ou autre idées. _(optionnel)_

Je ne comprends pas ce point.

[oliboub]

Merci pour les réponses et les actions, je vais tester..
Pour le point 3: je ne connais pas particulièrement les contraintes cpe et cve, donc j'ai mis ma requête et mon prompt. Si quelqu'un a des idées pour ajouter des infos dedans et améliorer l'analyse, je suis preneur

Olivier

[oliboub]

Je viens d'essayer, ça marche super bien.
Incroyable.. merci
Olivier

[oliboub]

Je clôture, car exemple d'utilisation avec n8n dans discussion #2294

[dbarzin]

• 2. Peut-on avoir directement les rapports en csv plutôt que xlsx? (optionnel)

En cours, ce sera possible en ajoutant un paramètre format=csv à la requête.

Cette amélioration est disponible, les rapports qui génèrent une liste, acceptent comme argument "format=csv" pour générer le rapport au format CSV.

[oliboub]

👋 J'ai testé la nouvelle fonctionnalité d'export en CSV sur la branche dev (après un docker build --no-cache), mais j'ai l'impression que le paramètre n'est pas encore pris en compte par le contrôleur. Le serveur continue de m'envoyer du .xlsx.

Voici les différents essais que j'ai faits pour essayer de forcer le format :

Via le paramètre d'URL (le plus probable) :
curl "http://localhost:8081/api/report/cve?format=csv" -H "Authorization: Bearer ${TOKEN}" -o rapport.csv
Résultat : Le fichier reçu est un binaire Excel (malgré l'extension .csv).

En jouant sur le Header Accept :
curl -H "Accept: text/csv" "http://localhost:8081/api/report/cve" ...
Résultat : Le serveur répond toujours en Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet.

Via un body JSON (au cas où) :
curl -d '{"format": "csv"}' -H "Content-Type: application/json" ...
Résultat : Idem, toujours du Excel.

Ce que je vois dans mes logs curl (-v) :
Quand je lance la requête avec ?format=csv, le serveur me renvoie :

GET /api/report/cve?format=csv HTTP/1.1
< Content-Disposition: attachment; filename=cve-20260511.xlsx

On dirait que le paramètre format passe inaperçu côté backend. Est-ce qu'il y a une syntaxe spécifique à utiliser ou un autre paramètre à passer ?

Sinon, peux-tu me donner la ligne de commande exacte à passer?

Merci pour ton aide ! 🚀

curl -v -X GET "http://localhost:8081/api/report/cve?format=csv"
-H "Authorization: Bearer ${TOKEN}"
-o "rapport.csv"
Note: Unnecessary use of -X or --request, GET is already inferred.

• Host localhost:8081 was resolved.
• IPv6: ::1
• IPv4: 127.0.0.1
  % Total % Received % Xferd Average Speed Time Time Time Current
  Dload Upload Total Spent Left Speed
  0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0* Trying [::1]:8081...
• Connected to localhost (::1) port 8081
• using HTTP/1.x

GET /api/report/cve?format=csv HTTP/1.1
Host: localhost:8081
User-Agent: curl/8.14.1
Accept: /
Authorization: Bearer eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJhdWQiOiJhMWMxMjk0My00MjZmLTRkNDYtOTExOC05Y2EwNmJmY2E2NGMiLCJqdGkiOiI2NjZiNzhiMDJhNTI0YzhlZjVlZDI5NDI1NTA1NDVjMzU5YmI2MjlhM2IzZjBkYmViM2UzNjQ3ZTU0YmVkNmRhNDlhMGU5OTBlMjM3YmYzMiIsImlhdCI6MTc3ODUxMDgzMi45OTkyMDEsIm5iZiI6MTc3ODUxMDgzMi45OTkyMDgsImV4cCI6MTgxMDA0NjgzMi45ODk1NzMsInN1YiI6IjEiLCJzY29wZXMiOltdfQ.GhSXUbVhq0tVY-wtqjCIwMrCdwztsjZ2XOh6P1_Gq7Lfq8WAA2LMugwvRVAU3fKFPv4VTTAb_0AWw1U_6Qr3LFsVpCV3wUXeKGM_fKg921XAk-NcFk9M9EryqpmVL5Zz9caJFmXC5bTKvDwcGmU_j7sbZqi6O-2RYY2w1ZWb-MmR8DOeABvJVbaYWOXPwWsKMjAnVD8wNmV9VSccjs9gm0GV0v467f9xGuuiUW2JRs-VyOWUmSJdQuzmfU71Zvhlo9ixUAJiOs74NscafmIrFqk6z20ab12es8V9Qd3JGYflLgUyQKYnsAy3MffHxQ-HYFQ85MxoFd9WM9JEgGTCXmmDPvPUf20POuZbsWS8C7m31HDfYrPZ8fl-CTxYMfp-cPIK54eftjORiAk2vhCxX5GRXldtkjxHCTDmlg2OCHNP2pZ56vXd7eWKefuTJSmkfF34n3Ja30A670o0McR6P4iS9SGquJB4IaBn2XhvBKywPqhqn7w9xPSI45fNT8S4G_GTwdTgaV_0YQljGO_1uimGuyjgfu3pA0L_y22j19JD5yoo-j1Judh4oGxbRbC8l8Qd0UdZoSxVVxXmLXEVLEajv1IOGHuS2XGj4B9he7DdZ1sdyOeWxZv08MDZUtmitZsiVWONDpNeVM1fvLSe6_eYNiMy0emQdlHEK492Arc

• Request completely sent off
  0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0< HTTP/1.1 200 OK
  < Server: nginx/1.28.3
  < Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
  < Content-Length: 25526
  < Connection: keep-alive
  < X-Powered-By: PHP/8.4.21
  < Cache-Control: public
  < Date: Mon, 11 May 2026 14:54:43 GMT
  < Last-Modified: Mon, 11 May 2026 14:54:43 GMT
  < Content-Disposition: attachment; filename=cve-20260511.xlsx
  < Accept-Ranges: bytes
  < X-RateLimit-Limit: 750
  < X-RateLimit-Remaining: 749
  < Access-Control-Allow-Origin: *
  < Set-Cookie: mercator_session=eyJpdiI6IllTZGJzVlE1eTRMMmxvTEZGM0hZTnc9PSIsInZhbHVlIjoialhYMkdNRnoxczAyd2VhNG9jOExFbUlhVnBrUnNHU2VyekIrZkFhRWF6UHlKdzdpRHArdlZnN0c5Q2dJZHZpSzdHQ3doQk9rMTFadStFbjhmaFZMbHpjWE5tdzByclY5Y2w0Q0VUNDk0bmRlZVZZSmREaFdkYTdZWjNoU2Y3bEgiLCJtYWMiOiI2YTVhMzAwOWQzYTYyY2NjNDcwZWE2ZTExMTUwMDFlYzI1ZDE1NDBjYjM1MThhODk5YmQyNzEzZDEwNDU4NzdiIiwidGFnIjoiIn0%3D; expires=Mon, 11 May 2026 16:54:43 GMT; Max-Age=7200; path=/; httponly; samesite=lax
  < X-Frame-Options: SAMEORIGIN
  < X-Content-Type-Options: nosniff
  <
  { [23688 bytes data]
  100 25526 100 25526 0 0 4324 0 0:00:05 0:00:05 --:--:-- 6897
• Connection #0 to host localhost left intact
  (opensources) olivier@pcob-ubuntu:~/Documents/opensources/mercator$ curl -X GET "http://localhost:8081/api/report/cve"
  -H "Authorization: Bearer ${TOKEN}"
  -H "Content-Type: application/json"
  -d '{"format": "csv"}'
  -o "rapport.csv"
  % Total % Received % Xferd Average Speed Time Time Time Current
  Dload Upload Total Spent Left Speed
  100 25544 100 25527 0 17 1068 0 0:00:23 0:00:23 --:--:-- 6961

[dbarzin]

La liste des CVE n'avait pas été modifiée. C'est fait.

[oliboub]

Merci !
🌟 Cette syntaxe fonctionne: 🌟
curl -X GET "http://localhost:8081/api/report/cve" -H "Authorization: Bearer ${TOKEN}" -H "Content-Type: application/json" -d '{"format": "csv"}' -o "rapport.csv"

[oliboub]

Maintenant je peux cloturer..