naamgeving en definities status kwaliteitscontrole (QCstatus)

[AnnitaVijverberg]

Naamgeving uit het KWR rapport van de items bij status kwaliteitscontrole:
Goedgekeurd: Er is geen reden om aan de juistheid van dit gegeven te twijfelen.
Onbeslist: Er zijn twijfels over de juistheid van dit gegeven, maar uitsluitsel kon niet gegeven worden.
Afgekeurd: Er is reden om dit gegeven als onjuist te beschouwen. De waarde kon niet geverifieerd worden.

Voor de historische gegevens die onder IMBRO/A kwaliteitsregime vallen hebben we toegevoegd:
Onbekend: Er is geen beoordeling gedaan van de kwaliteit, of het is onbekend of er een beoordeling is gedaan (IMBRO/A kwaliteitsregime).

We hebben aan de definities van de drie kwaliteitsstatussen toegevoegd: "op basis is van de gehanteerde beoordelingsprocedure". Naast de status kwaliteitscontrole wordt namelijk opgenomen welke procedure of welk voorschrift gebruikt is bij de beoordeling (de beoordelingsprocedure). Dit is gedaan om transparant te maken hoe de beoordeling is gedaan en wat de onderbouwing is om tot een status kwaliteitscontrole te komen.
Voor historische gegevens die onder IMBRO/A kwaliteitsregime vallen, waar wel een beoordeling is gedaan maar waarvan onduidelijk is volgens welk procedure, hebben we onbekend toegevoegd aan de codelijst : Het is onbekend volgens welke procedure de beoordeling is gedaan (IMBRO/A kwaliteitsregime).

Onbeslist zou ook vervangen kunnen worden door twijfelachtig. Het woord twijfel komt terug in de definitie. Omdat onbeslist een neutralere term is dan twijfelachtig hebben we voor onbeslist gekozen.

[AnnitaVijverberg]

wat ons betreft kan het issue met uiteenzetting van het bovenstaande worden gedsloten

[AnnitaVijverberg]

Achtergrond informatie:
Op 28 januari 2019 is er een workshop geweest over de QCstatus. Het verslag hiervan:
Verslag workshop QCstatus en definities_28012019.pdf
Naar aanleiding van (het verslag van) de workshop volgde een discussie per email. Die staat hieronder.

[Frank Terpstra] De reden dat we de, in het rapport gebruikte termen ter discussie hebben gesteld, is dat er in het rapport vanuit gegaan wordt dat twijfelachtig niet in het IMBRO kwaliteitsregime gebruikt mag worden omdat de bronhouder dan correctieplicht heeft.
Dit uitgangspunt hebben we juridisch laten checken en klopt niet.
De jurist geeft aan dat transparantie het belangrijkste uitgangspunt moet zijn. Wanneer er twijfels zijn over de juistheid van dit gegeven, maar uitsluitsel kon niet gegeven worden, is het toegestaan onbeslist/twijfelachtig te gebruiken. Voor alle categorieën geldt dat vanuit het oogpunt van transparantie een onderbouwing opgenomen zou moeten worden in de BRO.

Dit is de reden dat onbeslist/twijfelachtig wel degelijk van toepassing kan zijn op nieuwe gegevens.
De definitie luidt:

Er zijn op basis is van de gehanteerde beoordelingsprocedure twijfels over de juistheid van dit gegeven, maar uitsluitsel kon niet gegeven worden.

De tekst komt uit het rapport, het schuigedrukte deel is toegevoegd vanwege de transparantie: een gebruiker kan terughalen op basis van welk protocol of wel voorschrift de beoordeling is gedaan. Deze toevoeging aan de definitie hebben we in de workshop besproken.
Omdat voor historische gegevens het niet altijd bekend is of er een beoordeling is gedaan hebben we een categorie 'Onbekend' toegevoegd voor het IMBRO/A kwaliteitsregime met als definitie: Er is geen beoordeling gedaan van de kwaliteit, of het is onbekend of er een beoordeling is gedaan.
Door deze splitsing dekt de term twijfelachtig, ipv onbeslist de lading beter.

We hebben vastgesteld dat het onhaalbaar is om beschrijvingen hoe bronhouders komen tot een eindoordeel op te nemen in de versie van de catalogus die half februari in consultatie staat. Zie het verslag:

"Frank geeft aan dat een uitgebreide detaillering over de totstandkoming van het uiteindelijke QCstatus niet de verwachting is binnen de tijd die nog beschikbaar is tot de publieke consultatie van GAR. Een verwijzing naar een protocol of werkvoorschrift dat is toegepast bij de beoordeling van de kwaliteit is wel wenselijk."

Een vervolgworkshop hierover wordt niet gepland. Het is aan de bronhouders om een beschrijving van de totstandkoming van een eindoordeel op te nemen in hun protocollen en werkvoorschriften.

[Nanko de Boorder] Of je een categorie onbeslist of twijfelachtig noemt, is naar mijn mening een kwestie van smaak. In de werkgroep hebben we gemeend dat onbeslist wat beter de lading dekt omdat het betekent dat je niet tot een eenduidig oordeel kunt komen. De term twijfelachtig roept door de naamgeving direct een vervolgvraag op; waarom twijfel je? Onbeslist geeft aan dat je niet tot een eenduidige oordeelsvorming kon komen. Ik laat het aan jullie hoe deze aanbeveling in de catalogus wordt verwerkt.

Het toevoegen van een categorie onbekend klinkt logisch, en stond ook op het lijstje van de werkgroep. Prima om die voor IMBRO/A toe te voegen. De definitie moet dan echter wel nog wat uitgebreid worden; Er is geen beoordeling gedaan van de kwaliteit, het beoordelingsregime is niet herleidbaar of het is onbekend of er een beoordeling is gedaan.

Wat betreft de deadline van half februari; bronhouders vragen niet om “een uitgebreide detaillering over de totstandkoming van het uiteindelijke QCstatus” op te nemen in de catalogus. Daar hebben we juist geen behoefte aan. Ons protocol is de onderbouwing. Dat ontslaat ons echter niet van de verantwoordelijkheid om de LV-BRO gebruiker een definitie mee te geven van “goedgekeurd” en “afgekeurd”. Die definities zie ik nu niet staan, tenzij we besluiten dat de LV-BRO gebruiker simpelweg uit de term moet afleiden dat het betekent dat de bronhouder het gegeven, op basis van het toegepaste protocol/werkvoorschrift, als akkoord/niet akkoord heeft bevonden. Voor mij is dat prima, maar dan zou ik wel adviseren om een dergelijk eenvoudige definitie toch in de catalogus op te nemen. Ik was in de veronderstelling dat de QC workshop afgebakende definities op zou leveren voor alle drie de categorieën om te voorkomen dat er misverstanden ontstaan over de interpretatie van de QCstatus.

[Jos von Asmuth] Ik kreeg jullie discussie en reageer ook van mijn kant graag nog even daarop. Ik heb van mijn kant twee punten van orde, en belangrijker ook een principieel punt.

Punten van orde

• Ook in de werkgroep en het rapport hebben we aandacht besteed aan de terminologie van de codelijst. Verschillende opties zijn uitgewerkt in paragraaf 6.4 van het rapport. Los van het feit dat je natuurlijk een andere keuze kunt maken, kan de coherentie daarvan belangrijk zijn. Wij hebben gekozen om het oordeel van de bronhouder te benoemen, en kwamen daarmee op de bekende ‘Goedgekeurd, Onbeslist en Afgekeurd’. Een andere keuze die daar ook genoemd is, is uitgaan van de betrouwbaarheid van de gegevens c.q. bruikbaarheid voor de afnemer. Maar als je dat kiest kom je op ‘Betrouwbaar, Twijfelachtig, Onbetrouwbaar’ als coherente lijst. Dan is het inderdaad logischer om ook ‘Onbekend’ toe te voegen, dat duidelijk anders is dan ‘Twijfelachtig’ maar dichter ligt bij ‘Onbeslist’. Ik zou zeggen dat ‘Onbeslist’ een term is die ‘Onbekend’ omvat. Ook als de gegevens niet bekeken zijn en de kwaliteit dus ‘Onbekend’, is er geen oordeel gegeven c.q. het oordeel is ‘Onbeslist’.

• Ander punt van orde is dat het voorstel in het eindrapport nu niet meer klopt met de QCStatus Codelijst die straks in de BRO komt. Uit het feit dat anderen niet vanzelf dezelfde keuzes maken blijkt wel dat het goed is om ook een onderbouwing van de gemaakte keuze te hebben. Misschien kunnen we kijken of we rapport en BRO alsnog gelijk kunnen trekken?

Principieel punt

• Elke term heeft uiteraard een specifieke betekenis, maar die betekenis kan ook consequenties hebben die verder gaan dan smaak alleen. Als ik de slide van de sprintreview lees, dan lees ik in de juridische beoordeling dat het geen probleem is om gegevens op te nemen die niet zeker, en niet verifieerbaar zijn. In het voorbeeld van de asielzoeker is daarbij ook duidelijk dat de leeftijdsschatting de ‘Best Guess’ is op basis van deskundigenoordeel. De waarde zelf leidt helemaal geen twijfel, hij is alleen niet exact. De term ‘Twijfelachtig’ suggereert echter dat de deskundige c.q. bronhouder het ook niet weet. Dat geeft als principieel bezwaar dat je op deze manier niet helder bent m.b.t. gebruik en gebruiksplicht. Dat wordt heel concreet als je bijv. gewasschade moet uitkeren. Een boer zal dan uiteraard twijfelachtige gegevens die in zijn voordeel zijn willen meenemen in de schadeberekening, het waterbedrijf echter niet. Me dunkt dat we dergelijke verwarring echt moeten vermijden?

Ik ben benieuwd hoe jullie hier tegenaan kijken…

[Nanko de Boorder] Bedankt voor je nuttige aanvulling Jos. Je snijdt belangrijke punten aan ten aanzien van coherentie en de codelijst. Dat er discussie ontstaat en er verschillende meningen bestaan vind ik goed om te zien; het geeft aan dat dit onderwerp er duidelijk toe doet. Ook in onze werkgroep hebben we uiteraard die discussies aan de orde gehad.

Hoewel ik nog steeds achter het rapport en de uitkomsten sta, vind ik het gezien de verschillende opvattingen, niet verstandig om QCStatus nu in de catalogus op te nemen. We moeten er namelijk wel achter kunnen staan, en blijkbaar is dat nu niet voldoende het geval (of we laten ons te veel leiden door de mening van enkelen). Achter de schermen kun je wel alvast een “reservering” aanmaken waarbij je de BRO voorbereidt op een drietal (of viertal) toekomstige QCStatussen. Daarmee staat de ICT alvast klaar en kunnen we de extra tijd nemen die blijkbaar toch nodig is. De aanpassingen die de laatste weken langs komen zijn mij iets te ad-hoc. Daarnaast hebben we nog steeds geen heldere definities geformuleerd.

Wanneer we de BRO als een groeimodel zien, en volgens mij is dat ook zo, dan staat er niets het bovengenoemde proces-voorstel in de weg. In de praktijk betekent dit dat de bronhouders voorlopig alleen de goedgekeurde/betrouwbare gegevens opnemen in de BRO en de andere gegevens in eigen beheer houden. Dat is absoluut geen ramp, want het is min of meer de reguliere werkwijze zoals we die al jaren hanteren.

[Frank Terpstra] Op basis van de discussie die is gevoerd wil ik toch een poging doen om tot een consensus te komen over de QCstatus en QClabels. Ik wil hier in ieder geval donderdag tijdens de sprintreview aandacht aan besteden en bekijken wat nodig voor iedereen om er vertrouwen in te hebben. Het niet opnemen van de QCstatus en QClabels zou ik niet een wenselijke uitkomst vinden. Hieronder hoe wij vanuit standaardisatie willen omgaan met de resultaten van de discussie.

• Terminologie: onbeslist of twijfelachtig. Op basis van alle argumenten hanteren we waarschijnlijk onbeslist, definitie blijft hetzelfde.

• We hebben aan de definities van de drie kwaliteitsstatussen toegevoegd: "op basis is van de gehanteerde beoordelingsprocedure". Naast de status kwaliteitscontrole wordt namelijk opgenomen welke procedure of welk voorschrift gebruikt is bij de beoordeling (de beoordelingsprocedure). Dit is gedaan om transparant te maken hoe de beoordeling is gedaan en wat de onderbouwing is om tot een status kwaliteitscontrole te komen.
  Voor historische gegevens die onder IMBRO/A kwaliteitsregime vallen, waar wel een beoordeling is gedaan maar waarvan onduidelijk is volgens welk procedure, hebben we 'onbekend' toegevoegd aan de codelijst beoordelingsprocedure: Het is onbekend volgens welke procedure de beoordeling is gedaan (IMBRO/A kwaliteitsregime). We zullen dit tijdens de sprintreview nog toelichten.

• Het is op dit moment niet helder voor de gebruiker hoe tot een bepaalde status kwaliteitscontrole gekomen wordt. Vanuit het oogpunt van transparantie zou de gebruiker hier wel inzicht in moeten krijgen. Het is, ook gezien de zeer beperkte nog beschikbare tijd, niet de bedoeling dat deze onderbouwing (definitie) in de catalogus komt. Het is wel de bedoeling dat de bronhouders hiermee aan de slag gaan en deze onderbouwing gaan opnemen in de gebruikte voorschriften en procedures. Voor de provincies en RIVM betekent dit concreet dat we verachten dat het huidige validatieprotocol in het Handboek Monitoring Grondwaterkwaliteit KRW, provincies en RIVM, wordt uitgebreid met de onderbouwing hoe tot de status kwaliteitscontrole wordt gekomen. Er is nog tot januari 2021 de tijd totdat de wet ingaat. Voor de bronhouder is er tot dat moment nog tijd om de protocollen hierop aan te vullen.

[Jos von Asmuth] Frank, ik voel zowel met jou als met Nanko mee. We hebben er met zijn allen ons best voor gedaan, dus het zou zonde zijn om voorlopig niets op te nemen.

Aan de andere kant lees ik noch in jouw reactie, noch elders een oplossing voor het probleem dat met name aan de afnemerskant zit. De protocollen van de bronhouder zullen dus duidelijk maken wanneer deze tot QCStatus ‘onbeslist’ komt, maar de afnemer (en softwareleverancier) zit nog met een probleem: wat doe je met gegevens in deze categorie bij bijv. een schadeberekening, of toetsing aan een waterkwaliteitsnorm? Het rapport over de QC-Categorieën bevat (naast de aanbeveling over juridisch advies) als aanbeveling bij deze categorie ‘Nader onderzoek dat hier uitsluitstel over geeft wordt aanbevolen.’.

In die zin had ik net als Nanko ook een andersoortig vervolg verwacht, en zie ik ook een mogelijke gulden middenweg: ‘onbeslist’ of ‘twijfelachtig’ (nu of mogelijk nooit) niet opnemen, maar naast ‘goedgekeurd’ en ‘afgekeurd’ alleen ‘onbekend’ met IMBRO/A-status.

[AnnitaVijverberg]

Tijdens de online sessie over dit onderwerp op 21 februari zijn we erop uitgekomen dat:

• het wenselijk is dat de codelijst voor de beoordelingsprocedure uitgebreid wordt
• de codelijst als volgt wordt samengesteld: https://broprogramma.github.io/GAR/#detail_class_Model_StatusKwaliteitscontrole
  Juridisch moet er nog gekeken worden naar het voorstel voor het vastleggen van deze informatie.