Een ijkmerk voor AI: nauwkeurigheid van demo tot toezicht

Op een marktplein kreeg een weegschaal vroeger pas een ijkmerk nadat een ambtenaar haar met een bekend gewicht had beproefd. De koper hoefde het binnenwerk niet te begrijpen; het zegel vertelde dat gewicht, instrument en meetmoment bij elkaar hoorden. Bij AI ontbreekt zo'n eenvoudig teken. Een leverancier noemt 92 procent nauwkeurigheid, een inkoper neemt het getal over in een offerte en maanden later beslist een gewijzigd model over andere mensen. De meetclaim reist verder dan de meting.

Van ijkmerk naar modelverklaring

De Europese AI Act kiest voor een minder tastbaar, maar herkenbaar idee. Artikel 15 schrijft inhoudelijk voor dat hoog-risico-AI een passend niveau van nauwkeurigheid, robuustheid en cyberveiligheid bereikt en dat gedurende de levenscyclus consistent volhoudt. De relevante niveaus en maatstaven moeten in de gebruiksinstructies staan. De wet noemt zelfs metrologie- en benchmarkingautoriteiten bij de ontwikkeling van meetmethoden. Daarmee wordt nauwkeurigheid een verklaarde systeemeigenschap, geen losse grafiek voor de verkoopafdeling.

Die inhoudelijke norm moet worden onderscheiden van haar toepassingsdatum. Na de AI Omnibus geldt volgens het definitieve tijdpad van de Raad 2 december 2027 voor zelfstandige hoog-risicosystemen uit Annex III en 2 augustus 2028 voor hoog-risico-AI die in gereguleerde producten is ingebouwd. De Europese Commissie publiceert hetzelfde implementatietijdpad. Organisaties kunnen de meetdossiers eerder inrichten, maar moeten een toekomstige verplichting niet presenteren alsof zij op 12 juli 2026 al algemeen afdwingbaar is.

Artikel 13 maakt die verklaring concreter. De aanbieder moet onder meer het beoogde doel, het geteste en verwachte nauwkeurigheidsniveau, de gebruikte maatstaven en bekende omstandigheden die de prestatie kunnen beïnvloeden begrijpelijk beschrijven. Context hoort bij het getal, zoals de gebruikte gewichtseenheid bij een weging hoort; een score zonder doelgroep, drempel, modelversie of testomgeving voldoet nauwelijks aan die bestuurlijke logica.

De verwijzing naar metrologie verdient aandacht. De internationale metrologiewoordenlijst van JCGM definieert metrologische herleidbaarheid als het relateren van een meetresultaat aan een referentie via een gedocumenteerde, ononderbroken keten van kalibraties die elk aan de meetonzekerheid bijdragen. De officiële Guide to the Expression of Uncertainty in Measurement beschrijft hoe meetonzekerheid wordt geëvalueerd en uitgedrukt. AI-benchmarks missen vaak zo'n controleerbare keten. Een score wordt opnieuw berekend na een modelupdate, een leverancier wisselt de beoordelingsset of een afnemer koppelt de uitkomst aan een andere beslisdrempel. Voor juristen en inkopers omvat herleidbaarheid daarom ook de gekozen foutmaat: hetzelfde percentage kan uit een andere meetpraktijk en een andere normatieve keuze voortkomen.

Twee rechtsordes stellen een andere vraag

De Amerikaanse Federal Trade Commission publiceerde op 7 juli 2026 een niet-definitief beleidsvoorstel, waarop tot 31 juli 2026 reacties konden worden ingediend. De tekst formuleert geen algemene benchmark of numerieke nauwkeurigheidsnorm. Hij ziet smaller op systemen die verborgen, onverwachte modeldoelen volgen in plaats van de doelstelling die gebruikers redelijkerwijs verwachten. De FTC onderscheidt zo'n ingebouwd sturingsdoel uitdrukkelijk van hallucinaties door technische beperkingen. Volgens het voorstel kan dat verborgen doel misleidend zijn; een kwalificatie in de kleine lettertjes herstelt een dominante verkoopindruk niet vanzelf.

De EU-route begint bij productvereisten, informatie aan professionele gebruiksorganisaties en toezicht gedurende de levenscyclus. De Amerikaanse route gebruikt algemeen misleidingsrecht en de redelijke verwachting van de consument. Toch raken zij dezelfde zwakke plek: de afstand tussen wat een AI-systeem lijkt te beloven en wat het onder concrete omstandigheden doet. Quentir besprak de ontwikkeling eerder in When an AI accuracy claim becomes the product, vanuit een bredere lezing van benchmarkmarketing. Het huidige FTC-voorstel is smaller en ziet primair op verborgen objectiefsturing. Voor Europese contracten komt daar een extra laag bij: de prestatieverklaring moet bestuurbaar blijven wanneer data, model en gebruik veranderen.

Een percentage zonder context is geen meeteenheid

"92 procent nauwkeurig" kan vele werkelijkheden beschrijven. In een test van 10.000 dossiers met 100 fraudegevallen haalt een model dat ieder dossier als niet-frauduleus aanmerkt 99 procent accuracy, maar 0 procent recall voor fraude. Vindt een ander model 80 van die 100 gevallen, dan is de gemeten recall 80 procent; bij deze steekproef ligt een benaderend 95%-betrouwbaarheidsinterval rond 71 tot 87 procent. De foutverdeling bepaalt de juridische betekenis, niet het hoogste gemiddelde.

Ook het gekozen beslispunt telt. Sensitiviteit, specificiteit, fout-positieven, fout-negatieven, kalibratie en onzekerheidsmarges beantwoorden verschillende vragen. In krediet, zorg, werk en publieke dienstverlening heeft iedere fout een andere drager. De leverancier meet op modelniveau, terwijl de burger de fout als afwijzing, vertraging of extra controle ervaart. Zo krijgt een statistische fout een menselijke bestemming.

De houdbaarheidsdatum van de demo

Een goede pilot kan verouderen zonder zichtbaar defect. De populatie verandert, een leverancier vervangt het basismodel, een databron krijgt een nieuw schema of medewerkers gaan de uitkomst anders gebruiken. Artikel 72 schrijft voor de betrokken hoog-risicosystemen, zodra de regels volgens het genoemde tijdpad toepasselijk zijn, een gedocumenteerd post-market monitoringsysteem voor dat prestatiegegevens gedurende de levensduur actief en systematisch verzamelt en analyseert. De demo is dan het begin van een meetreeks. Een meetclaim heeft een houdbaarheidsdatum.

Het NIST AI Risk Management Framework geeft hiervoor een bruikbare bestuurlijke taal: governance, mapping, measurement en management moeten met elkaar verbonden blijven. In een Europees dossier kan dat heel praktisch worden vertaald naar een versieregister, toepassingsbereik, referentiedataset, drempelwaarden, incidenten en momenten waarop herbeoordeling verplicht is. Zo ontstaat een meetgeschiedenis die een auditor, rechter of toezichthouder kan lezen.

Vijf velden voor een verdedigbare prestatieclaim

Een compacte beslisroute past in vijf velden. Het eerste veld noemt de taak: wat voorspelt, classificeert of genereert het systeem? Het tweede legt de populatie en testdata vast. Het derde noemt de maatstaf, de drempel en de foutsoorten. Het vierde koppelt de uitkomst aan model-, prompt-, databron- en softwareversies. Het vijfde zet de hermeting en escalatie op de kalender, inclusief de gebeurtenis die een tussentijdse test activeert.

Die vijf velden maken ook het contract scherper. De prestatiebijlage kan vastleggen welke score gegarandeerd of slechts indicatief is, wie wijzigingen meldt, welke loggegevens beschikbaar blijven en wie een onafhankelijke hertest mag uitvoeren. De verdeling van kosten bij degradatie hoort eveneens in beeld. Een algemene clausule over "industry-standard accuracy" geeft weinig houvast zodra de leverancier het model vervangt of de klant het systeem buiten de oorspronkelijke dataset inzet. De contractuele meetlat moet bij de versie blijven.

Marktvertrouwen begint bij een leesbare foutmarge

Voor consumentgerichte handelspraktijken kijkt artikel 6 van de Richtlijn oneerlijke handelspraktijken naar de totale indruk, waaronder te verwachten resultaten en de resultaten of wezenlijke kenmerken van tests en controles. Dat regime mag niet zonder meer op zakelijke inkoop worden geplakt. Bij B2B-aanbesteding en contractering rust de beoordeling afzonderlijk op de concrete prestatieverklaring, precontractuele informatie, conformiteit, garanties en overeengekomen remedies. AI voegt in beide contexten snelheid en veranderlijkheid toe: een correct testresultaat kan misleiden wanneer de presentatie een veel breder gebruik suggereert.

De maatschappelijke inzet verschijnt zodra iemand de uitkomst wil betwisten. Een patiënt, werknemer, student of ondernemer heeft weinig aan een indrukwekkend benchmarkpercentage als niemand kan uitleggen welke versie hem beoordeelde en welke foutmarge daarbij hoorde. Een publieke organisatie kan haar motivering evenmin uitbesteden aan een leverancier die alleen een actuele dashboardscore toont. De relevante score, context en versie moeten daarom bij het besluit bewaard blijven.

Voor organisaties die AI- en softwarecontracten op zulke prestatieclaims willen laten nalopen, biedt de AIRecht Contractscan een vaste route naar clausules over nauwkeurigheid, wijzigingen, audit, logging en aansprakelijkheid. Bij hoog-risicotoepassingen kan daarnaast een afgebakende AI Act-review de gebruiksinstructies, meetmethode en post-market afspraken naast elkaar leggen. De praktische waarde zit in een claim die de overgang van demo naar praktijk overleeft.

Bronnen geraadpleegd op 12 juli 2026: de voorgestelde FTC Policy Statement van 7 juli 2026 en de officiële GovInfo-publicatie, de AI Act-uitleg bij artikelen 13, 15 en 72, het actuele AI Omnibus-tijdpad van Raad en Commissie, de Richtlijn oneerlijke handelspraktijken, de primaire BIPM/JCGM-metrologiepublicaties en het NIST AI RMF. Een herleidbare meetpraktijk brengt hier juridische claims, technische prestaties en menselijke gevolgen bij elkaar; geen van deze bronnen wijst naar één universeel nauwkeurigheidsgetal.