Juridisch advies AI in de sociale sector en de overheid

Gemeenten, uitvoeringsorganisaties en zorg- en welzijnsinstellingen gebruiken algoritmes voor vroegsignalering, toeslagen en uitkeringen, wachtlijstbeheer en handhaving. De maatschappelijke gevoeligheid is hier maximaal: besluiten raken burgers direct, en het vertrouwen in de overheid staat op het spel. AIRecht adviseert publieke organisaties over verantwoorde inzet van algoritmes binnen de grenzen van het bestuursrecht, de AVG (EU) 2016/679 en de AI Act (EU) 2024/1689.

Typische juridische vraagstukken

Wanneer is een risicoprofileringssysteem een verboden praktijk en wanneer een toelaatbaar hoog-risicosysteem? Welke transparantie eisen de Awb-motiveringsplicht en de AVG bij geheel of gedeeltelijk geautomatiseerde besluiten? Hoe organiseert u menselijk toezicht dat méér is dan een formaliteit? En welke grondrechteneffectbeoordeling is verplicht vóór ingebruikname? Deze vragen raken aan de kern van kunstmatige intelligentie en recht.

Verboden praktijk of toelaatbaar hoog-risico?

De AI Act verbiedt bepaalde overheids-AI volledig — social scoring en sommige vormen van predictive policing — terwijl andere systemen zijn toegestaan onder strikte hoog-risico-eisen. De scheidslijn is niet altijd intuïtief: een ogenschijnlijk neutraal risicomodel kan, afhankelijk van doel en gevolgen, aan de verkeerde kant van die lijn belanden. Een vroege juridische beoordeling, vergelijkbaar met een conformiteits- en compliance-toets, voorkomt dat een systeem na ingebruikname onrechtmatig blijkt.

Menselijk toezicht dat werkt

De wet eist betekenisvol menselijk toezicht, geen stempelmachine. Dat vraagt om een procesinrichting waarin de ambtenaar de uitkomst daadwerkelijk kan begrijpen, bevragen en terzijde schuiven — met tijd, bevoegdheid en informatie om dat te doen. Automation bias, de neiging een systeemuitkomst klakkeloos te volgen, is een erkend risico dat in het ontwerp en in de governance moet worden ondervangen. Dit sluit nauw aan bij vraagstukken van ethiek en grondrechten.

Transparantie, DPIA en het algoritmeregister

Naast menselijk toezicht eist het samenstel van wetten aantoonbare transparantie. Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht wanneer een verwerking een hoog risico voor betrokkenen meebrengt; bij hoog-risico-AI komt daar de grondrechteneffectbeoordeling bovenop. Voor overheidsalgoritmes geldt bovendien de verwachting van publicatie in het Algoritmeregister, zodat burgers en volksvertegenwoordigers kunnen zien welke systemen worden ingezet en met welk doel. Deze documentatieplichten zijn geen administratieve last achteraf, maar het bewijs dat een besluit zorgvuldig en navolgbaar tot stand is gekomen — precies het punt waarop de toeslagenaffaire tekortschoot. Wij stellen die beoordelingen op of toetsen ze, en zorgen dat de uitkomsten ook praktisch worden geborgd in het werkproces.

Inkoop en aanbesteding van overheids-AI

Veel algoritmes worden niet zelf gebouwd maar ingekocht. Dan verschuift een deel van de governance naar het aanbestedings- en contractproces — maar de verantwoordelijkheid niet: de overheid blijft aansprakelijk voor de uitkomsten, ook als een leverancier het model levert. Een black box die de leverancier niet wil openen, is voor een publieke deployer daarom geen werkbare optie. Dat vraagt om aanbestedingseisen en contractbedingen die de publiekrechtelijke plichten doorvertalen: transparantie en uitlegbaarheid van de modeluitkomsten, toegang tot documentatie voor toezicht, audit- en testrechten gedurende de looptijd, en exit- en overdraagbaarheidsafspraken zodat afhankelijkheid van één vendor de publieke taak niet gijzelt. Wij vertalen de wettelijke eisen naar concrete inkoopvoorwaarden en beoordelen leverancierscontracten, zodat de publieke verantwoordelijkheid ook bij ingekochte AI aantoonbaar wordt waargemaakt en de burger niet de dupe wordt van een onnavolgbare keten. De omgang met grootschalige burgerdata raakt daarbij aan de big-data-wetgeving.

Het regelgevend kader

De Europese AI-regels werken in de sociale sector naast het Nederlandse bestuursrecht en gegevensbescherming. De belangrijkste instrumenten:

De motiveringsplicht is hard verankerd. De AVG bepaalt in artikel 22 dat een betrokkene het recht heeft niet uitsluitend op basis van geautomatiseerde verwerking te worden beoordeeld wanneer dat hem in aanmerkelijke mate treft. De lessen van de toeslagenaffaire klinken in al deze instrumenten door: transparantie, uitlegbaarheid en menselijke waardigheid staan voorop, ook in andere sectoren waarin de overheid optreedt.

Veelgestelde vragen

Moeten wij een grondrechteneffectbeoordeling uitvoeren?

Overheidsinstanties die een hoog-risico-AI-systeem inzetten, moeten vóór ingebruikname een grondrechteneffectbeoordeling (FRIA) uitvoeren. Wij voeren die uit of toetsen een bestaande beoordeling.

Is risicoprofilering door de overheid toegestaan?

Soms wel, soms niet. Bepaalde vormen zijn verboden; andere zijn toelaatbaar onder strikte voorwaarden. De concrete opzet en gevolgen bepalen de uitkomst — een juridische beoordeling vooraf is essentieel.

Telt een ambtenaar die akkoord klikt als menselijk toezicht?

Niet zonder meer. Toezicht is pas betekenisvol als de beoordelaar de uitkomst kan begrijpen, weerleggen en terzijde schuiven. Het proces moet daarvoor zijn ingericht.

Staat uw organisatie voor een grondrechteneffectbeoordeling, een verboden-praktijk-vraag of een inkoopdossier voor overheids-AI? De gespecialiseerde juristen van AIRecht adviseren overheden en uitvoeringsorganisaties wetenschappelijk onderbouwd en praktisch toepasbaar; leg uw vraagstuk voor via onze contactpagina in Amsterdam.

Zie ook: ethiek en grondrechten · privacy, AVG en GDPR · big-data-wetgeving