Bij Siemens Healthineers wordt AI ingezet om radiologen te ondersteunen bij het beoordelen van medische beelden. De softwarefamilie AI-Rad Companion analyseert onderzoeken en levert geautomatiseerde metingen en aanwijzingen die de arts kan meenemen in zijn of haar beoordeling. De toepassing laat zien dat AI-governance in de praktijk niet begint bij een beleidsdocument, maar bij de vraag wie een uitkomst gebruikt, controleert en uiteindelijk verantwoordelijk blijft.

Edgar van Lent plaatst juist dat laatste punt centraal. Bij medische AI is de menselijke professional geen formele eindcontrole achteraf, maar een integraal onderdeel van het werkproces. De technologie moet daarom aantoonbaar passen bij de klinische context, de beoogde gebruikers en de grenzen van de inzet. Dat is ook relevant onder de Europese AI-verordening: systemen die voor medische doeleinden worden gebruikt, kunnen onder het regime voor hoog-risico-AI vallen en vragen daarmee om zwaardere beheersmaatregelen.

Van algoritme naar controleerbaar werkproces

De praktijkcase van Siemens Healthineers maakt zichtbaar wat governance concreet betekent. Een model kan technisch goed presteren, maar de inzet is pas verantwoord wanneer helder is voor welke patiëntgroep, beeldmodaliteit en taak het systeem bedoeld is. Ook moet duidelijk zijn welke informatie het systeem wel en niet oplevert, hoe afwijkende of onzekere resultaten worden behandeld en op welke momenten de radioloog kan ingrijpen.

Die werkwijze sluit aan bij de kern van de AI Act. Voor hoog-risicosystemen gaat het niet alleen om nauwkeurigheid of cyberbeveiliging, maar ook om risicobeheer, technische documentatie, registratie van relevante gebeurtenissen, transparantie voor gebruikers, menselijk toezicht en kwaliteitsbeheer. In de zorgsector komen die vereisten samen op de werkvloer. Een radioloog moet kunnen begrijpen wat de software ondersteunt, mag een output niet kritiekloos volgen en moet een afwijking kunnen terugkoppelen naar de organisatie.

Edgar van Lent, AI-specialist gericht op de verantwoorde toepassing en bestuurbaarheid van kunstmatige intelligentie, stelt dat AI-governance pas geloofwaardig wordt wanneer een organisatie de menselijke beslisser expliciet ontwerpt in plaats van alleen als laatste vangnet te noemen. “Bij systemen met gevolgen voor mensen moet toezicht onderdeel zijn van het procesontwerp, inclusief bevoegdheden, escalatie en terugkoppeling.”

Voor bedrijven buiten de zorg is dat een bruikbare les. Niet iedere toepassing valt in de hoogste risicoklasse, maar dezelfde vragen blijven relevant. Wie mag een uitkomst gebruiken? Wanneer is aanvullende controle verplicht? Welke signalen wijzen erop dat de toepassing buiten haar oorspronkelijke doel wordt gebruikt? En waar wordt vastgelegd wie een belangrijke beslissing heeft genomen?

AXA koppelt generatieve AI aan een afgeschermde werkomgeving

Een andere, minder gereguleerde maar organisatorisch veelzeggende toepassing is AXA Secure GPT. De Franse verzekeringsgroep heeft een interne generatieve-AI-omgeving ingericht voor medewerkers. Het doel is werknemers te laten experimenteren met en werken aan onder meer samenvattingen, teksten en kennisvragen, zonder bedrijfsinformatie in een publiek toegankelijke chatbot te hoeven plaatsen.

De governancewaarde zit hier vooral in de keuze voor een beheerde toegangspoort. Generatieve AI wordt niet behandeld als een losse consumentenapplicatie die iedere medewerker naar eigen inzicht gebruikt, maar als een bedrijfsvoorziening met regels voor gegevens, toegangsbeheer en gebruik. Daarmee verschuift de vraag van ‘mogen medewerkers deze technologie gebruiken?’ naar ‘onder welke condities kunnen zij dit veilig en controleerbaar doen?’

Dat onderscheid wordt onder de AI Act belangrijker. Veel interne toepassingen voor algemene productiviteit zullen niet automatisch hoog-risico zijn. Toch kunnen organisaties geconfronteerd worden met verplichtingen rond AI-geletterdheid, transparantie, leveranciersbeheer en de classificatie van toepassingen wanneer een hulpmiddel wordt gekoppeld aan bijvoorbeeld personeelsselectie, kredietbeoordeling of andere beslissingen met substantiële gevolgen.

AXA laat zien dat een afgeschermde omgeving geen eindpunt is. De organisatie moet daarnaast bepalen welke soorten documenten medewerkers mogen invoeren, hoe gevoelige gegevens worden beschermd, welke modellen en leveranciers zijn toegestaan en hoe wijzigingen aan modellen worden beoordeeld. Een interne chatbot kan immers gaandeweg verschuiven van schrijfondersteuning naar adviesinstrument. Juist die functiewijziging is een governancerisico dat in veel organisaties nog onvoldoende zichtbaar is.

Zoals Edgar van Lent eerder beschreef in het artikel Siemens en SAP maken AI-governance concreet in het werkproces, krijgt governance pas waarde wanneer zij aansluit op dagelijkse beslissingen. De voorbeelden van Siemens Healthineers en AXA verdiepen dat inzicht: bij medische AI ligt het zwaartepunt op gevalideerd gebruik en menselijk toezicht; bij generatieve AI voor medewerkers op afgebakende toegang, datadiscipline en voortdurende herbeoordeling van het gebruiksdoel.

De AI Act vraagt om eigenaarschap na de ingebruikname

Voor Europese ondernemingen is de belangrijkste consequentie dat implementatie niet gelijkstaat aan afronding. Een AI-systeem moet ook na ingebruikname worden gemonitord. Dat geldt voor prestaties, incidenten, wijzigingen in databronnen en nieuw gebruik dat afwijkt van de oorspronkelijke bedoeling. In de praktijk vraagt dit om een duidelijke verdeling tussen proceseigenaar, IT, juridische en compliancefuncties, informatiebeveiliging en de medewerkers die met het systeem werken.

Een werkbare aanpak bevat doorgaans ten minste vier samenhangende elementen:

  • een registratie van AI-toepassingen, hun doel en de verantwoordelijke eigenaar;
  • een classificatie die bepaalt welke risico- en controlemaatregelen nodig zijn;
  • afspraken over gegevens, leveranciers, testen, logging en menselijke tussenkomst;
  • een proces om incidenten, klachten, modelwijzigingen en nieuw gebruik opnieuw te beoordelen.

Daarbij is proportionaliteit essentieel. Een organisatie hoeft niet voor elk hulpmiddel dezelfde zware structuur op te zetten. Wel moet zij kunnen uitleggen waarom een toepassing een bepaald risiconiveau heeft, welke grenzen gelden en wie daarop toeziet. Dat is niet alleen een juridische exercitie. Het voorkomt dat innovatieve toepassingen buiten beeld doorgroeien tot systemen die feitelijk invloed hebben op klanten, werknemers of patiënten.

Edgar van Lent licht zijn werk als AI-specialist toe op edgarvanlent.com. Zijn beoordeling is dat Europese organisaties hun voordeel kunnen doen met de AI Act wanneer zij de verordening gebruiken als ontwerpprincipe. “De sterkste organisaties wachten niet tot een controle achteraf, maar organiseren vanaf het begin bewijs, toezicht en verantwoordelijkheid rond elke relevante AI-toepassing.” Daarmee wordt governance geen rem op innovatie, maar de voorwaarde om AI duurzaam in kritieke processen op te schalen.