De AI-verordening: gevolgen voor werkgevers

Op 21 april 2021 heeft de Europese Commissie een wetsvoorstel gepubliceerd met de eerste EU-regels voor Artificiële intelligentie (AI). Onlangs is deze AI-verordening door het Europees Parlement aangenomen. De verordening zal twintig dagen na de bekendmaking ervan in het Publicatieblad in werking treden. Dit zal naar verwachting in de tweede helft van 2024 plaatsvinden. De AI-verordening zal zich vooral richten op AI-systemen met een hoog risico, waaronder AI-systemen die op de werkvloer worden gebruikt. In dit Alert zetten wij de belangrijkste gevolgen voor werkgevers daarom voor u op een rij.

De AI-verordening
De AI-verordening is de eerste wetgeving die regels stelt omtrent het gebruik van AI en heeft als doel om de grondrechten, democratie, rechtsstaat en milieuduurzaamheid te beschermen tegen AI-systemen.

De Europese wetgever heeft de volgende definitie in artikel 3 van de AI-verordening opgenomen voor AI: “Software die is ontwikkeld aan de hand van een of meer van de technieken en benaderingen die zijn opgenomen in de lijst van bijlage I en die voor een bepaalde reeks door mensen gedefinieerde doelstellingen output kan genereren, zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee wordt geïnterageerd.”

De definitie die de Europese wetgever hanteert is erg breed; een systeem zal in beginsel al onder de definitie vallen indien het systeem opereert met een bepaalde mate van autonomie. Autonomie houdt in dat het systeem “output” genereert die beïnvloed is door factoren waar de gebruiker geen invloed op heeft. Denk hierbij onder andere aan chatbots, gepersonaliseerde suggesties, maar ook selectiesystemen voor sollicitanten.

De AI-verordening volgt een zogenaamde “risicogebaseerde aanpak”, waarbij onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een beperkt of minimaal risico met zich meebrengen:

• Onaanvaardbaar risico: AI-systemen die een onaanvaardbaar risico met zich brengen, zullen worden verboden. Dit zijn systemen die als een gevaar voor de mens worden beschouwd. Titel II van de AI-verordening bevat een lijst van verboden AI-systemen, zoals systemen die gedrag manipuleren of mensen classificeren op basis van hun uiterlijk of sociale kenmerken.
• Hoog risico: uit de tekst van titel III van de AI-verordening blijkt dat AI-systemen die aanzienlijke schade aan de gezondheid, de veiligheid, de grondrechten, het milieu, de democratie of de rechtsstaat kunnen toebrengen, onder “Hoog Risico” vallen. In bijlage III van de verordening worden categorieën van AI-systemen die kwalificeren als een hoog risico genoemd. De AI-systemen met een hoog risico zullen aan strikte regelgeving onderworpen zijn.
• Beperkt en minimaal risico: voor systemen met een beperkt risico zullen specifieke transparantieverplichtingen worden ingevoerd die ervoor zorgen dat personen, indien nodig, worden geïnformeerd. Zo zal bijvoorbeeld moeten worden aangegeven dat er sprake is van een AI-systeem. De AI-verordening maakt verder het gratis gebruik van AI-systemen met een minimaal risico mogelijk, dit betreft de overgrote meerderheid van de AI-systemen.

AI-systemen op de werkvloer in beginsel gekwalificeerd als hoog risico systemen
Het grootste deel van de AI-verordening is gericht op AI-systemen met een hoog risico. In Bijlage III van de AI-verordening staat beschreven dat AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over promotie en ontslag en voor de toewijzing van taken, monitoring of evaluatie van personen in werkgerelateerde contractuele betrekkingen, ook als systemen met een hoog risico moeten worden geclassificeerd. Deze systemen kunnen namelijk aanzienlijke gevolgen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen.

Waar moet aan worden voldaan indien een hoog-risico systeem op de werkvloer wordt gebruikt?
Indien er gebruik wordt gemaakt van AI-systemen met een hoog risico, zijn er dwingende vereisten waaraan moet worden voldaan. Er wordt in de AI-verordening een onderscheid gemaakt tussen de aanbieder of distributeur van een AI-systeem en een gebruiker. Indien een AI-systeem dat gebruikt wordt op de werkvloer als een hoog-risico systeem kwalificeert en de onderneming geen aanbieder of distributeur is, zullen de regels voor gebruikers van toepassing zijn. Gebruikers van AI-systemen met een hoog risico zijn onder andere verplicht om:

• Het gebruik van AI-systemen te monitoren en bij te houden welke data wordt gebruikt om output te leveren. Indien er aanwijzingen zijn dat het systeem een risico kan betreffen voor de gezondheid, veiligheid of voor de bescherming van grondrechten van personen, dient de aanbieder of distributeur op de hoogte te worden gesteld en mag het systeem niet meer worden gebruikt;
• Te controleren, voor zover de gebruiker de controle heeft, of de inputdata relevant is voor het beoogde doel van het AI-systeem;
• De instructies op te volgen van de aanbieder en het systeem voor de beoogde doeleinden te gebruiken. De aanbieder is verantwoordelijk voor de voorafgaande goedkeuring van de systemen met een hoog risico, registreert het systeem in de daarvoor aangewezen EU-databank en meldt risico’s bij de nationale bevoegde autoriteiten. Indien hiervan wordt afgeweken, zal de gebruiker als aanbieder worden gezien en zal de regelgeving voor aanbieders op de gebruikers van toepassing zijn;
• De personen die worden blootgesteld aan de AI-systemen met een hoog risico, daarover te informeren.

Inwerkingtreding
De AI-verordening zal zoals hiervoor is aangegeven twintig dagen na de bekendmaking ervan in het Publicatieblad van de Europese Unie in werking treden, naar verwachting in de tweede helft van 2024. Hierna zal de AI-verordening gefaseerd van kracht gaan. Een half jaar na de inwerkingtreding zullen de bepalingen over de verboden AI-systemen van kracht zijn. Twee jaar na de inwerkingtreding zullen de overige bepalingen van de verordening van kracht worden, waaronder de regels met betrekking tot AI-systemen met een hoog risico.

Sancties bij niet-naleving
Voor de sancties bij niet-naleving van de AI-verordening is aansluiting gezocht bij de sancties in de AVG. De sancties zijn op grond van artikel 71 van de AI-verordening in beginsel als volgt: tot €30 miljoen of 6% van de totale wereldwijde jaarlijkse omzet voor overtredingen van de verboden AI-systemen, tot €20 miljoen of 4% van de totale wereldwijde jaarlijkse omzet voor overtredingen van de voorschriften of verplichtingen van de AI-verordening of €10 miljoen of 2% van de totale wereldwijde jaarlijkse omzet voor het verstrekken van onjuiste informatie.

Bij het bepalen van de hoogte van de administratieve boete zullen alle relevante omstandigheden van de situatie worden meegenomen, zo wordt onder andere rekening gehouden met de grootte van een onderneming die de inbreuk pleegt.

To do
Indien er gebruik wordt gemaakt van AI-systemen op de werkvloer, zal de AI-verordening verschillende administratieve taken met zich brengen. Ons advies is daarom om alvast de volgende stappen te nemen:

• Nagaan welke AI-systemen op dit moment worden gebruikt en hoe deze worden gekwalificeerd. Denk hierbij onder andere aan onboarding-processen, systemen die HR-taken automatiseren of systemen die worden gebruikt bij de beoordeling van de toekenning van een bonus.
• Nagaan of de AI-systemen die worden gebruikt aan de wettelijke regelgeving voldoen;
• Nagaan of de AI-systemen met een hoog risico voor de juiste doeleinden worden gebruikt;
• Een plan opstellen hoe de systemen zullen worden gemonitord en hoe de logs zullen worden bewaard. Zo kunnen er bijvoorbeeld contractuele afspraken worden gemaakt met de aanbieders van de AI-systemen dat de bewaring van de logs in overeenstemming met artikel 20 van de AI-verordening onder de controle van de aanbieder valt.