Al in 2021 heeft de Europese Commissie een voorstel gedaan voor nieuwe wetgeving om het gebruik van artificiële (of kunstmatige) intelligentie aan banden te leggen. In december 2023 heeft de Europese Commissie een voorlopig akkoord bereikt over de nieuwe AI-wetgeving. Aangezien de AI-verordening (“AI Act”) officieel nog moet worden goedgekeurd door de Raad en het Parlement van de EU én nog gepubliceerd moet worden voor inwerkingtreding van de verordening, zullen de regels waarschijnlijk pas vanaf 2026 gaan gelden. Het is de eerste AI-wetgeving ter wereld. Er is qua inrichting van de regelgeving veel overlap met de al bestaande Algemene verordening gegevensbescherming (AVG).
AI kan op verschillende manieren worden gebruikt en niet elke toepassing heeft dezelfde risico’s. In de AI Act worden daarom drie categorieën AI-systemen onderscheiden, afhankelijk van het risico voor de mens en samenleving. Kort gezegd, bij minder risico mag meer.
Categorie 1: onaanvaardbaar risico
Classificatie van mensen op basis van hun gedrag (social credit scoring), manipulatie van personen of specifieke kwetsbare groepen en biometrische systemen voor identificatie op afstand door gezichtsherkenning (realtime biometrie) is in geen enkel geval toegestaan. Bij hoge uitzondering mogen de politie en veiligheidsdiensten drones en camera’s inzetten bij het vervolgen van verdachten, het opsporen van veroordeelden of het bestrijden van zeer ernstige misdrijven of terrorisme.
Let als ondernemer in elk geval op het volgende:
Categorie 2: hoog risico
Als een AI-systeem geen onaanvaardbare risico’s heeft, maar wel de gezondheid, veiligheid, democratie, het milieu of grondrechten kan schaden, moet er een “Fundamental Rights and Algorithms Impact Assessment” (FRAIA) worden gemaakt. Daarmee worden de risico’s van het AI-systeem in kaart gebracht. Zo’n assessment kennen we al van de AVG, waarbij de risico’s van de verwerking van persoonsgegevens in kaart moeten worden gebracht. Overigens is de AVG ook van toepassing wanneer het AI-systeem persoonsgegevens verwerkt, ook als al een FRAIA moet worden uitgevoerd. Er moeten dan dus twee beoordelingen worden gedaan.
Daarnaast gelden er voor AI-systemen met een hoog risico bepaalde compliance verplichtingen. Zo moet er altijd menselijk toezicht zijn en gelden er verplichtingen voor het documenteren en bewaren van logs die door het systeem zijn gemaakt (logging). Ook moet er verantwoording worden afgelegd en moet het AI-systeem aan een bepaalde kwaliteit voldoen. In de voorgestelde AI Act staan verder verplichtingen voor importeurs, distributeurs en gebruikers van AI-systemen. Wie precies welke verplichtingen heeft zal pas duidelijk worden zodra de EU de definitieve AI Act publiceert.
In de AI Act staan ook een aantal rechten van burgers opgenomen. Zo hebben burgers het recht om klachten in te dienen bij ondernemingen die AI-systemen gebruiken en kunnen ze uitleg verzoeken over de beslissingen die hen raken en zijn genomen met behulp van het AI-systeem.
Categorie 3: laag risico
Als een AI-systeem geen bijzondere risico’s met zich brengt, geldt er een transparantieverplichting. Het moet voor mensen duidelijk zijn dat bepaalde inhoud of deepfakes door AI zijn gemaakt. Op welke manier aanbieders van AI-systemen dat praktisch moeten doen is nog onduidelijk.
Belangrijk om nog te vermelden, is dat de AI Act in beginsel niet van toepassing is op opensourcemodellen zoals Chat GPT. Voor opensourcemodellen geldt de transparantieverplichting dus niet. Wanneer deze modellen zodanig worden toegepast dat er een hoog risico bestaat voor de mens en samenleving, zijn de verplichtingen van AI Act wel van toepassing.
Toezicht en boetes
Net als bij de AVG zijn de lidstaten verplicht zelf toezicht te houden op de naleving van de Europese regels. De nationale toezichthouders kunnen een boete van maximaal 35 miljoen euro per overtreding opleggen of een boete van 7% van de wereldwijde omzet van het concern waartoe de overtredende onderneming behoort. Voor kleine administratieve overtredingen geldt een maximum 7,5 miljoen euro of 1,5% van de wereldwijde omzet. De Autoriteit Persoonsgegevens zal waarschijnlijk worden aangewezen als de bevoegde toezichthouder in Nederland.
Tot slot
De AI Act legt het gebruik van AI-systemen aan banden door systemen met onaanvaardbare risico’s te verbieden en verplichtingen op te leggen aan ondernemingen die gebruik (gaan) maken van AI. Hoewel deze verboden en verplichtingen waarschijnlijk pas in 2026 gaan gelden (en de regels voor AI-systemen met een hoog risico pas twee jaar later), is het verstandig om daar nu al rekening mee te houden binnen je bedrijf. Tot die tijd houden we je op de hoogte van alle ontwikkelingen rondom de AI Act.
Heb je vragen over de AI Act of hulp nodig bij het uitvoeren van een FRAIA? Neem dan contact op met één van onze specialisten.
Juridisch advies is altijd maatwerk. Deze blog bevat algemene informatie. Hoewel het artikel met veel aandacht en zorgvuldigheid is geschreven, is het verstandig om in een voorkomend geval altijd deskundig juridisch advies in te winnen (lees onze disclaimer).
