[column] AI: het speelkwartier is over

De tijd van louter experimenteren en innoveren met AI zonder duidelijke grenzen is voorbij. Bedrijven moeten deze nieuwe realiteit onder ogen zien: AI implementeren vereist meer dan alleen technische kundigheid, het vraagt ook om een verantwoorde benadering.

Recent onderzoek van de Hogeschool van Amsterdam, geleid door Diptish Dey, werpt licht op de uitdagingen die vele organisaties – met name in het mkb – ondervinden bij het voldoen aan deze nieuwe wetgeving. Uit de resultaten blijkt dat de gemiddelde compliance score van bedrijven slechts 56 procent is, wat aantoont dat er nog veel werk aan de winkel is.

Veel AI-systemen die webwinkels momenteel inzetten, zoals aanbevelingssystemen en klantsegmentatietools, vallen mogelijk onder de restricties. De EU-AI Act verbiedt bepaalde toepassingen, tenzij kan worden aangetoond dat ze geen nadelige invloed hebben op (groepen) personen. Zo verbiedt de wet het gebruik van AI om individuen te 'scoren' op basis van demografische en gedragskenmerken, als dit discriminatie bevordert of gedrag manipuleert voor commercieel voordeel ten koste van de consument.

Bovendien worden AI-systemen voor het beoordelen van kredietwaardigheid en het automatisch classificeren van sollicitanten als hoog-risico beschouwd. Deze systemen zijn onderworpen aan strenge vereisten op het gebied van onder andere risicobeheer, datamanagement, technische documentatie en transparantie. Het is daarom van belang dat deze AI-modellen voortdurend worden gecontroleerd en indien nodig bijgewerkt om te verzekeren dat ze eerlijk en rechtvaardig (blijven) functioneren.

Een specifiek aandachtspunt is de praktijk van het outsourcen van de ontwikkeling van AI-modellen. Veel bedrijven kiezen ervoor om deze activiteiten naar offshore locaties te verplaatsen vanwege kostenoverwegingen (bijvoorbeeld naar landen in Azië), maar dit kan de naleving van de EU-AI Act bemoeilijken.

Juridische en ethische normen kunnen variëren tussen landen en regio's, wat leidt tot potentiële non-compliance risico's. Verder blijkt dat veel organisaties de mate waarin ze voldoen aan de nieuwe wetgeving overschatten en onvoldoende structurele aanpassingen doorvoeren.

Een veel voorkomend voorbeeld hiervan is het ‘naleving aan het einde’ fenomeen, waarbij onder andere technische documentatie pas aan het einde van het ontwikkelingsproces wordt opgesteld. Om echt aan de EU-AI Act te voldoen, moeten organisaties overstappen op een model van continue evaluatie en aanpassing, waarbij het regelmatig updaten en beoordelen van AI-systemen de norm wordt.

Een verantwoorde inzet van AI is voor webwinkels nu belangrijker dan ooit. Het gaat niet alleen om het aanpassen van bestaande AI-systemen of het periodiek herzien ervan, maar ook om het grondig investeren in training en bewustmaking van medewerkers over de implicaties van de EU-AI Act voor hun dagelijkse werkzaamheden.

Binnen nu en drie jaar moeten alle relevante AI-systemen volledig voldoen aan deze wetgeving, en voor sommige systemen geldt zelfs een kortere termijn. Het speelkwartier is echt over!

Jesse Weltevreden
professor Digital Commerce aan de Hogeschool van Amsterdam
directeur van het Centre for Market Insights

• dr. Jesse Weltevreden is verantwoordelijk voor een onderzoeksgroep die onder andere onderzoek doet naar digitale transformatie in de retail, marketplaces, data-driven marketing, sustainable marketing en responsible applied AI.

Met dank aan onze zustertitel Twinkle. Beeld: Markus Winkler / Unsplash