AI: – Systeem met « onaanvaardbaar risico » en systeem met « hoog risico » - Praktische gids en checklist

Herinnering: Vier risiconiveaus
De AI Act deelt AI-systemen in volgens hun risiconiveau en bepaalt de bijbehorende wettelijke verplichtingen. Voor een transportbedrijf is het essentieel om deze categorieën te kennen om conforme systemen te kiezen:
- Onaanvaardbaar risico: verboden praktijken.
- Hoog risico: AI die een impact kan hebben op veiligheid, gezondheid of grondrechten. Vereist: documentatie, risicobeheer, traceerbaarheid en vaak een conformiteitsbeoordeling
- Beperkt risico: niet-kritische AI die de gebruiker kan beïnvloeden. Verplichting om de gebruiker te informeren en belangrijke beslissingen traceerbaar te houden.
- Minimaal risico: AI voor intern gebruik of niet-kritische besluitvorming. Weinig extra verplichtingen, behalve het respecteren van goede praktijken inzake veiligheid en gegevensbescherming.
I. Systemen met een "onaanvaardbaar risico
AI-systemen met een onaanvaardbaar risico zijn eenvoudigweg verboden. Het gaat om systemen die een van de volgende verboden praktijken mogelijk maken:
Manipulatieve of subliminale technieken:
AI die een persoon manipuleert of misleidt zodat hij beslissingen neemt die hij anders niet zou nemen, met aanzienlijk nadeel tot gevolg.
Misbruik van kwetsbaarheden:
AI die misbruik maakt van leeftijd, handicap of sociale of economische kwetsbaarheid om gedrag te beïnvloeden en schade te veroorzaken.
Social scoring-systemen:
AI die personen beoordeelt of rangschikt op basis van sociaal gedrag of persoonlijke kenmerken, wat leidt tot oneerlijke of disproportionele behandeling.
Voorspellende beoordeling van criminaliteitsrisico:
AI die de kans voorspelt dat iemand een misdrijf zal plegen louter op basis van een profiel of persoonlijke kenmerken (behalve wanneer er menselijke beoordeling is op basis van concrete feiten).
Grootschalige gezichtsdatabases:
AI die massaal gezichtsbeelden verzamelt via internet of videobewaking zonder specifieke doelgerichtheid.
Emotieherkenning in bepaalde contexten:
AI die emoties detecteert op de werkvloer of in scholen, behalve om medische of veiligheidsredenen.
Biometrische categorisering van gevoelige kenmerken:
AI die ras, politieke opvattingen, religieuze overtuigingen, seksleven of seksuele geaardheid afleidt uit biometrische gegevens (behalve wanneer wettelijk toegestaan voor rechtshandhaving).
Biometrische identificatie op afstand in openbare ruimtes:
AI die personen in real time identificeert in de openbare ruimte, behalve voor:
-
Opsporing van ontvoerde of vermiste personen
-
Preventie van een onmiddellijke bedreiging van leven of terroristisch risico
-
Strafrechtelijk onderzoek naar zware misdrijven met een straf ≥ 4 jaar
II. Systemen met een "hoog risico"
Deze systemen zijn toegestaan onder zeer strikte voorwaarden en procedures die zowel aanbieders als gebruikers moeten naleven. Hier leggen we de nadruk op de verplichtingen die gebruikers (met name ondernemingen) moeten respecteren.
Domeinen van hoogrisico-AI-systemen:
Hoogrisico-AI-systemen zijn de AI-systemen die voorkomen binnen één van de volgende domeinen:
Biometrie:
-
Biometrische identificatie op afstand (uitgezonderd eenvoudige identiteitsverificatie)
-
Biometrische categorisering op basis van gevoelige kenmerken
-
Emotieherkenning
Kritieke infrastructuren:
-
AI voor de beveiliging en het beheer van digitale infrastructuren, wegverkeer, water, gas, verwarming en elektriciteit
Onderwijs en opleiding:
-
AI voor toelating, plaatsing of studieoriëntatie
-
AI voor evaluatie van leerresultaten en onderwijsniveau
-
AI voor detectie van verboden gedrag tijdens examens
Werkgelegenheid en personeelsbeheer:
-
AI voor rekrutering, selectie en filtering van sollicitaties
-
AI voor beslissingen over arbeidsvoorwaarden, promoties, ontslag, opvolging en prestatie-evaluatie
Essentiële diensten en sociale voorzieningen:
-
AI voor beoordeling van de toekenningsvoorwaarden voor sociale bijstand of gezondheidszorg
-
AI voor beoordeling van kredietwaardigheid of toekenning van krediet (uitgezonderd fraudedetectie)
-
AI voor tarifering en risicobeheer in levens- en ziektekostenverzekeringen
-
AI voor prioritering van noodoproepen en triage van patiënten
Rechtshandhaving en openbare veiligheid:
-
AI voor beoordeling van het risico dat iemand slachtoffer wordt of een misdrijf pleegt
-
AI gebruikt als leugendetector of voor beoordeling van de betrouwbaarheid van bewijzen
-
Profilering van personen voor onderzoeken of uitvoering van sancties
Migratie, asiel en grenzen:
-
AI voor beoordeling van risico's bij grensoverschrijding
-
AI voor het behandelen van aanvragen voor asiel, visa of verblijfsvergunningen
-
AI voor detectie, herkenning of identificatie van personen (uitgezonderd documentverificatie)
Justitie en democratische processen:
-
AI ter ondersteuning van juridische research of interpretatie
-
AI om stemgedrag of verkiezingsresultaten te beïnvloeden (uitgezonderd administratieve of logistieke doeleinden)
Hoogrisico-AI-systemen: Uw verplichtingen als onderneming (gebruiker):
Naleving van de gebruiksaanwijzing:
Gebruik AI-systemen volgens de instructies van de leverancier en de wettelijke vereisten.
Menselijk toezicht:
Zorg ervoor dat gekwalificeerde en getrainde personen de AI superviseren.
Organisatorische autonomie:
Ondernemingen kunnen hun middelen organiseren om te voldoen aan de verplichtingen inzake menselijk toezicht.
Kwaliteit van de gegevens:
Zorg ervoor dat de ingevoerde gegevens relevant en representatief zijn voor het systeem.
Monitoring en rapportage:
-
Houd de werking van de AI in de gaten volgens de gebruiksaanwijzing.
-
Informeer onmiddellijk de leverancier en de autoriteiten bij risico's of ernstige incidenten en schort het gebruik indien nodig op.
-
Financiële instellingen kunnen hun interne governance-mechanismen gebruiken voor deze monitoring.
Bewaren van logs:
-
Bewaar de door het systeem gegenereerde logs minstens zes maanden, tenzij specifieke regels anders bepalen.
-
Financiële instellingen kunnen deze logs integreren in hun reglementaire documentatie.
Informatie aan werknemers:
Informeer werknemers en hun vertegenwoordigers vóór de inzet van AI op de werkplek over het gebruik van het systeem.
Publieke of EU-systemen:
-
Controleer of het systeem geregistreerd is in de EU-database.
-
Gebruik geen niet-geregistreerd systeem en informeer de leverancier hierover.
Gegevensbescherming:
Gebruik de verstrekte informatie om de gegevensbeschermingseffectbeoordeling (DPIA) uit te voeren.
Achteraf biometrische identificatie op afstand:
-
Vereist voorafgaande gerechtelijke of administratieve toestemming of binnen 48 uur.
-
Beperk het gebruik tot specifieke onderzoeken van misdrijven.
-
Verboden voor niet-doelgericht gebruik of juridische beslissingen die uitsluitend op AI zijn gebaseerd en nadelig zijn.
-
Documenteer elk gebruik en rapporteer jaarlijks aan de autoriteiten.
Informatie aan betrokkenen:
Informeer individuen die onderworpen zijn aan beslissingen ondersteund door hoogrisico-AI.
-
Voor repressief gebruik gelden specifieke gegevensbeschermingsregels.
Samenwerking met autoriteiten:
Werk samen met de autoriteiten bij de implementatie van de verordening en alle controlemaatregelen.
Let op "illusierisico's":
Het feit dat een software wereldwijd op de markt wordt gebracht, garandeert niet dat deze conform de AI Act is voor uw specifieke gebruik. Conformiteit hangt af van:
-
Gebruiksmodus
-
Verwerkte gegevens
-
Operationele omgeving
-
Contractuele garanties
Vraag bij de leveranciers de technische documentatie en een conformiteitsverklaring die is afgestemd op uw specifieke gebruikssituatie.
Praktische checklist vóór de inzet (gebruik) van een AI-systeem — voor uw onderneming
Identificeer het doel van het systeem
Bepaal of de AI enkel wordt gebruikt om uw interne processen te optimaliseren (planning, vlootbeheer) of dat het beslissingen neemt die de veiligheid, gezondheid of rechten van personen kunnen beïnvloeden (bijv. automatische beslissingen over rijden, toegang of sancties).
Classificeer het risiconiveau
Controleer of het systeem mogelijk als "hoog risico" wordt beschouwd volgens Bijlage III van de AI Act.
Indien ja, bereid u voor om documentatie te verstrekken, risico's te beheren, traceerbaarheid te waarborgen en een conformiteitsbeoordeling uit te voeren vóór inzet.
Vermijd verboden praktijken
-
Gebruik geen live gezichtsherkenning.
-
Voer geen social scoring of automatische beoordeling van passagiers in.
-
Beoordeel geen emoties of psychologische toestand van werknemers zonder medische procedures en toestemming.
Gegevens en bescherming
-
Documenteer de herkomst en inhoud van datasets.
-
Minimaliseer het gebruik van gevoelige gegevens.
-
Beveilig de gegevens en respecteer de GDPR.
Transparantie en traceerbaarheid
-
Informeer gebruikers en operators dat zij met een AI-systeem interageren.
-
Houd een logboek bij van belangrijke beslissingen om keuzes te kunnen verantwoorden bij een audit.
Contractuele clausules met leveranciers
-
Vraag garanties over de conformiteit van hun systemen.
-
Zorg ervoor dat leveranciers audits en technische documentatie kunnen leveren die nodig zijn voor uw conformiteitsdossier.
Testen en pilotprojecten
-
Zet het systeem eerst op kleine schaal in.
-
Bewaak prestaties en betrouwbaarheid (nauwkeurigheid, foutpercentages, veiligheidsincidenten).
-
Handhaaf menselijk toezicht om het systeem indien nodig bij te sturen of stop te zetten.
Raadpleeg een gespecialiseerde jurist
-
Voor elk potentieel hoogrisico- of ambigu systeem voert u een juridische en technische analyse uit vóór ingebruikname.
Sancties en handhavingsmaatregelen bij overtreding van de AI-verordening
Nationaal sanctieregime:
Elk lidstaat bepaalt de sancties en handhavingsmaatregelen bij overtredingen, die waarschuwingen en niet-geldelijke maatregelen kunnen omvatten.
Sancties moeten doeltreffend, proportioneel en afschrikwekkend zijn, met inachtneming van de impact op KMO's en start-ups.
Melding aan de Commissie:
Lidstaten moeten de Commissie informeren over hun sanctieregime en over eventuele wijzigingen zonder vertraging.
Boetes voor praktijken met onaanvaardbaar risico:
Niet-naleving van het verbod op AI-systemen met onaanvaardbaar risico (artikel 5):
-
Tot € 35 miljoen
-
Of tot 7% van de wereldwijde jaaromzet van het bedrijf (het hoogste bedrag geldt).


