Rappel: Quatre niveaux de risque

L'AI Act classe les systèmes d'IA selon leur risque et définit les obligations légales associées. Pour une entreprise de transport, il est crucial de connaître ces catégories pour choisir des systèmes conformes :

• Risque inacceptable : pratiques interdites

• Haut risque : IA pouvant affecter sécurité, santé ou droits fondamentaux. Nécessite: documentation, gestion des risques, traçabilité et souvent évaluation de conformité.

• Risque limité : IA non critique mais pouvant influencer l'utilisateur . Obligation d'informer l'utilisateur et de conserver la traçabilité des décisions importantes.

• Risque minimal : IA à usage interne ou décisionnel non critique. Peu de contraintes supplémentaires au-delà des bonnes pratiques de sécurité et protection des données.

I. Systèmes à "risque inacceptable" 

Les sytèmes d'IA à risque innacceptable sont tout simplement interdits. Il s'agit de systèmes qui permettent les pratiques interdites suivantes:

1. Techniques manipulatrices ou subliminales :

   • IA qui manipule ou trompe une personne pour qu'elle prenne des décisions qu'elle n'aurait pas prises, causant un préjudice important.

2. Exploitation des vulnérabilités :

   • IA qui profite de l'âge, handicap, situation sociale ou économique pour influencer le comportement et causer un préjudice.

3. Systèmes de « note sociale » :

   • IA qui évalue ou classe des personnes selon leur comportement social ou traits personnels, entraînant un traitement injuste ou disproportionné.

4. Évaluation prédictive du risque criminel :

   • IA qui prédit la probabilité qu'une personne commette un crime uniquement via son profil ou ses traits personnels (sauf support d'évaluation humaine fondée sur des faits concrets).

5. Bases de données faciales massives :

   • IA qui collecte des images faciales sur Internet ou vidéosurveillance sans ciblage spécifique.

6. Inférence des émotions dans certains contextes :

   • IA qui détecte les émotions au travail ou à l'école, sauf pour raisons médicales ou de sécurité.

7. Catégorisation biométrique sensible :

   • IA qui déduit race, opinions politiques, croyances religieuses, vie sexuelle, orientation sexuelle à partir de données biométriques (hors usage légal ou répressif prévu).

8. Identification biométrique à distance en public :

   • IA utilisée pour identifier des personnes en temps réel dans l'espace public, sauf pour :

     • Recherche de victimes d'enlèvement ou de personnes disparues

     • Prévention de menace imminente à la vie ou risque terroriste

     • Enquête criminelle sur infractions graves avec peine ≥ 4 ans

II. Systèmes à "haut risque":

Ces systèmes sont autorisés sous certaines conditions et procédures très strictes que les fournisseurs et les déployeurs doivent respecter. Ici nous mettrons l'accent sur les obligations que les déployeurs ( notamment les entreprises) doivent respecter.

Domaines des systèmes d'IA à haut risque : Les systèmes d'IA à haut risque, sont les systèmes d'IA répertoriés dans l'un des domaines suivants:

1. Biométrie :

   • Identification biométrique à distance (hors simple vérification d'identité)

   • Catégorisation biométrique basée sur attributs sensibles

   • Reconnaissance des émotions

2. Infrastructures critiques :

   • IA dans la sécurité et la gestion des infrastructures numériques, trafic routier, eau, gaz, chauffage, électricité

3. Éducation et formation :

   • IA pour admission, affectation ou orientation des étudiants

   • Évaluation des acquis et du niveau d'enseignement

   • Surveillance des comportements interdits lors d'examens

4. Emploi et gestion du personnel :

   • IA pour recrutement, sélection, filtrage de candidatures

   • IA pour décisions sur conditions de travail, promotion, licenciement, suivi et évaluation des performances

5. Services essentiels et prestations sociales :

   • IA pour évaluer l'éligibilité aux aides sociales, soins de santé

   • IA pour évaluer la solvabilité ou établir la note de crédit (hors détection de fraude)

   • IA pour tarification et gestion des risques en assurance vie et santé

   • IA pour priorisation des appels d'urgence et tri des patients

6. Répression et sécurité publique :

   • IA pour évaluer le risque qu'une personne devienne victime ou commette une infraction

   • IA utilisée comme polygraphe ou pour évaluer fiabilité des preuves

   • Profilage de personnes pour enquêtes ou exécution de sanctions

7. Migration, asile et frontières :

   • IA pour évaluer les risques liés à l'entrée sur le territoire

   • IA pour examiner demandes d'asile, visas, titres de séjour

   • IA pour détection, reconnaissance ou identification des personnes (hors vérification de documents)

8. Justice et processus démocratiques :

   • IA pour aider à la recherche ou interprétation juridique

   • IA pour influencer le vote ou les résultats électoraux (hors usage administratif ou logistique)

Systèmes d'IA à haut risque: Vos obligations en tant qu'entreprise (déployeur) : 

1. Conformité à la notice d'utilisation :

   • Utiliser les systèmes d'IA selon les instructions du fournisseur et les exigences légales.

2. Contrôle humain :

   • Assurer que des personnes compétentes et formées supervisent l'IA.

3. Autonomie organisationnelle :

   • Les entreprises peuvent organiser leurs ressources pour respecter les obligations de contrôle humain.

4. Qualité des données :

   • S'assurer que les données d'entrée sont pertinentes et représentatives pour le système.

5. Surveillance et signalement :

   • Surveiller le fonctionnement de l'IA selon la notice.

   • Informer immédiatement le fournisseur et les autorités en cas de risque ou d'incident grave, et suspendre l'utilisation si nécessaire.

   • Les établissements financiers peuvent utiliser leurs mécanismes internes de gouvernance pour cette surveillance.

6. Conservation des journaux :

   • Tenir les journaux générés par le système au moins six mois, sauf règles spécifiques.

   • Les établissements financiers peuvent intégrer ces journaux dans leur documentation réglementaire.

7. Information des travailleurs :

   • Avant déploiement sur le lieu de travail, informer les travailleurs et leurs représentants de l'usage de l'IA.

8. Systèmes publics ou de l'UE :

   • Vérifier que le système est enregistré dans la base de données de l'UE.

   • Ne pas utiliser un système non enregistré et en informer le fournisseur.

9. Protection des données :

   • Utiliser les informations fournies pour réaliser l'analyse d'impact sur la protection des données personnelles.

10. Identification biométrique à distance a posteriori :

    • Nécessité d'une autorisation judiciaire ou administrative ex ante ou dans les 48 h.

    • Limiter l'usage aux enquêtes spécifiques sur des infractions.

    • Interdiction d'usage non ciblé ou pour décisions juridiques défavorables basées uniquement sur l'IA.

    • Documenter chaque utilisation et rapporter annuellement aux autorités.

11. Information des personnes concernées :

    • Informer les individus soumis à la décision assistée par IA à haut risque.

    • Pour usage répressif, respecter les règles de protection des données spécifiques.

12. Coopération avec les autorités :

    • Collaborer avec les autorités pour la mise en œuvre du règlement et toute mesure de contrôle.

Attention aux "risques d'illusions":

Le fait qu'un logiciel soit commercialisé mondialement ne garantit pas sa conformité à l'AI Act pour votre usage spécifique. La conformité dépend de :

• Mode d'utilisation

• Données traitées

• Environnement opérationnel

• Garanties contractuelles

Demandez aux fournisseurs la documentation technique et une déclaration de conformité adaptée à votre cas d'usage.

Checklist pratique avant de déployer (utiliser) un système d'IA — pour votre entreprise

1. Identifier la finalité du système

   • Déterminez si l'IA sert uniquement à optimiser vos opérations internes (planification, suivi de flotte) ou si elle prend des décisions pouvant affecter la sécurité, la santé ou les droits des personnes (ex. décisions automatiques sur la conduite, accès ou sanctions).

2. Classer le niveau de risque

   • Vérifiez si le système est potentiellement « high-risk » selon l'Annexe III de l'AI Act.

   • Si oui, préparez-vous à fournir la documentation, à gérer les risques, à garantir la traçabilité et à réaliser une évaluation de conformité avant déploiement.

3. Éviter les pratiques interdites

   • Ne pas utiliser la reconnaissance faciale en direct.

   • Ne pas mettre en place de social scoring ou de notation automatique des passagers.

   • Ne pas évaluer les émotions ou l'état psychologique des employés sans procédures médicales et consentement.

4. Données et protection

   • Documentez l'origine et le contenu des jeux de données.

   • Minimisez l'usage de données sensibles.

   • Sécurisez les données et respectez le RGPD.

5. Transparence et traçabilité

   • Informez les utilisateurs et opérateurs qu'ils interagissent avec une IA.

   • Conservez un journal des décisions importantes pour pouvoir justifier vos choix en cas d'audit.

6. Clauses contractuelles avec les fournisseurs

   • Demandez des garanties sur la conformité de leurs systèmes.

   • Assurez-vous que les fournisseurs peuvent fournir audits et documentation technique nécessaires pour votre dossier de conformité.

7. Tester et piloter

   • Déployez d'abord le système sur une échelle réduite.

   • Surveillez ses performances et sa fiabilité (précision, taux d'erreurs, incidents de sécurité).

   • Maintenez une supervision humaine pour corriger ou stopper le système si nécessaire.

8. Consulter un juriste spécialisé

   • Pour tout système potentiellement « high-risk » ou ambigu, faites une analyse juridique et technique avant la mise en service.

Sanctions et mesures d'exécution pour les violations du règlement IA

1. Régime national des sanctions :

   • Chaque État membre définit les sanctions et mesures d'exécution pour les violations, pouvant inclure des avertissements et des mesures non monétaires.

   • Les sanctions doivent être effectives, proportionnées et dissuasives, en tenant compte de l'impact sur les PME et start-ups.

2. Notification à la Commission :

   • Les États membres doivent informer la Commission de leur régime de sanctions et de toute modification, sans retard.

3. Amendes pour pratiques à risque inacceptable :

   • Non-respect de l'interdiction des systèmes d'IA à risque inacceptable (article 5) :

     • Jusqu'à 35 millions €

     • Ou jusqu'à 7 % du chiffre d'affaires annuel mondial de l'entreprise (le montant le plus élevé est retenu).

VOIR AUSSI