Par Sarah Chander, conseillère politique principale, EDRi
Alors que la loi sur l’IA de l’UE entre dans la phase finale des négociations, des batailles clés se posent pour la protection des droits de l’homme. Les règles sur l’utilisation par la police de la technologie de l’IA pour la surveillance sont au cœur du problème, écrit Sarah Chander.
La première législation contraignante sur l’IA dans le monde et susceptible d’affecter les efforts de réglementation à l’échelle mondiale, la loi de l’UE sur l’IA, est maintenant dans la phase finale des négociations.
Alors que l’UE entame des trilogues – les négociations interinstitutionnelles qui déterminent la législation finale – la question clé sera de savoir dans quelle mesure la loi sur l’IA centre les questions de droits de l’homme et les préoccupations des personnes touchées par les systèmes d’IA “à risque”.
En Europe et dans le monde, les systèmes d’IA sont utilisés pour nous surveiller et nous contrôler dans les espaces publics, prédire notre probabilité de criminalité future, “prévenir” la migration, prédire nos émotions et prendre des décisions cruciales qui déterminent notre accès aux services publics, comme l’aide sociale .
Alors que le Parlement européen se lance dans les négociations avec un mandat en matière de droits de l’homme – y compris l’interdiction des technologies à risque comme la reconnaissance faciale en public – certains gouvernements de l’UE cherchent à étendre la capacité de la police à utiliser l’IA pour nous surveiller.
Qui nous protège de la technologie policière?
Quels sont les enjeux pour les personnes soumises à ces systèmes ?
Les limites de l’utilisation de la technologie de surveillance par la police, la mesure dans laquelle les personnes concernées peuvent contester l’utilisation de l’IA et la mesure dans laquelle les entreprises devraient jouer un rôle pour décider de la portée de cette législation feront l’objet d’un débat au cours des prochains mois.
Alors que nous assistons aux conséquences douloureuses et exaspérantes d’un pouvoir policier incontrôlé en France, nous ne pouvons ignorer la descente dans un état de surveillance accrue et de violence mise en place par la police.
Des technologies comme l’IA ne feront qu’alimenter cette réalité de racisme structurel avec plus d’outils, plus de pouvoirs légaux et moins de responsabilité pour la police.
Les systèmes d’IA, en particulier, permettent de nouvelles techniques plus invasives de surveillance et de contrôle.
De l’utilisation de la reconnaissance faciale pour identifier les personnes lorsqu’elles se déplacent librement dans les lieux publics aux systèmes de police prédictive pour décider qui est un criminel avant qu’il ne commette des crimes, l’IA dévoile la possibilité pour les gouvernements d’enfreindre les libertés de manière nouvelle et préjudiciable.
La police prédictive peut renforcer davantage la discrimination
Certains États membres affirment que ces technologies les aideront à lutter contre la criminalité et à retrouver les enfants disparus.
Nous devons nous demander, est-ce que plus de surveillance signifie plus de sécurité ? Qui est le plus en sécurité lorsque l’État est le plus en mesure de nous surveiller ?
L’utilisation croissante de l’IA dans les contextes de police et de migration a d’énormes implications pour la discrimination raciale.
Le déploiement de telles technologies expose les personnes de couleur à plus de surveillance, à des prises de décision plus discriminatoires et à un profilage plus préjudiciable.
Les systèmes d’IA auront des implications sur nos droits de manifester en raison de l’effet dissuasif sur les libertés, ainsi que sur les droits des enfants lorsque la police prédictive cible principalement les jeunes issus de milieux racisés, comme nous le voyons dans le système Top-400 aux Pays-Bas.
Une responsabilité et une sécurité significatives pour le public exigent l’interdiction de ces systèmes nuisibles et invasifs, ainsi qu’une surveillance publique claire de la manière dont la police et le contrôle de l’immigration utilisent les systèmes d’IA.
L’IA pour le peuple ou les profiteurs ?
Même au-delà du contrôle policier et migratoire, l’utilisation de l’IA a la capacité de ruiner des vies.
Comme nous l’avons vu lorsque le gouvernement néerlandais a déployé l’IA pour prédire la fraude parmi les demandeurs d’aide sociale à l’enfance, il existe de nombreux risques lorsque nous déléguons les décisions les plus cruciales à des systèmes automatisés.
Aux Pays-Bas, des parents ont fait l’objet d’enquêtes à tort pour fraude et des personnes ont perdu leurs bouées de sauvetage économiques, qui n’ont toujours pas été entièrement résolues ou prises en compte.
La loi sur l’IA a une certaine capacité à traiter et à prévenir ces dommages majeurs à la vie des gens. La législation se limite à l’IA “à haut risque”, en attachant une série de contrôles techniques à ces systèmes avant leur mise sur le marché.
Cependant, les grandes entreprises technologiques cherchent à saper ce processus. De nombreuses entreprises font pression pour que l’UE introduise des failles dans la définition du “risque élevé”, permettant aux fournisseurs d’IA de décider si leur système est suffisamment “important” pour être soumis à ces règles.
Si les entreprises d’IA, qui ont un intérêt financier à ne pas étiqueter leurs systèmes comme à haut risque, sont autorisées à décider elles-mêmes des étiquettes pour leurs systèmes, alors toute la législation sera compromise.
Il ne faut pas faire confiance aux entreprises d’IA pour s’autoréglementer alors que d’énormes profits sont en jeu pour elles.
En fait, l’ensemble des règles pour l’IA “à haut risque” sera un sujet de débat majeur. Les entreprises et les gouvernements qui utilisent l’IA devront-ils le divulguer ?
Devront-ils mesurer les risques ? Comment les personnes qui ont été lésées par ces systèmes peuvent-elles contester leur utilisation et demander réparation ?
Les organisations demandent des comptes
Pour s’assurer que ces préoccupations figurent en tête des priorités des institutions européennes alors qu’elles se dirigent vers les trilogues, une large coalition de la société civile demande que la loi sur l’IA protège les droits des personnes.
Au total, 150 organisations demandent que la législation responsabilise les gens en établissant un cadre clair de responsabilité, pour prévenir les dommages et assurer la surveillance lorsque l’IA est utilisée par les forces de l’ordre, et pour repousser le lobbying des entreprises cherchant à saper la législation.
La loi sur l’IA est une occasion unique de réglementer une technologie qui a déjà un impact considérable sur la vie des gens.
L’UE doit accorder la priorité aux droits des personnes dans cette législation historique.
Sarah Chander est conseillère politique principale chez European Digital Rights (EDRi).
Chez Euronews, nous pensons que tous les points de vue comptent. Contactez-nous à [email protected] pour envoyer des présentations ou des soumissions et faire partie de la conversation.
