IA : Que se passe-t-il quand l’algorithme se trompe et produit des discriminations ?

Dans la vie quotidienne nous interagissons de plus en plus avec l'intelligence artificielle (ci-après « IA » ou, en anglais, « Artificial Intelligence »), souvent sans nous en rendre compte : pensons, par exemple, à la conversation avec Alexa ou Siri ou à l'utilisation de Google Assistant.

Alexa, Siri ou Google Assistant, pour n'en citer que quelques-uns, sont tous des exemples de « chabots prédictifs ou conversationnels » (littéralement « robots de conversation »), qui utilisent des algorithmes d'intelligence artificielle pour converser avec des utilisateurs humains et fournir des réponses qui pourraient être données par un être humain « réel », en chair et en os.

En plus d’avoir un impact aussi fort et presque totalisant sur notre vie quotidienne et d'être utilisée dans des secteurs très variés, en passant du commerce à la médecine, du marché financier à la robotique, des transports à la recherche scientifique, l'IA touche de plus en plus les différents domaines du droit et en particulier le droit du travail.

L’impact de l’IA sur le droit du travail ne peut qu’être inévitable, car il s’agit d’un droit qui peut être défini comme un « droit vivant », dans le sens qu’il suit toujours l’évolution de la société et ses changements, qu’ils soient sociaux, culturels, politiques, éthiques ou technologiques.

À ce propos, la doctrine a souligné à juste titre que « la relation entre l’IA et le droit est une question que toutes les régions du monde abordent avec des approches hétérogènes, allant du laisser-faire à la réglementation centralisée »₁.

D’un point de vue purement patronal/entrepreneurial, l'IA est conçue comme un outil permettant de faciliter et de simplifier la vie professionnelle des entreprises, d'économiser les coûts y afférents et d'accroître l'efficacité et la productivité de l'entreprise.

À cet égard, il suffit de rappeler que, selon une étude réalisée par le Parlement européen, l'augmentation de la productivité du travail due à l'IA est estimée entre 11 et 37 % d'ici 2035.

L’impact de l’Intelligence artificielle sur le droit du travail

En d’autres termes, les algorithmes dont se sert l’IA sont créés pour faciliter et simplifier, car ils permettent d’évaluer de grandes quantités de données en très peu de temps, tout en limitant l'arbitraire des décisions humaines et en améliorant la précision et la qualité des évaluations, le tout à un coût bien moindre.

Quand l'IA n'est pas infaillible...

Toutefois, ces outils artificiels ne sont pas infaillibles, ni exempts d'erreurs : que se passe-t-il lorsque l'algorithme se trompe et surtout lorsqu'il produit des décisions discriminatoires ? L'employeur est-il en quelque sorte responsable ? Quelle est, à l'heure actuelle, la position de la jurisprudence sur la discrimination algorithmique ?

Cet article se propose d’offrir un aperçu le plus complet et exhaustif possible sur l’utilisation d’algorithmes dans les relations de travail, et en particulier, sur les décisions discriminatoires produites par ces derniers, pour ensuite analyser les arrêts les plus intéressants de la jurisprudence italienne.

Il faut tout d’abord noter que l’intelligence artificielle (ou « IA ») est définie comme « l’aptitude d’un système à montrer des capacités humaines, comme le raisonnement, l’apprentissage, la planification et la créativité », comme prévu par une disposition spécifique, la norme ISO/IEC 42001 :2023- Information technology - Artificial intelligence Management System (AIMS).

Le Règlement de l’Union Européenne n. 1689/2024 du Parlement européen et du Conseil du 13 juin 2024 a fourni une définition encore plus précise de « IA », c’est-à-dire « une famille de technologies en évolution rapide qui contribue à la réalisation d'un large éventail d'avantages économiques, environnementaux et sociaux dans toute la gamme des activités industrielles et sociales ».

Qu’entend-on pour « algorithme » utilisé par l’IA ? Au niveau général, l’algorithme peut se définir comme une « séquence d'instructions codées par un logiciel et destinées à un ordinateur »₂.

Concrètement, il s’agit d’une séquence de données/instructions de type logico-mathématique.

Il faut donc comprendre - et c’est le cœur de cet article - comment ces systèmes, qui sont apparemment neutres et automatiques, presque dépersonnalisés et donc non influencés par des facteurs externes, peuvent produire des décisions inexactes, erronées ou même discriminatoires.

Cela dépend essentiellement du fait que l’algorithme est guidé par l’homme, qui fait des choix et prend des décisions qui comportent nécessairement une composante discrétionnaire, personnelle et subjective, comme le choix des données à saisir, des critères de référence, de leur combinaison, etc.

En essayant de simplifier au maximum, on pourrait dire que l’algorithme prend des décisions non de façon autonome et indépendante, mais il résulte nécessairement influencé par les convictions/inclinations de son programmeur qui, en fait, y a introduit des données et des informations sur la base de sa personnalité/inclination/conception personnelle des sujets les plus divers.

Par conséquent, comme cela a été exprimé de manière très claire par la doctrine, « la prise de décisions de la part de l’algorithme pourrait résulter entachée de préjudices, ainsi que d’attitudes discriminatoires éventuellement inhérents à la personnalité des programmeurs »₃.

Tout dépend des données qui sont insérées à l’intérieur de l’algorithme, ainsi que de leur degré de précision, de leur fiabilité et de leur être « politically correct » (c’est-à-dire irréprochables). En d’autres termes, il est évident que si les données à partir desquelles l’algorithme doit apprendre ne sont pas neutres ou inexactes ou discriminatoires, les résultats produits par l’élaboration de l’algorithme auront par conséquent un potentiel discriminatoire.₄

Recrutement, évaluations… Les cas d’erreurs commises par l’IA en Italie

À cet égard, la jurisprudence regorge d’exemples d’algorithmes qui ont pris des décisions « politically incorrect » ou discriminatoires, car ils ont été utilisés à tort par l’employeur, à la fois dans des processus de recrutement, c'est-à-dire de sélection du personnel, et dans des systèmes d'évaluation de la réputation basés sur les évaluations des clients dans le contexte du travail sur plateforme.  

À titre d’exemple, le Tribunal de Bologne a reconnu le caractère discriminatoire de l'algorithme Frank (ainsi appelé) adopté par Deliveroo, une société bien connue de livraison de nourriture à domicile, car cet algorithme, en exigeant des riders qui respectent la session de travail réservée et qui se connectent dans les 15 minutes suivant le début de la session dans la zone de travail, il pénalisait en fait leur adhésion pleinement légitime à des formes d'autodéfense collective et, en particulier, à l'abstention totale du travail coïncidant avec la session réservée (Tribunal de Bologne, chambre sociale, arrêt du  31 décembre 2020).

En d’autres termes, le rider qui faisait la grève pendant la session réservée ou qui ne pouvait pas participer à la session pour d'autres raisons légitimes (par exemple, maladie ou besoins liés à un enfant mineur) était lourdement pénalisé par l'algorithme, en étant rétrogradé dans le groupe de réservation, voyant ainsi ses opportunités de travail futures sévèrement limitées.

Selon le Tribunal de Bologne, l’algorithme Frank produisait une « discrimination indirecte », qui, on rappelle, peut se configurer lorsqu’une disposition apparemment neutre - dans le cas d’espèce, la règle contractuelle relative à l'annulation anticipée des séances réservées par les riders - place une certaine catégorie de travailleurs - à savoir les coureurs qui décident de faire la grève - dans une position potentiellement particulièrement désavantageuse.

À la suite du recours proposé par les organisations syndicales adhérentes à la CGIL et confirmé par le Tribunal de Bologne, Deliveroo a donc abandonné le système de réservation adopté, qui était géré par l’algorithme.

Une affaire particulièrement intéressante, qui a eu lieu en 2015, concerne l’algorithme qui avait été utilisé par Amazon pour évaluer les « curricula » des candidats lors du processus de sélection.

Cet algorithme a été reconnu comme discriminatoire à l'égard des femmes, car les données qui y étaient introduites indiquaient les résultats de sélections antérieures, dans lesquelles les candidats masculins avaient été davantage privilégiés.

L’algorithme avait donc « appris » à pénaliser les profiles des travailleuses et avait pris le sexe des candidats (en l'occurrence, masculin) comme critère de sélection.

Concrètement, l'algorithme utilisé par Amazon avait produit un « biais de corrélation » (ou en anglais « proxy discrimination »), puisqu'il avait associé le sexe féminin à une moindre productivité du travail, non pas en raison d'une relation de cause à effet, mais en raison d'un biais social, qui avait été instillé dans l'algorithme a priori par son créateur/programmeur.

Le « biais » en informatique désigne une erreur due à des hypothèses incorrectes formulées par l'algorithme dans le cadre du processus d'apprentissage automatique. Il s'agit donc d'une représentation erronée de la réalité, d'un automatisme mental que l'algorithme apprend et applique ensuite dans ses décisions.

Un autre cas de discrimination algorithmique et, à certains égards, reflétant celui de l'algorithme Frank, a été traité par le Tribunal de Palerme dans son arrêt du 17 novembre 2023.

Dans cet arrêt, les syndicats requérants avaient contesté le modèle d'organisation utilisé par Foodinho qui, par le biais des critères de « contribution » et d’« heures de forte demande » utilisés pour l'attribution d’un score dit « score d'excellence », désavantageait particulièrement les riders qui étaient ou pouvaient être moins productifs en raison de leur état personnel, de leur famille, de leur âge ou d'un handicap.

Il est particulièrement intéressant de noter que l’algorithme utilisé par Foodinho avait produit plusieurs discriminations : une discrimination indirecte, une discrimination religieuse et une discrimination syndicale.

Une discrimination indirecte dans la mesure où sont pénalisés les riders qui, en raison de leur situation personnelle, familiale, de leur âge ou de leur handicap, sont clairement désavantagés par rapport à leurs « concurrents » (par exemple, parce qu'ils sont plus jeunes, ou ils n'ont pas besoin de soins familiaux ou d'assistance, ou ils ne sont pas handicapés) sont pénalisés.

Une discrimination religieuse dans la mesure où le critère appliqué des « heures de forte demande » discrimine les riders qui, en vertu de leur foi religieuse, ne peuvent pas travailler le week-end, c'est-à-dire les musulmans et les adventistes le vendredi, les juifs le samedi et les chrétiens le dimanche.

Enfin, une discrimination syndicale résultant de l’application du critère de la manque de prestation (le critère dit « no-show »), en tant que Foodinho, ne prend pas en considération la raison de l'absence du rider dans les créneaux réservés, qui pourrait être imputable à une grève. Par conséquent, l'exercice d'un droit par le rider - en l'occurrence, celui de la grève - lui porte un grave préjudice, puisque le rider est traité de la même manière (pénalisante) qu'une personne absente pour d'autres raisons sans aucune protection juridique.

Par conséquent, le Tribunal de Palerme a ordonné à Foodinho de s'abstenir de mettre en œuvre quelconque discrimination, à travers l’adoption d’un plan visant à supprimer les effets des conduites discriminatoires décrites ci-dessus.

L'employeur est-il en quelque sorte responsable ?

Oui, car l’Article 26, paragraphe 7 de l’IA Act (c’est-à-dire le Règlement n. 1689/2024) prévoit que l’employeur, en tant que « deployer », c’est-à-dire utilisateur du système d’intelligence artificielle, a l’obligation d’informer non seulement les travailleurs sur lesquels les algorithmes peuvent avoir un impact, mais également leurs représentants.

Un robot-juge ? On est encore loin … ou pas ?

À l’état actuel, il semblerait très difficile – et presque impossible- de déléguer toute l’activité exercée par le Juge à l’intelligence artificielle.

Sur ce point, la doctrine italienne a exprimé une position très nette, en se montrant fortement défavorable à un système de justice algorithmique « totale », dans le sens d’un système artificiel qui prétend de se substituer à un Juge et, en général, aux principes fondamentaux du système juridique, tels que la soumission du pouvoir judiciaire à la loi (Article 101 de la Constitution italienne), le principe du juge naturel et donc humain (Article 25 de la Constitution) ainsi que les droits de la défense (Article 24 de la Constitution).

Cependant, dans certains pays du monde, des expériences de « justice prédictive » ont été menées et on a constaté, dans ces cas, que l’intelligence artificielle n’a pas été utilisée en tant qu’auxiliaire du système de justice, mais de manière trop envahissante.

Pensons, par exemple, à l’expérience menée en 2019 en Estonie, où un robot-juge a été appelé à décider de la résolution de petits litiges civils (c'est-à-dire d'une valeur ne dépassant pas 7.000 euros) et dont les décisions pouvaient faire l'objet d'un appel devant un juge réel.
A voir quels développements futurs nous pourrions avoir sur le sujet...

 

 
₁ G. Ziccardi, “L’intelligenza artificiale e la regolamentazione giuridica: una relazione complessa”, in “Diritto del lavoro e intelligenza artificiale” a cura di M. Biasi, Edizione Giuffré, 2024.
₂ G. Gaudio, «Le discriminazioni algoritmiche», in Rivista LavoroDirittiEuropa, n. 1/2024, p. 5.
₃ G. Gaudio, «Le discriminazioni algoritmiche», p. 7
₄ P. De Petris, “La discriminazione algoritmica: presupposti e rimedi”, in “Diritto del lavoro e intelligenza artificiale”, a cura di M. Biasi, Edizione Giuffré, 2024.