Les systèmes de décision automatisés peuvent avoir un impact important sur nos vies. Ils peuvent déterminer les obtentions de prêts, les décisions d’embauche, ou même les sentences des tribunaux.
Plus important encore, ces solutions d’automatisation peuvent affecter notre autonomie, c’est-à-dire notre capacité à prendre des décisions authentiques et autogérées. Elles peuvent prendre des décisions qui nous privent de notre contrôle et de notre responsabilité en tant qu’agents autonomes.
Comme elles peuvent fonctionner d’une manière que nous ne pouvons légitimement approuver, nous pouvons avoir besoin de nous défendre contre elles.
Voici comment, en tant qu’utilisateur, vous pouvez revendiquer vos droits et comment les concepteurs peuvent faire en sorte que ces systèmes fonctionnent pour nous.
Les droits des utilisateurs de systèmes de décision automatisés
Imaginons une femme qui, dans son mariage, sert volontairement de servante à son mari. Appelons-la Victoria.
Victoria reste à la maison, élève seule ses enfants et n’a pas d’aspirations professionnelles. Elle est heureuse d’être une mère au foyer et de répondre aux besoins de sa famille. En outre, elle réfléchit souvent à ses valeurs, confronte ses opinions à d’autres femmes et vit une vie qui correspond à ses valeurs.
Victoria peut-elle être considérée comme autonome ? Son cas montre à quel point la question de l’autonomie est délicate. Les experts en éthique se basent sur deux niveaux pour évaluer l’autonomie d’une personne :
Le premier niveau concerne l’autonomie psychologique. Selon John Christman, pour être autonome, une personne doit avoir les capacités psychologiques de prendre des décisions par elle-même. Elle doit être capable d’envisager et de former des valeurs et des préférences fondamentales pour elle-même. Elle doit être capable de réfléchir de manière critique à ces valeurs, de les justifier devant les autres et d’agir en fonction de celles-ci.
Mais ce n’est pas tout. Les personnes autonomes sont également capables de changer d’avis lorsqu’elles se rendent compte que leur situation actuelle les aliène. Elles sont capables d’évaluer si leurs valeurs et leurs préférences sont cohérentes avec leur récit biographique. En d’autres termes, nous trouverions leurs actions authentiques par rapport à leurs croyances et à leur sentiment d’identité.
Lorsque l’on examine le cas de Victoria, elle semble répondre à toutes ces exigences. Elle a cultivé au cours de sa vie des valeurs et des préférences fondamentales (valoriser sa famille et en prendre soin) et elle est capable d’y réfléchir. Elle a également créé un récit qui correspond à son sentiment d’identité : elle pense qu’une femme doit être soumise dans le mariage pour éduquer les enfants dans un foyer stable et nourricier.
Néanmoins, certains pourraient penser, avec un regard moderne, que Victoria n’est pas libre de ses choix, et qu’elle pourrait mener une vie avec de plus grandes possibilités. Alors, que manque-t-il ?
Lorsqu’il s’agit d’évaluer l’autonomie d’une personne, un autre expert en éthique – Marina Oshana – adopte la perspective de la structure sociale dans laquelle les individus sont impliqués. Elle pense que les gens sont autonomes en fonction de la manière dont les relations et les normes définissent leurs rôles.
Dans le cas de Victoria, elle a grandi dans une société où un seul idéal persistait : une femme attentionnée entièrement dévouée à sa famille. Elle ne pouvait pas s’intégrer dans un autre rôle social, car sa communauté l’aurait immédiatement jugée et excommuniée. Par conséquent, elle ne pouvait pas prendre en main sa vie professionnelle, éducative et sociale. Elle n’avait pas le soutien social qui l’aurait aidée à explorer toutes les possibilités d’épanouissement.
Lorsqu’il s’agit de restreindre ou de maintenir ces possibilités sociales, les algorithmes peuvent jouer un rôle important.
Ce qui rend les outils de décision automatisée nuisibles
Imaginons maintenant que Victoria veuille quitter sa maison et devenir une enseignante accomplie.
Elle intègre une école et commence à donner ses premiers cours à ses élèves. Elle découvre également que son école utilise un outil d’évaluation des performances appelé IMPACT (qui a été mis en place dans les écoles publiques de D.C. aux États-Unis). Cette solution détermine chaque semestre un score en comparant la note de son élève avec celle de tous les élèves des autres classes et écoles du district.
Ce score est ensuite utilisé par l’école pour définir sa rémunération et sa position dans l’école. Il permet de décider si elle peut progresser dans sa carrière ou régresser.
En ce sens, il n’est pas étonnant que Victoria veuille s’assurer qu’elle peut approuver un tel système automatisé.
Pour déterminer l’impact qu’il peut avoir sur son autonomie, elle peut s’appuyer sur quatre facteurs :
- Fiabilité : l’algorithme automatisé est-il précis dans ses calculs et reflète-t-il sa situation ou sa performance réelle ?
- Pertinence : son évaluation repose-t-elle sur des facteurs qui sont sous son contrôle et sa responsabilité ?
- Impact : quelles conséquences la décision automatisée entraîne-t-elle pour elle ?
- Discrimination : implique-t-elle un biais qui favorise certains groupes sociaux ayant des caractéristiques distinctes des autres ?
Dans ce cas, Victoria constate qu’IMPACT effectue ses calculs avec des erreurs et des précisions fréquentes. Elle découvre que son score IMPACT peut être amélioré ou réduit si elle prend des mesures sans rapport avec son travail (comme augmenter artificiellement les notes de ses élèves).
Elle se rend compte que les résultats de l’algorithme ont un impact significatif sur sa vie. En outre, elle constate que la note de son élève dépend fortement de son statut social, les quartiers à faibles revenus étant souvent synonymes de notes moyennes plus basses.
Pour toutes ces raisons, elle ne peut raisonnablement pas approuver un tel système pour évaluer ses compétences pédagogiques. Et ses collègues pourraient certainement être d’accord avec elle.
Qu’est-ce qui pourrait rendre un algorithme de ce type plus acceptable pour ses utilisateurs ?
Comment les concepteurs de systèmes de décision automatisés peuvent préserver notre autonomie ?
Aujourd’hui, Victoria est encore plus frustrée. Au fil des ans, elle a développé ses compétences pédagogiques et souhaite désormais enseigner à l’université. Mais elle vient d’apprendre qu’IMPACT a décidé de refuser sa titularisation dans une université voisine.
Plus inquiétant encore, elle ne sait même pas pourquoi, et ne peut pas accéder à cette information par des moyens légaux. Les entreprises privées qui gèrent l’algorithme ne sont pas tenues de fournir une raison précise aux personnes concernées.
Pour la même raison, elle ne peut pas modifier et rectifier les erreurs ou les mauvais calculs qui ont été faits sur ses comptes. Elle ne peut même pas s’opposer à l’utilisation d’IMPACT dans des décisions aussi importantes.
En conséquence, Victoria a l’impression de perdre son droit d’exercer son autonomie. Avec d’autres enseignants, elle lance un mouvement de désobéissance civile qui revendique l’auto-gouvernance de l’enseignant. Le mouvement soutient que les enseignants devraient avant tout choisir et avoir leur mot à dire sur la solution d’automatisation qui a un impact sur leur travail.
Il propose plusieurs recommandations à la société IMPACT.
Les concepteurs d’IMPACT devraient d’abord augmenter la fiabilité de l’algorithme, afin de minimiser les taux d’erreur. Ils ne devraient prendre en compte que les facteurs sous le contrôle des enseignants et pertinents pour leur rôle. Ils devraient également vérifier minutieusement que les résultats de l’algorithme ne sont pas biaisés par des facteurs externes (âge, sexe, origine, lieu). Mais ce n’est pas la seule mesure qu’ils doivent prendre.
En tant que principal utilisateur de la solution, Victoria et ses collègues enseignants font valoir qu’ils ont le droit de contrôler la manière dont elle est utilisée. Ils ont le droit d’accéder aux données sur lesquelles l’algorithme s’appuie pour prendre une décision et vérifier les éventuelles erreurs. Ils ont le droit de contrôler les données qu’ils fournissent et de modifier ces informations lorsqu’une erreur est commise.
Enfin, ils ont le droit de s’opposer collectivement – en tant que communauté d’enseignants – à l’utilisation de cet outil d’automatisation, et individuellement de demander une supervision et une vérification humaines.
Que peut enseigner cette histoire aux concepteurs de solutions d’automatisation?
- Augmenter la transparence des décisions basées sur l’IA en fournissant des contrefactuels : il ou elle aurait pu avoir plus de chances d’obtenir ce poste si x.
- Fournir aux utilisateurs un accès aux données pour modifier et rectifier les erreurs.
- Donner un moyen de s’opposer à une décision automatisée et ajouter une supervision humaine.
- Vérifier les variables externes qui comptent dans le calcul et atténuer les biais autant que possible.
Les personnes soumises à des systèmes automatisés veulent comprendre la raison des décisions qui les affectent. Nous devons absolument leur donner le sentiment qu’elles font partie de la décision – même si elles n’ont pas le dernier mot.
